ICLR2017読み会に行ってきた
https://connpass.com/event/57631/
ICLMとは
International Conference on Learning Representations
医療データ解析界隈からみたICLR 川上さん@理化学研究所
お医者さんから見てできれば嬉しいこと
測定が簡単な数値から測定が難しい数値を推測
現在のデータから未来を予測
- 一ヶ月後の血糖値を予測
難しさ
- 次元の割にデータが少ない
医療データに関する論文
- [Predicting Medications from Diagnostic Codes](https://openreview.net/forum?id=rJEgeXFex¬eId=rJEgeXFex)
- [The Effectiveness of Transfer Learning in Eletronic Hearth Records Data](https://openreview.net/pdf?id=B1_E8xrKe)
- [Memory Matching Networks for Genomic Sequence Classification](https://arxiv.org/abs/1702.06760)
微妙な結果が多い
- 情報が不完全である可能性
- 医学論文、医療データは捏造・再現性がないデータが多いため、NLPは危険
Data Noising as Smoothing in Neural Network Language Models
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
バッチサイズが小さい方が汎化性能が高くなることを実験結果と可視化で示している
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling
Stochastic Neural Networks for Hierarchical Reinforcement Learning
Optimization as a Model for Few-Shot Learning
Autoencoding Variational Inference for Topic Models
Variational Lossy AutoEncoder
Semi-Supervised Classification with Graph Convolutional Networks
所感
個人的には、さらっと使われていたStochastic Neural Networkが少し気になった。分散表現の入力と出力同じでよくね?という話は、確かに思ったことあるしすぐに使えそうだし便利さを感じた。精度も上がるようだし、逆にこれを使わない方が良い場合とかあるんだろうか?と今更思った。質問すればよかった...。meta-learningとかの部分も興味はあったが理解できていないところだった。
Graph Convolutionも面白そうだが、あんまり理解できていないので調べたい。
tech-blog.abeja.asia
この辺読もうと思っていたのですが、読めてないんですよね...。