ICLR2017読み会に行ってきた

https://connpass.com/event/57631/

ICLMとは

International Conference on Learning Representations

ICLM俯瞰 宮戸さん@PFN

医療データ解析界隈からみたICLR 川上さん@理化学研究所

お医者さんから見てできれば嬉しいこと

測定が簡単な数値から測定が難しい数値を推測

現在のデータから未来を予測

  • 一ヶ月後の血糖値を予測
難しさ
  • 次元の割にデータが少ない
医療データに関する論文
微妙な結果が多い
  • 情報が不完全である可能性
  • 医学論文、医療データは捏造・再現性がないデータが多いため、NLPは危険

Data Noising as Smoothing in Neural Network Language Models

On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima

バッチサイズが小さい方が汎化性能が高くなることを実験結果と可視化で示している

Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling

Stochastic Neural Networks for Hierarchical Reinforcement Learning

Optimization as a Model for Few-Shot Learning

Autoencoding Variational Inference for Topic Models


Variational Lossy AutoEncoder


Semi-Supervised Classification with Graph Convolutional Networks

所感

個人的には、さらっと使われていたStochastic Neural Networkが少し気になった。分散表現の入力と出力同じでよくね?という話は、確かに思ったことあるしすぐに使えそうだし便利さを感じた。精度も上がるようだし、逆にこれを使わない方が良い場合とかあるんだろうか?と今更思った。質問すればよかった...。meta-learningとかの部分も興味はあったが理解できていないところだった。

Graph Convolutionも面白そうだが、あんまり理解できていないので調べたい。
tech-blog.abeja.asia
この辺読もうと思っていたのですが、読めてないんですよね...。