KL情報量(カルバック・ライブラー・ダイバージェンス)は、確率分布どうしの距離的な尺度で、次元削減とか機械学習とかいろんなところでとってもよく出てきます。が、使うときはその意味はあまり考慮する必要はないので、今回はあえてそこを考えます。 情報量…