最大エントロピー法によるガンマ分布の導出
前回、最大エントロピー法により正規分布を導出しました。
その際の制約条件を少し変えることで、以下のガンマ分布が出てくるそうです。
今回は、このガンマ分布の導出に挑戦します。
前の記事・twitterのリプライ
前の記事はこちらです。
strawberry-kyon.hateblo.jp
平均と分散を固定してエントロピーを最大化し、正規分布を導出しました。
この記事をアップロードすると、以下の興味深いコメントを頂きました。
#数楽 正規分布は平均と分散を固定したときの(エントロピー最大という意味で)「最も出て来易い」確率分布である。
— 黒木玄 Gen Kuroki (@genkuroki) 2017年9月23日
ガンマ分布はXの平均とlog Xの平均を固定したとき「最も出て来易い」確率分布である。
などなど
名前が付いている有名な確率分布族は概ねこのように理解できる。
ガンマ分布は、平均と対数の平均を固定すると出てくるそうです。
ガンマ分布は、指数分布に従う確率変数の和と覚えていたので衝撃的でした。
ということで、今回は上記の制約条件のもとでエントロピーを最大化してみます。
エントロピーの最大化
変数は前回の記事と同じものを用います。
制約条件は以下の3つとします。
ここで、を扱うのでとしておきます(測度とか台とかよく分かっていない)。
このような制約条件のもとでエントロピーを最大化する密度関数はなんだろうか?という問題です。
さっそく、前回と同様にラグランジュ関数は、
となります。で偏微分しイコール0と置くことにより、
となりまして、について解くと、
となります。
係数部分のは正規化定数なのでとりあえず無視しておきます。
ガンマ分布の形に合わせて、定数を
と置くと、
となります。あとは1つ目の制約条件から正規化定数を求めます。
つまり、
ガンマ関数の形に合わせるために、と変数変換して、
となるので正規化定数は、
となります。よって、
と無事にガンマ分布が出てきました。
まとめ
前回に続き、今回はガンマ分布を導出しました。
パラメータは前回に比べるとズルして決めた感じがありますが、勘弁して下さい。
分布が扱いやすいようにパラメータを決めたと思うと良いですね。
いつか、との関係について書きます(については明らか)。
それから、この辺りをもっと深く理解するためには相対エントロピー、sanovの定理、カノニカル分布、とかを勉強する必要がありそうです。
この記事が誰かの理解の助けになると嬉しいです。
間違いの指摘や質問等ありましたら、お問い合わせフォームやコメントから気軽にお願いします。
(記事のサムネイルはオイラー先生です。ガンマ分布を提案した人が分からなかったため、ガンマ関数を最初に導入したオイラー先生にしました。)