真相のビックリ度としての相対エントロピー

ベイズ統計構造:

  1. 台集合XとX上の確率測度(=確率分布)q、qは真の確率分布で未知。
  2. 台集合YとY上の確率測度(=確率分布)r、rは測定値の確率分布。rもそれ程あてにならない。
  3. XからYへの確率変数(=決定性写像で確率測度を保存するもの)f:X→Y, f*(p) = r 。fは、文脈や習慣に応じて、変量、観測量、統計量、推定量、識別関数などとも呼ばれる。

以上は神様的視点からみた構造。これに人間視点の推測が入る。

  1. Y→X 方向の確率写像φ。これは仮説的条件付き確率。仮説的の意味は、単に人間がイイカゲンにでっち上げていることを意味する。真実かどうかは分からない。
  2. 臆見〈ドクサ〉確率分布p。これは計算可能。マルコフ行列φにマルコフベクトルrを掛け算すればよい。

pとqの相対エントロピーは、仮説的条件付き確率φに基づく思い込み確率分布qが、真相であるpと比較されたときのビックリ度を表す。