仮説空間 再度

数学的には、集合Aから集合Bへの写像fがあり、f:A→B、(少なくとも)Bには確率分布が載っていて、Bの確率分布は使える状況。このとき、Bに対する呼び名は:

  1. 概念空間〈concept〉
  2. 仮説空間〈hypothesis〉
  3. パターン空間〈pattern〉
  4. クラス空間〈class〉
  5. 行動空間〈activity〉
  6. 決定空間〈decision〉
  7. 結果空間〈result〉(診断など)
  8. パラメータ空間〈parameter space〉(パラメータ推定のとき)
  9. (確率変数の)値の空間〈value | outcome〉
  10. {ラベル | インデックス | パラメータ | 番号}空間

Aに対する呼び名は:

  1. インスタンス空間
  2. データ空間
  3. 標本空間
  4. 状態空間
  5. 観測空間
  6. 特徴空間〈feature〉
  7. 入力空間

fは

  1. 観測{量}?
  2. 確率変数(=決定性関数)
  3. 変量
  4. 統計量
  5. 定量
  6. 識別関数
  7. 認識関数
  8. 分類
  9. 測定、推測
  10. 戦略
  11. 診断
  12. 決定関数
  13. 予測〈prediction〉

B→A の向きの確率写像〈拡散写像 | マルコフ核〉が「Aの確率分布」と呼ばれている。Bで条件付け〈conditioning〉されている。

  1. インスタンスの{条件付き}?確率{分布}?
  2. データの{条件付き}?確率{分布}?
  3. 標本の{条件付き}?確率{分布}?
  4. 状態の{条件付き}?確率{分布}?
  5. 観測の{条件付き}?確率{分布}?

バエズは、この値側で条件付けされたデータ側の確率分布を「仮説」と呼んでいる。なぜなら、真実とは保証されない人為的な{条件付き}?確率分布だから。

そうすると、「仮説」のさすモノは:

  1. Bの要素
  2. Bのなかで、確率分布のサポートに入る要素(有効な仮説)
  3. B→A の向きの人為的確率写像
  4. fが入るべき関数空間の要素

[追記]
講義動画 https://www.youtube.com/watch?v=dYMCwxgl3vk の 9:40 で、「仮説: 事例〈インスタンス〉をラベルする関数」と書いてある。事例とは特性空間〈feature space〉の要素で実際に与えられたモノのこと、ラベルは値の空間の要素のことだから、仮説は特性空間からラベル空間への写像。したがって、仮説空間は関数空間だろう。

https://arxiv.org/pdf/1312.1445.pdf "Bayesian Machine Learning via Category Theory" のp.15の最後の行に"hypothesis space"、次のページに I:D→H とあり、推測Iの値の空間を仮説空間と言っている。もっとも、値の空間を関数空間にして、推測を学習と呼び替えると、学習:学習データ→関数空間 となる。1階の推論=データの識別、2階の推論=学習=推論の出力 ということだろう。

https://arxiv.org/pdf/1402.3067.pdf "A BAYESIAN CHARACTERIZATION OF RELATIVE ENTROPY" のp.2中段で出てくる'hypothesis'は確率写像〈拡散写像 | マルコフ核〉の意味になっている。
[/追記]