機械学習っぽい

重心問題と重心代数と最尤法

過去: 代表値汎関数とシャープ化オペレータ - (新) 檜山正幸のキマイラ飼育記 メモ編 ジリィ型モナドのアイレンベルク/ムーア代数を{重心 | 平均{値}? | 中心 | 代表{値}}代数と呼ぶ。その代数の代数演算、または代数演算の結果を{重心 | 平均{値}? | 中心…

ストリング図/カップリング図の応用範囲

チャンネル理論とデータベースと符号理論 - (新) 檜山正幸のキマイラ飼育記 メモ編 論理とテンソル計算 - (新) 檜山正幸のキマイラ飼育記 メモ編 ドメイン圏とテーブル代数 - (新) 檜山正幸のキマイラ飼育記 メモ編 新ERモデル 2 - (新) 檜山正幸のキマイラ…

ストリング図とカップリング図の操作

ストリング図から辺の向きをなくした図をカップリング図と呼ぶ。カップリング図の意味はダガー厳密モノイド圏(https://ncatlab.org/nlab/show/dagger+category)から作られた多圏を置換同型で商をとった商圏内のポインティング射である。ストリング図に比べ…

ベイズの定理の命題

ベイズの定理をちゃんと記述すると: 同時確率分布に対する、条件化の存在命題 同時確率分布に対する、条件化のほとんど一意性命題 確率保存マルコフ核に対する、反転の存在命題 確率保存マルコフ核に対する、反転のほとんど一意性命題 条件化が存在すれば、…

ベイズの公式

被積分形式:二変数は、ほんとは直積:離散の場合:デルタは基本事象:

グラフィカルモデルの確率変数と事象

確率変数(または変量)は、確率分布=確率測度=確率空間=ランダム要素 だと解釈できる。例題で「泥棒が入る事象」「地震が起きる事象」などと言っている。この「事象」は国語辞典的な「事態・事件」の意味。因果グラフのノードなので、「泥棒が入る確率変…

関連の圏(影響の圏)

[追記]影響〈influence〉の圏にリネームした。[/追記]関連の圏は: 関係の圏Relとは違う。 マルコフ圏になるかな? ならないかも知れない。 射は関係〈relation | relationship〉ではないし相関〈correlation〉でもない。 ましてや因果関係〈causal relation…

almost surely equal と almost empty set

almost surely equal w.r.t. P を P-a.s.e と略記し、=P-a.s. と書く。 almost empty set = almost impossible event almost total 日本語では: Pに関してほとんど等しい(surelyの「確実に」は要らない) ほとんど空、ほとんど起こり得ない、ほとんどあり…

関連圏(影響圏に改名)

relevance category / category of relevances条件化可能マルコフ圏Cから作られる Relev(C) := (1/C)/a.s.e. (a.s.e. は almost suarely equal)。Relev(C)は、反転〈converse〉が対合として働く圏。シャープ要素とランダム要素を一律に扱える。集合圏の要…

代表値汎関数とシャープ化オペレータ

[X→*Y]をマルコフ圏の内部ホムとする。シャープ内部ホムは[X→!X]。 S:[X→*Y]→[X→!Y] S:[1→*Y]→[1→!Y] を代表値汎関数〈{central |representative} value functional〉、またはシャープ化オペレータ〈sharpening operator〉シャープ化オペレータは、埋め込み…

ベイズ梯子

ベイズ梯子〈Bayesian ladder〉 P = P1 : 初期{{確率}?{分布}?}! Mi : {統計|確率}モデル di : データ これに、ベイズ反転=尤度 Li:Xi→* Θ を構成して、ベイズ更新 Pi+1 := Li(di) により、系列 P1, P2, ... を求めることを、 ベイズ梯子に沿ったベイズ…

ベイズ反転関連の用語・記法

※ {パターン}! は、パターンのインスタンスから空文字列は除くことを意味する。 {事前|初期}{{確率}?{分布}}! P:1→* Θ による{統計 | 確率}モデル M:Θ→* X の{ベイズ}?反転〈{Bayesian}? converse〉を、F-P ()と書く。ドバーカットは、 。 同時{{確率}?{分…

概ジリィ関手と概マルコフ核

[追記]概より緩〈relaxed〉がいいかも[/追記]Xは標準ボレル空間として、 Π(X) : X上の有限測度〈有界測度〉の全体、ベクトル錐〈半体上の半ベクトル空間〉 Π=1(X) : X上の確率測度の全体、凸代数〈凸空間〉 Π≦1(X) : X上の劣確率測度の全体、凸代数〈凸空…

尤度とは何か

腑に落ちない。確率密度関数を使うから“わけわからん”のだと思う。Sは確率的圏〈stochastic category〉(ジリィ型モナドから作られたマルコフ圏)として、統計モデル(と呼ばれるマルコフ核) M:Θ→*X in S がある状況を考える。何らかの意味でベイズ反転して…

雑音構造付き圏と雑音入り圏

線形回帰とゲルファント変換 雑音と誤差は同義語。雑音構造付き圏〈category with noise structure | 誤差構造付き圏〉とは、(C, Adm, Noi) でって、 Cはマルコフ圏 AdmはCdetの広い部分圏 Noiはモノイド・モダリティで、Noi(X)⊆EndC(X) であるもの。 公理:…

対角公式、抽象シグマ代数

次のどうってない公式が、実は重要だと気付いた。 For A, B⊆X, Δ-1(A×B) = A∩B (対角公式) 積事象が、A×B か A∩B かが不明なのは、この公式で同一視しているからだろう。A, B を可測空間Xの事象〈可測集合〉(シグマ代数の要素)だとして考えると次の可換…

条件付け〈conditioning〉の3つの意味

同義語 同時 = 積空間上の 例:同時分布 = 積空間上の分岐 = 積空間上の測度 周辺 = 積空間の因子空間上の 条件付け〈conditioning〉/条件付き確率とは: 同時確率分布を、周辺事象で条件付けて、周辺確率分布を作ること。そうやって作った周辺確率分布…

基本概念の対応関係:確率、分布、積事象

確率の話 有限集合の話 測度論 全事象 有限集合 X 集合 X (暗黙) ベキ集合 Pow(X) シグマ集合代数 ΣX (暗黙) (暗黙) 測度空間 (X, ΣX) 事象 Xの部分集合 A∈Pow(X) 可測集合 A∈ΣX 確率 確率加法的関数 μ 確率測度 μ 同義語と省略 分布 = 測度 例:質量分布 …

測度による被覆と分割

Xが可測空間で、(Ai | i∈I) = λi(Ai) がXの可測集合の族とする。各Ai上に測度μiが載っていて、 λi(Ai) が被覆のとき、λi(Ai, μi) を測度被覆と呼ぶ。 測度被覆であって、各 i, j∈I に対して Ai∩Aj は μi でも μj でもゼロ集合のとき測度分割〈measure partit…

夢見る更新と転倒結合

機械学習のラーナー=オプティマイザの定式化として、Θ×(X×Y)→Θ の形を取る決定性写像である更新オペレーター〈update operator〉がある。これにドリームと呼ばれるXへの出力を付け足した Θ×(X×Y)→Θ×X を夢見る更新オペレーターと呼ぶ。U:Θ×(X×Y)→Θ×X と V:Δ…

人名形容詞と確率論理とシャープネス定理とボレル☓☓☓

マルコフ {圏 | 射 | 核} ボレル {{関数 | 写像} | {部分}?集合 | {可測}?空間 | 関手} チャップマン/コルモゴロフ {公式 | 結合} ディラック {測度 | 関手} ブール {{真偽}?値 | {代数 | 束} | 論理} ベイズ {{修飾 | デコレーション} | 転置 | 反転 } ク…

確率バンドルと凸結合

AとBが確率空間で、台集合〈標本空間〉の全射 p:A→B があって、ファイバーがなんらかの意味で確率空間になっているとき、確率バンドルと呼ぶ。底空間Bが離散有限であるとき、確率バンドルは、有限個の確率空間のアフィン凸結合になる。エントロピーは、確率…