夢見る更新と転倒結合

機械学習のラーナー=オプティマイザの定式化として、Θ×(X×Y)→Θ の形を取る決定性写像である更新オペレーター〈update operator〉がある。これにドリームと呼ばれるXへの出力を付け足した Θ×(X×Y)→Θ×X を夢見る更新オペレーターと呼ぶ。

U:Θ×(X×Y)→Θ×X と V:Δ×(Y×Z)→Δ×Y に対して、転倒結合〈reversed composition〉 U;V:(Θ×Δ)×(X×Z)→(Θ×Δ)×X を定義できる。ただし、転倒結合の構成には、更新Uのアーキテクチャ A:Θ×X→Y が必要。

  • 夢見る更新子〈dreaming updater〉 U:Θ×(X×Y)→Θ×X
  • 更新のアーキテクチャ〈architecture of {updater | leaner}〉 A:Θ×X→Y
  • 学習子=更新子+アーキテクチャ 記号の乱用で U = (U, A)
  • 学習子の転倒結合〈reversed composition〉 U;V = V\circU
  • ドリーム出力は、画像認識では逆構成〈inverted constructio〉のこと。
  • 転倒結合では、訓練データとして与えられない中間出力を、内部先行更新子=形式後続更新子のドリームにより与える。

オートマトンの理論と良さの評価基準を組み合わせれば使えるのではないか。