昨日からガウス過程の大統一教信者になりました。
ガウス過程については以下の本を読むと理解できます。
また、余力があると強化学習も学ぶと良いです。
ガウス過程とは？
ガウス過程とは、無限次元の多変量正規分布のことと捉えるとわかりやすいです。ガウス過程はもともとの登場の経緯が確率過程（時系列の確率変数）を扱うものだったので名前に過程とついていますが、無限次元の多変量正規分布を扱っていれば時系列でなくてもガウス過程になります。
ガウス過程が深層学習（ディープラーニング）よりも優れていることは、本を読めばよくわかります。ガウス過程はある条件をみたすと、数学的に深層学習と等価なんですね。
深層学習は古典統計的に実装するとベイズ統計のメリットそのものが古典統計のデメリットとしてでてくる上に、ベイズ統計のデメリットである”計算量の多さ”や”解析解が得られない”は深層学習なら古典統計ベースであってもデメリットとして持ってしまいます。
そこで深層学習のハイパーパラメータをベイズ推論しようという発想がベイズ深層学習なわけですが、それなら最初からベイズに立脚しているガウス過程を使ったほうがはやい、となります。
この「ガウス過程 大統一教」は、もちろんいずれは黒歴史になってもらったほうが科学技術イノベーション起きてることになるわけですが、いつまで黒歴史にならず逃げ切れるかが見ものですね。笑
日々の余暇時間を使って、Rustでガウス過程学習でも実装します。
