深層学習とかのめちゃくちゃ基本の誤差逆伝播法を発明したヒントンって人が、それを置き換える新しい学習するアルゴリズムを発表してるんだけど
https://twitter.com/martin_gorner/status/1599755684941557761
これそうとうやばいんじゃないかという気がしている。
俺はあくまで、機械学習の原理とか知ってる程度の、詳しい素人レベルだけども。
アルゴリズムが単純になって、同時に複数の問題が解決してる
- データを流したまますぐに学習が可能→ビデオ映像のストリームをそのまま流して、そのまま学習ができる
- 教師データの問題の解決。数字判別のモデルなのは0~9のどれかで、「数字じゃない画像」の判別が難しかった。それが認識できるアルゴリズムになっているし、このアルゴリズムで学習させるための「数字じゃないデータ」を用意するための単純な方法がある
- アルゴリズムが単純なため、この処理内の計算が「微分可能」という成約が不要になってる。(いままでの手法だと、微分不可能なパスが含まれていると、どうしても学習ステップが遅くなる)
- 電力効率がいい 後ろから前に計算してくだけなので、専用のアナログ回路で設計でき、電力効率が良いとのこと
まだそうでもないっぽい
ジャグリングに興味ある人が集まって、わちゃわちゃできたらいいなって思って。
これそうとうやばいんじゃないかという気がしている。
俺はあくまで、機械学習の原理とか知ってる程度の、詳しい素人レベルだけども。
アルゴリズムが単純になって、同時に複数の問題が解決してる
- データを流したまますぐに学習が可能→ビデオ映像のストリームをそのまま流して、そのまま学習ができる
- 教師データの問題の解決。数字判別のモデルなのは0~9のどれかで、「数字じゃない画像」の判別が難しかった。それが認識できるアルゴリズムになっているし、このアルゴリズムで学習させるための「数字じゃないデータ」を用意するための単純な方法がある
- アルゴリズムが単純なため、この処理内の計算が「微分可能」という成約が不要になってる。(いままでの手法だと、微分不可能なパスが含まれていると、どうしても学習ステップが遅くなる)
- 電力効率がいい 後ろから前に計算してくだけなので、専用のアナログ回路で設計でき、電力効率が良いとのこと