miyamonz @miyamonz@juggling-mstdn.net
もやみん
Joined Feb 2020
見る側が勝手に見たいように加工する論、テキストならそのとおりだと思うが視覚コンテンツ（映像、アニメ等）では成立するものなのだろうか
なんとか試験やりきったが、ファイナンス入門の難易度が高かったなあ
放送大学の試験にヒーコラしてる
あとひとつ！
書いてあること、まともなところ無くない？
プログラミング歴史研究みたいなのってあるのかな
コミュニティからのフィードバックがあるから続けられる層、というのがあり、コミュニティや社会にダメージが入ると、この層が抜け落ちてしまう
だからこそ、社会とか抜きにそれをやり続けたり発信してる人ってめちゃくちゃ貴重なんだよなと思いつつも、原理上、その人に対してプラスのフィードバックを与えることは、「フィードバックがなくても出来る人」という定義上、無理なんだよな
なにか感謝や布施のようなものをしなくていい、という意味ではないが
最近ちょっとずつ起きる時間を朝にずらせてる & 作業時間しっかり記録して集中できてて、もう昼なのに仕事半分終わっててスゲーってなってる
久々に早く起きた。
朝起きてからライトを眼に当てるのが、生活リズム直すのに効果ありそう（ガッテンでもやってた）
@jehok 雑談回とその時の話題によるが、そんなかんじ
似た方向性ならこれとか
https://www.youtube.com/watch?v=VWrlYhps93U
これそうとうやばいんじゃないかという気がしている。
俺はあくまで、機械学習の原理とか知ってる程度の、詳しい素人レベルだけども。
アルゴリズムが単純になって、同時に複数の問題が解決してる
- データを流したまますぐに学習が可能→ビデオ映像のストリームをそのまま流して、そのまま学習ができる
- 教師データの問題の解決。数字判別のモデルなのは0~9のどれかで、「数字じゃない画像」の判別が難しかった。それが認識できるアルゴリズムになっているし、このアルゴリズムで学習させるための「数字じゃないデータ」を用意するための単純な方法がある
- アルゴリズムが単純なため、この処理内の計算が「微分可能」という成約が不要になってる。（いままでの手法だと、微分不可能なパスが含まれていると、どうしても学習ステップが遅くなる）
- 電力効率がいい 後ろから前に計算してくだけなので、専用のアナログ回路で設計でき、電力効率が良いとのこと
深層学習とかのめちゃくちゃ基本の誤差逆伝播法を発明したヒントンって人が、それを置き換える新しい学習するアルゴリズムを発表してるんだけど
https://twitter.com/martin_gorner/status/1599755684941557761
この記事（OpenAIの説明を改めて説明してくれた）を読むだけでも、特性が分かるので、質問の投げ方を多少気をつければ、現状のchatGPTでも有用な使いかたがあるというのは分かるな
https://zenn.dev/ttya16/articles/chatgpt20221205
chatGPTはGPT-3.5のモデルから、人間が適切だと思うような回答を混ぜ込みながら更に調整する強化学習をつかって、安全な回答をするようになったっぽい。なるほど
元のGPT3.5や、追加の強化学習のどちらにも、情報が真実かどうかの判定ソースが無いから、不正確になる
常識的に考えて当たり前のことは人間の評価者はモデルには明示的には教えることはないため、モデルは前提を理解しないまま人間の評価者を真似ることを覚えるため、前提が成立しない時には間違ったことをやってしまう恐れがある。
回答内容が多少助長で、特定のフレーズを協調しがち
これは学習データにおけるバイアスによるもので、人間の評価者は包括的な長い回答を好む傾向にあったことに由来する。
機械学習の動向調査、最近やってなかったので改めてやった
まず今回のchatGPTとかをリリースしてるのはOpenAIという非営利団体でイーロン・マスクとかも出資してるところ
ここがGPT-3とかクソデカ言語モデルを作ってた
今回、GPT-3.5とでもいうべきモデルを作ってて、それをさらに調整したのが今回のchatGPTなどで使われたっぽい
この調整の部分も大変だった、とある
そんで、来年あたりにGPT-4を予定していて、ただでさえパラメータがでかいGPT-3のさらに５００倍でかいらしい
@jehok できるだろうなと思いつつも、文言にズレがないか確認するのが面倒でやってなかった
pdfからコピペは、崩れ方がランダムではなく法則性があるはずで、AIには簡単なのかな
もやみん
Joined Feb 2020
