miyamonz @miyamonz@juggling-mstdn.net

プログラミング歴史研究みたいなのってあるのかな

コミュニティからのフィードバックがあるから続けられる層、というのがあり、コミュニティや社会にダメージが入ると、この層が抜け落ちてしまう

だからこそ、社会とか抜きにそれをやり続けたり発信してる人ってめちゃくちゃ貴重なんだよなと思いつつも、原理上、その人に対してプラスのフィードバックを与えることは、「フィードバックがなくても出来る人」という定義上、無理なんだよな
なにか感謝や布施のようなものをしなくていい、という意味ではないが

最近ちょっとずつ起きる時間を朝にずらせてる & 作業時間しっかり記録して集中できてて、もう昼なのに仕事半分終わっててスゲーってなってる

久々に早く起きた。
朝起きてからライトを眼に当てるのが、生活リズム直すのに効果ありそう（ガッテンでもやってた）

まだそうでもないっぽい

これそうとうやばいんじゃないかという気がしている。

俺はあくまで、機械学習の原理とか知ってる程度の、詳しい素人レベルだけども。

アルゴリズムが単純になって、同時に複数の問題が解決してる

- データを流したまますぐに学習が可能→ビデオ映像のストリームをそのまま流して、そのまま学習ができる

- 教師データの問題の解決。数字判別のモデルなのは0~9のどれかで、「数字じゃない画像」の判別が難しかった。それが認識できるアルゴリズムになっているし、このアルゴリズムで学習させるための「数字じゃないデータ」を用意するための単純な方法がある

- アルゴリズムが単純なため、この処理内の計算が「微分可能」という成約が不要になってる。（いままでの手法だと、微分不可能なパスが含まれていると、どうしても学習ステップが遅くなる）

- 電力効率がいい　後ろから前に計算してくだけなので、専用のアナログ回路で設計でき、電力効率が良いとのこと

深層学習とかのめちゃくちゃ基本の誤差逆伝播法を発明したヒントンって人が、それを置き換える新しい学習するアルゴリズムを発表してるんだけど

https://twitter.com/martin_gorner/status/1599755684941557761

惜しい

この記事（OpenAIの説明を改めて説明してくれた）を読むだけでも、特性が分かるので、質問の投げ方を多少気をつければ、現状のchatGPTでも有用な使いかたがあるというのは分かるな

https://zenn.dev/ttya16/articles/chatgpt20221205

chatGPTはGPT-3.5のモデルから、人間が適切だと思うような回答を混ぜ込みながら更に調整する強化学習をつかって、安全な回答をするようになったっぽい。なるほど

元のGPT3.5や、追加の強化学習のどちらにも、情報が真実かどうかの判定ソースが無いから、不正確になる

常識的に考えて当たり前のことは人間の評価者はモデルには明示的には教えることはないため、モデルは前提を理解しないまま人間の評価者を真似ることを覚えるため、前提が成立しない時には間違ったことをやってしまう恐れがある。

回答内容が多少助長で、特定のフレーズを協調しがち
これは学習データにおけるバイアスによるもので、人間の評価者は包括的な長い回答を好む傾向にあったことに由来する。

機械学習の動向調査、最近やってなかったので改めてやった

まず今回のchatGPTとかをリリースしてるのはOpenAIという非営利団体でイーロン・マスクとかも出資してるところ

ここがGPT-3とかクソデカ言語モデルを作ってた

今回、GPT-3.5とでもいうべきモデルを作ってて、それをさらに調整したのが今回のchatGPTなどで使われたっぽい

この調整の部分も大変だった、とある

そんで、来年あたりにGPT-4を予定していて、ただでさえパラメータがでかいGPT-3のさらに５００倍でかいらしい

ツイッターを見る限りだと、物書き、AI絵師、IT系の人が反応しているといった印象だな

自然言語を用いて仕事、作業をする全員に対してインパクトがあるということに気づいたほうが得

人間に残された仕事って、ようするに、人類がまだわかってないことを、やるというだけの話だよな。

作品制作とか、研究とか、そういったもののことだろう

長文を投げて要約するだけでも有効なのだが、そもそもその文章に対して質問を投げたり、対話を試みることができるというのがかなりやばいんだよな

かなり三体を意識して書いたが、いい返答だ（まだ読み切ってないです）

プログラミングだと、データの設計であるとか、ライブラリの選定、審美眼などはまだAIで支援できないので、そこは人言がやることになる。
なので、映画で言うところの監督みたいな人が残りそう。小説の場合もそうで、下に述べたような工程において、監督が全体的に方向性を握りつつ、調整、指導、最適化を行えばよさそう

小説執筆とかは、かなりシステマティックに進められるようになりそう。

全体のテーマ、方向性
大枠プロット
詳細プロット
個別章の執筆

みたいな流れを作って、各々のパートを効率的に出力するようなAI対話スタイルの確立とバリエーションの広げ方の研究をすると、
工場の生産かのように執筆ができるのではないか

これからの大規模言語モデルAIの到来と、それを利用できる我々として、やるべきこと。

仕事への活用
- プログラマは、活用するレバレッジがかなり直接的ででかい。早急にノウハウを溜め込むこと。
- これは、イラストレータが３ヶ月前くらいに直面してた

「プログラミング」「小説、TRPG、物語」といった、応用分野を、他にも見つけて調べること

プログラミング分野と近いところで、プロダクトマネジャーの相談とかの使用例もあった

AI対話基礎、なる分野をまとめること
例
- わかりやすい文章を書く
- 小さい粒度に分ける
- 指示の動詞を隠さない
- 特殊なクエリの出し方で、変わったモードに遷移させられるので、そのモードの調査
- 対話の往復を効率化するような指示の出し方

現状のAIでできないことを把握すること

「理解するとはどういうことか？」ということを我々が理解すること。対話を使ってその境界を把握する必要がある

などと、さっと思いつく限りでもこれほどある