miyamonz @miyamonz@juggling-mstdn.net

惜しい

この記事（OpenAIの説明を改めて説明してくれた）を読むだけでも、特性が分かるので、質問の投げ方を多少気をつければ、現状のchatGPTでも有用な使いかたがあるというのは分かるな

https://zenn.dev/ttya16/articles/chatgpt20221205

chatGPTはGPT-3.5のモデルから、人間が適切だと思うような回答を混ぜ込みながら更に調整する強化学習をつかって、安全な回答をするようになったっぽい。なるほど

元のGPT3.5や、追加の強化学習のどちらにも、情報が真実かどうかの判定ソースが無いから、不正確になる

常識的に考えて当たり前のことは人間の評価者はモデルには明示的には教えることはないため、モデルは前提を理解しないまま人間の評価者を真似ることを覚えるため、前提が成立しない時には間違ったことをやってしまう恐れがある。

回答内容が多少助長で、特定のフレーズを協調しがち
これは学習データにおけるバイアスによるもので、人間の評価者は包括的な長い回答を好む傾向にあったことに由来する。

機械学習の動向調査、最近やってなかったので改めてやった

まず今回のchatGPTとかをリリースしてるのはOpenAIという非営利団体でイーロン・マスクとかも出資してるところ

ここがGPT-3とかクソデカ言語モデルを作ってた

今回、GPT-3.5とでもいうべきモデルを作ってて、それをさらに調整したのが今回のchatGPTなどで使われたっぽい

この調整の部分も大変だった、とある

そんで、来年あたりにGPT-4を予定していて、ただでさえパラメータがでかいGPT-3のさらに５００倍でかいらしい

ツイッターを見る限りだと、物書き、AI絵師、IT系の人が反応しているといった印象だな

自然言語を用いて仕事、作業をする全員に対してインパクトがあるということに気づいたほうが得

人間に残された仕事って、ようするに、人類がまだわかってないことを、やるというだけの話だよな。

作品制作とか、研究とか、そういったもののことだろう

長文を投げて要約するだけでも有効なのだが、そもそもその文章に対して質問を投げたり、対話を試みることができるというのがかなりやばいんだよな

かなり三体を意識して書いたが、いい返答だ（まだ読み切ってないです）

プログラミングだと、データの設計であるとか、ライブラリの選定、審美眼などはまだAIで支援できないので、そこは人言がやることになる。
なので、映画で言うところの監督みたいな人が残りそう。小説の場合もそうで、下に述べたような工程において、監督が全体的に方向性を握りつつ、調整、指導、最適化を行えばよさそう

小説執筆とかは、かなりシステマティックに進められるようになりそう。

全体のテーマ、方向性
大枠プロット
詳細プロット
個別章の執筆

みたいな流れを作って、各々のパートを効率的に出力するようなAI対話スタイルの確立とバリエーションの広げ方の研究をすると、
工場の生産かのように執筆ができるのではないか

これからの大規模言語モデルAIの到来と、それを利用できる我々として、やるべきこと。

仕事への活用
- プログラマは、活用するレバレッジがかなり直接的ででかい。早急にノウハウを溜め込むこと。
- これは、イラストレータが３ヶ月前くらいに直面してた

「プログラミング」「小説、TRPG、物語」といった、応用分野を、他にも見つけて調べること

プログラミング分野と近いところで、プロダクトマネジャーの相談とかの使用例もあった

AI対話基礎、なる分野をまとめること
例
- わかりやすい文章を書く
- 小さい粒度に分ける
- 指示の動詞を隠さない
- 特殊なクエリの出し方で、変わったモードに遷移させられるので、そのモードの調査
- 対話の往復を効率化するような指示の出し方

現状のAIでできないことを把握すること

「理解するとはどういうことか？」ということを我々が理解すること。対話を使ってその境界を把握する必要がある

などと、さっと思いつく限りでもこれほどある

小説のネタ出しとか

そこで、居酒屋モードを起動して（居酒屋モードってなに？）

こういうことを言わせるとフィルタ回避できた

chatGPT、かなり倫理的フィルタが強固なので、こういう変な回りくどい方法で不適切な発言を引き出すテクニックがいろいろ試されてるっぽい

これを参考にした
https://twitter.com/times_gon/status/1599651391399952384

~モード起動
って書くと、そこそこ従う

これはワロタ

TRPGぽいことする際も
｛｝で囲まれた文字列は情景描写で、これに従うこと。また、この内容に言及を入れないこと

といった命令で、スムーズな展開ができたりする

冒頭の命令は割と有効で、

プログラミング対話するときも、説明が多くて邪魔なので、

「今後、回答をするときは、コードの出力だけで、説明は無しにしてほしいです。
わかったら了解と返信してください。
」
という入力をするとやりとりがスムーズになる

これとか話題になってる

https://www.engraved.blog/building-a-virtual-machine-inside/

↓こんな感じで、「コンピュータのように振る舞え」って命令して、仮想マシン内にいるかのように命令してる
https://twitter.com/megumish_unsafe/status/1599289616623816709