miyamonz @miyamonz@juggling-mstdn.net
もやみん
Joined Feb 2020
この記事（OpenAIの説明を改めて説明してくれた）を読むだけでも、特性が分かるので、質問の投げ方を多少気をつければ、現状のchatGPTでも有用な使いかたがあるというのは分かるな
https://zenn.dev/ttya16/articles/chatgpt20221205
chatGPTはGPT-3.5のモデルから、人間が適切だと思うような回答を混ぜ込みながら更に調整する強化学習をつかって、安全な回答をするようになったっぽい。なるほど
元のGPT3.5や、追加の強化学習のどちらにも、情報が真実かどうかの判定ソースが無いから、不正確になる
常識的に考えて当たり前のことは人間の評価者はモデルには明示的には教えることはないため、モデルは前提を理解しないまま人間の評価者を真似ることを覚えるため、前提が成立しない時には間違ったことをやってしまう恐れがある。
回答内容が多少助長で、特定のフレーズを協調しがち
これは学習データにおけるバイアスによるもので、人間の評価者は包括的な長い回答を好む傾向にあったことに由来する。
機械学習の動向調査、最近やってなかったので改めてやった
まず今回のchatGPTとかをリリースしてるのはOpenAIという非営利団体でイーロン・マスクとかも出資してるところ
ここがGPT-3とかクソデカ言語モデルを作ってた
今回、GPT-3.5とでもいうべきモデルを作ってて、それをさらに調整したのが今回のchatGPTなどで使われたっぽい
この調整の部分も大変だった、とある
そんで、来年あたりにGPT-4を予定していて、ただでさえパラメータがでかいGPT-3のさらに５００倍でかいらしい
@jehok できるだろうなと思いつつも、文言にズレがないか確認するのが面倒でやってなかった
pdfからコピペは、崩れ方がランダムではなく法則性があるはずで、AIには簡単なのかな
ツイッターを見る限りだと、物書き、AI絵師、IT系の人が反応しているといった印象だな
自然言語を用いて仕事、作業をする全員に対してインパクトがあるということに気づいたほうが得
@jehok pdfからコピペしても文章が抽出できねえ…
人間に残された仕事って、ようするに、人類がまだわかってないことを、やるというだけの話だよな。
作品制作とか、研究とか、そういったもののことだろう
長文を投げて要約するだけでも有効なのだが、そもそもその文章に対して質問を投げたり、対話を試みることができるというのがかなりやばいんだよな
プログラミングだと、データの設計であるとか、ライブラリの選定、審美眼などはまだAIで支援できないので、そこは人言がやることになる。
なので、映画で言うところの監督みたいな人が残りそう。小説の場合もそうで、下に述べたような工程において、監督が全体的に方向性を握りつつ、調整、指導、最適化を行えばよさそう
小説執筆とかは、かなりシステマティックに進められるようになりそう。
全体のテーマ、方向性
大枠プロット
詳細プロット
個別章の執筆
みたいな流れを作って、各々のパートを効率的に出力するようなAI対話スタイルの確立とバリエーションの広げ方の研究をすると、
工場の生産かのように執筆ができるのではないか
これからの大規模言語モデルAIの到来と、それを利用できる我々として、やるべきこと。
仕事への活用
- プログラマは、活用するレバレッジがかなり直接的ででかい。早急にノウハウを溜め込むこと。
- これは、イラストレータが３ヶ月前くらいに直面してた
「プログラミング」「小説、TRPG、物語」といった、応用分野を、他にも見つけて調べること
プログラミング分野と近いところで、プロダクトマネジャーの相談とかの使用例もあった
AI対話基礎、なる分野をまとめること
例
- わかりやすい文章を書く
- 小さい粒度に分ける
- 指示の動詞を隠さない
- 特殊なクエリの出し方で、変わったモードに遷移させられるので、そのモードの調査
- 対話の往復を効率化するような指示の出し方
現状のAIでできないことを把握すること
「理解するとはどういうことか？」ということを我々が理解すること。対話を使ってその境界を把握する必要がある
などと、さっと思いつく限りでもこれほどある
chatGPT、かなり倫理的フィルタが強固なので、こういう変な回りくどい方法で不適切な発言を引き出すテクニックがいろいろ試されてるっぽい
TRPGぽいことする際も
｛｝で囲まれた文字列は情景描写で、これに従うこと。また、この内容に言及を入れないこと
といった命令で、スムーズな展開ができたりする
もやみん
Joined Feb 2020
