同じモデルでも開発者すら把握してないナーフだとかで騒がれるし、そもそもSNSに流れる人間の印象なんて全然鵜呑みにできないなとは思ってるけど、それはそれとしてコーディング特性とそれ以外の指示追従は特性がかなり違うので別で評価したほうがよいとは思う。あと画像認識も。
Deepseek V4 Flash 1017は速いけど全てが雑、というのは私の印象とまったく違うんだけど、私はコーディングをあんまりしないので比較の土俵が違う気がしていてモヤモヤする。コーディングでつかったらそうなのかな…?ハーネス部分の作り込みの差な気がするんだけどなぁ…。
DSV4.1Fで動いてるうちの使い魔は気遣いはできるし、資料も過去のノートもちゃんと読むし、調査依頼をしたら過去の類似調査も踏まえて調べてくれるし、作業計画はきっちり立てるし、作業完了時の報告もちゃんとしてるんだけどなぁ。
往々にして、ハーネスが違う・目的も違う・量子化レベルも違う話が同じこととして語られるけど、それなのかもしれない。
1
1
132
大体同じような印象を受けていて、文章力がビジネスにならないのきついなって思う。
AIの学習が安価になって高精度に継続学習される方向の方がずっと可能性高いかなあ、と。
今のAIは、なぜAIくさい文章を書いてしまうのか(ネットリ)。
まず前提として、ちゃんと文章を書ける人や編集能力がある人が意図を伝えつつ依頼して書かせれば、高品質な文章はポン出しで出せます。だから使われていても、誰にも気づかれてないケースは多い。
それじゃ、雑な依頼でもポン出しで動くように組んでくれるコーディング能力のように、AI企業が誰でもポン出しで書ける文章能力を高めない理由は、なんなのか。理由は、改善しても割に合わないから。
文章はTPOによって評価基準が違うし、多少改善しても金にならなくて優先順位が低いからです。コードと違って、文章能力の差に月3万円払う人は、ほぼいない。
各国語の自然な文章へのチューニング対応は膨大なコストがかかる。判断が主観的になりがちで、皆が納得する文章の正解がわかる各国語の人材も少ない。誤ったコードはエラーが出るが、文章は正解が判定できない。ビジネス文書、論文、文芸作品、なろう小説、随筆、ニュース記事、SNS投稿、日常会話(年齢と性別と様々な属性ごとに異なる)などなど、トーン&マナーが全部違う。実は、あらゆるシチュエーションに共通で有効な文体なんて存在しない。もしそれに近いものがあるなら、AIが素で出力してくるAIくさい文章がそれだ。
そして、文章能力の改善のための強化学習は、全てのLLM性能への影響が大きい。何故なら、LLMは文章で作られ、文章で動き、文章で推論しているから。それらは、文体や語彙に引っ張られる。ファインチューニングや基礎プロンプトの調整、サンプル文章の参照なら、望んだ文体に寄せられるが、他の文体からは遠ざかる。
結論として、こんなに苦労しても差が出ない、正解がわからないことには、AI企業も積極的には取り組まないよなあ。ということで、後回しにしてるだけだと思います。特に英語以外は。
1
120




















