辻正浩 | Masahiro Tsuji

Claude Opus5.5とGemini4 Argonで作った記事を20本くらい比べて、日本語の精度を確認してたんですが、 ・日本語の精度はOpus5.5の方が高くて正確 ・値段は40%くらい安い ・Sonnet5.5と比べるとやや精度はいいが、12月以降はSonnetよりも高い ・Gemini4 Argonは、文章の読みやすいさとしては十分 という感じです。 ただ、致命的だったのが ・当て推量で書き換える癖がある です。 例えば、Podcastの書き起こしを記事化しよう、みたいな時に、Opusは怪しいところは「要確認」と入れたりしてくれるのと、そもそも当て推量をしないんですが、 Geminiは歴代もそうだったけど「多分こうだろ」で自分の知識で勝手に補完したり言い換えたりしちゃう。 なので、例えば「神田の○○」という店を勝手に「上石神井のxxx」みたいな全然違う店にしちゃったり、 話者が言っていないやつを保管しまくったりしちゃうというのがあり、ここが注意かな。 これを制限しないと、重大なハルシネーションが起こる可能性がありそう。 精度の高い日本語を扱いたいなら、Opus5.5、コストが気になる場合はSonnet5.5を使った方が今のところは良さそうです。