Takuya Matsumoto | Intersect (@mt_intersect) profile picture

INTERSECT INC. CEO/ AIシステム開発屋さん/東京大学工学系研究科博士後期課程中退/元理論物理屋さん/ https://teapawt.org/t.co/i8V9TalsW3 / カジュアル面談はこちらから→ https://teapawt.org/t.co/eLGvDP3KVX

Joined May 2023
Replying to @TakumiOokoshi
@TakumiOokoshi さんから勧められて早速読んでるけど、おもろい @kinoshitay さんや@masato611 さんもだけど、弊社の株主の皆さんは良い記事とか本とかたまに教えてくれる 普段インプットサボりがちなんだけど、人から勧められると時間作って読んでみようという気になるからありがたい
1
1
1
11
3,145
オフィスからの帰り道が素晴らしい
4
402
運び出し完了。 2023年4月の創業から2年10ヶ月居たオフィスなので感慨深いです。 次のオフィスはもっともっと忘れられない場所になるように、ますます頑張ります。
1
1
23
2,177
インターセクトはプレシリーズAで3億円の資金調達を実施しました! ALPHA、SBIインベストメントを共同リード投資家とし、既存株主のSkyland Ventures、みずほキャピタルを引受先としています! @masato611 @tatsutatsukei @KaoriMitsui @bobkouki517 @hiroaki_m98 @kinoshitay
4
17
9
91
45,600
日テレNEWSにAskhub映っておる!
1
1
10
863
23-25日にDX総合EXPOに Askhub出展してました! 結果3日で417社の企業様に トライアル導入に向けた商談の お申込をいただきました! 法人向けAIエージェントを謳う サービスが多くある中 Askhub導入を検討いただき 感謝しかありません! AX推進を阻む課題 引き続き真正面から解決していきます!
4
6
31
4,656
強化学習時の報酬生成については これから進展あるなと思っていたけれども 一般タスクでの報酬生成について 早速進展があった 手法) 1. まず評価基準とそれに基づく批評を作り 2. それを複数サンプリングして多様な観点から報酬を決定 サンプリング数で顕著に 性能がスケールするのがすごいところ
LLMの事後学習において強化学習を利用し、推論時スケーリング(推論時に計算量を増やし性能を上げる)ことが可能となっている。この主要な課題は、検証可能なタスクやルールを超えた領域で正確な報酬信号を得ることである。 DeepSeek-GRMモデルは、応答ごと(回答ペアでなく)に高品質な批評の原理とそれらに基づいた批評テキストを生成し、それらのテキストを報酬に変換した合計値で最終的な報酬を求める。その際には品質の低い原理や批評をはじくメタRMを使うとさらに性能をあげられる(批評の批評)。 原理を固定ルールでなくモデルが生成することも重要で、入力クエリと応答に基づき、原理を生成し、次に原理をもとに批評を生成する(原理が潜在変数)。これにより、批評の質や細やかを報酬モデルの学習によって向上することができる GRMは原理と批評の生成を同時に最適化する(Self-Principled Critique Turning; SPCT)これは次の2ステップからなる - Rejective Fine Tuning: 初期化として正しい形式と多様な入力に対応した出力を学習。Rejection Samplingを使い、予測された報酬が正解と一致する場合を残す - 次にGRPOに基づくルールベースのオンラインRLを行い報酬モデルを学習する。r1で使っていた出力形式に関する報酬(format reward)は使わずKLペナルティ係数を大きめに設定する このように作られたDeepSeek-GRMはGemma-2-27Bをベースに適用され、報酬モデリングタスクではNemotron-340B-rewardやGPT-4oに匹敵する性能を達成。さらに推論時スケーリングを達成し、8サンプル~32サンプルで性能改善がみられた(一方、原理を介さず生成するアプローチは多様性が限られ性能改善がみられなかった) モデルサイズを確証する学習時スケーリングより、推論時に複数回サンプリングして評価の多様性を増やすアプローチで性能向上がみられる === 感想・コメント 正確な報酬信号を与えられるタスク(プログラム・数学)以外にLLMが自己学習できるかは正確な報酬モデリングできるによるが、今回はそれに向けて、直接報酬を生成するのでなく、批評を生成し、さらに原理を生成し、これらを複数出力して多様性を確保した上で、推論スケールによって精度が挙げられる可能性があることが示された。 生成時の多様性をあげるには潜在変数を介すことが有効だが、今回、報酬モデリングにおいて批評、原理がその役割を果たしているとともに、人間にも解釈可能/介入可能なものになっている。 次はこの報酬モデリング(やその発展形)を事前学習後モデルに大規模オンラインRLに入れていくのが進められていくだろう
2
9
1,472
これ革命じゃないのかな? Computer useが 高速に、高性能になれば Agentの実用性が爆発する クリック精度では - GPT-4o 5% - Gemini 2.0 33% - 3.7 Sonnet 53% に対して ace 72〜77% レイテンシーは - GPT-4o 2.5k ms - Gemini 3k ms - 3.7 Sonnet 9.6k ms に対して ace 0.3~0.5k ms やばい
1
1
2
667
RAGの精度向上させたい人キャッチアップ必須! Cohereの出したRerank 3.5はユーザーのクエリに対して文書の関連度をスコアリングしてくれる 使い方としては、 1. 従来のベクトル検索などで関連チャンクを「どさっと多めに」取ってくる 2. Rerank 3.5でスコアリングする 3. 上位をLLMに食わせる って感じっぽい ここの2の工程はLLM as a judgeとかで評価することが多いけど、なかなか性能が安定しないのがネックだった 弊社のAskhubでも軽量LLMを並列実行させて力業でドキュメントの関連度評価してたけど、ここを丸っと置き換えれる可能性ありそう あとは推論能力が高いのも売りらしいから、クエリ拡張ももしかすると要らなくなる? 色々可能性を感じる👏
1
1
5
699
RunwayのAPIきた!!!! 使用感レビューしたら需要あるかな
1
2
245
Self-Routeとっても簡単なのに効果的で良き 1. RAGで答えられるならRAGで答える 2. 答えられないって判断したらロングコンテキストで答える これだけでコストは半分程度に抑えて完全なロングコンテキストと同等の性能 軽量特化型モデル使ってこねくり回す手法より拡張性という意味でも素晴らしい
1
5
301
やばい 久しぶりに食べたらサクレレモン美味すぎた 昔はもっとシロップっぽい味だったのにちゃんと酸味が効いてる 調べたらレモン果汁が2014年5%→2018年7%→2023年8%って増えてるらしい 感動した
6
220
え、GPT-4oもファインチューニングできるの?
199
Automated Design of Agent Systemsすごい 既存のAgentを組み合わせて新しいAgentを作って、さらにそれを評価してってのを繰り返してどんどん進化させてくシステム 25回繰り返したら従来のアルゴリズムより倍近くAccuracy上がってる (1回作るのに$500かかるっぽい)
1
3
217
RAGCheckerはRAGの全過程を検索過程と生成過程に分けて、それぞれについて評価メトリクスを与えてる すごく直感的で分かりやすい 画像について補足すると、 ⚪︎は正しい主張 ×は誤った主張 △は見落とした主張 ?は関係ない主張 絶対値は数を表してて、|A ∈ B|は「Bに含まれるAの数」を表してる
1
3
264
1回キャッシュに書き込んじゃえば、インプットの1/10の値段で呼び出せるってことね 応答は早いらしいけど精度どうなんだろ
🆕 Prompt caching with Claude. Caching lets you instantly fine-tune model responses with longer and more instructive prompts—all while reducing costs by up to 90%. Available in beta on the Anthropic API today. anthropic.com/news/prompt-ca…
1
345
2020年以降の117件の論文を網羅的に調査して、LLMとLLM Agentを明確に区別した論文 これ読むとなんとなくAgentって言ってるけど実は単なるLLMでしたってケースもかなりありそう あとこれからはAgentだってみんな感覚的に思ってるけど、やっぱ論文数もそれを示唆してるな
1
144