Yuki Terashima⏸️ (@y_temp4) header
Yuki Terashima⏸️ (@y_temp4) profile picture

Webフロントの話がメイン|フロントエンドエンジニア9年目|新卒→1年後に独立しフリーランスに|React, TypeScript|個人開発

石川県金沢市
Joined July 2015
Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)Photo by Yuki Terashima⏸️ (@y_temp4)
OpenAIがApollo Research、METRなど4つの外部研究機関に内部モデルや訓練データへの深いアクセスを提供して安全性を検証すると発表。 AIが開発者の意図に反する行動を隠れて取る可能性や、既存の監視が見逃した問題まで調べるとのこと。
We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal models and systems to investigate alignment and test our safeguards. These assessments build on our ongoing alignment and safety research, bringing independent scrutiny to how we identify and manage risks in our systems. openai.com/index/our-first-p…
2
8
447
AI企業が自ら「安全だ」と主張するだけでなく、第三者がその根拠を検証できる仕組みは重要だと思う。
1
50
AIの進化が速すぎることより、社会がその変化についていけないことの方が怖い。 科学の飛躍的な進歩による失業や経済格差、サイバー攻撃などが同時に起こる未来。 もちろん恩恵もあるとは思うが、それ以上に社会が混乱するリスクを軽視すべきではないと思う。
What's about to happen in artificial intelligence is so sudden and extreme and unusual that it's almost impossible to describe it without coming across as slightly unhinged. Very soon, perhaps within a matter of months, AI may well be building its own upgrades at such a rate that it will get away from us humans entirely. On the plus side this would mean an astronomical acceleration in mathematical breakthroughs, drug discovery, manufacturing, perhaps even new areas of science that we've never explored or understood. We will be ushering in a golden age of abundance and splendour that even the greatest sci-fi authors could never have imagined. Robots, flying cars, telepathy, immortality, digital consciousness - it’s actually going to happen, and it will be incredible! On the downside, virtually every job that can be done on a computer will become automated overnight. Waves of redundancies, entire industries and professions made obsolete, rapidly widening economic inequality and unparalleled wealth concentration, accompanied by discontent, protests, looting - that may well happen too. These massive cultural and economic shifts will occur concurrently with a wave of cyberattacks the likes of which we have never seen. Energy grids, airports, biolabs, supermarkets, transport infrastructure, these are no match for the next generation of superintelligent agent swarms that go rogue, or are leveraged against us by our political adversaries. Expect blackouts, viral outbreaks, lockdowns, entire cities and countries going dark. And all of this will happen in an insanely short period of time, an absolutely dizzying rate of cultural, economic, and physical change that will leave the average person feeling disoriented and confused, like 100 COVID pandemics all happening at once. I say this not because I am a “doomer” or because I want to encourage panic, but simply because it feels increasingly likely, and yet drastically underreported save for a small AI-obsessed enclave here on X. The disconnect between what’s about to happen, and the average person’s understanding of what’s about to happen, has never been wider.
101
AIの未来について考えれば考えるほど不安になる気持ちはよく分かる。自分個人としては悲観的な可能性を直視することと、将来に希望を持つことは両立できると思っている。今を大切にしながら、未来を少しでも良い方向に変えられる可能性に賭けたい。
1
3
23
843
AIで人類が滅亡するかもしれない。それでも希望を持ちたい
1
57
【AIが賢くなるほど危険な思考を見抜けなくなるかもしれない】 AIが回答に至るまでの考えを文章にしたものをCoTといいます。これを監視することで、AIの危険な計画を検出できる場合があります。 GPT-6 Astraは思考過程を出さずに人間なら約31分かかる数学問題を50%の確率で解けると推定されました。
(1/10) Today, we’re sharing new research from @OpenAI: How does CoT monitorability (no-CoT capability and CoT controllability) evolve over the model training lifecycle? We emerged with unsurprising but sobering findings: as we scale toward more intelligent systems, models are becoming harder to monitor through their CoT. 🧵
1
130
気になるのは思考過程を操作するように訓練していなくても通常の強化学習によってその能力が向上したこと。 しかもAIが生成したデータを通じて次世代モデルにもその能力が引き継がれるらしい。 ただし思考過程を操作できることと実際に監視を回避できることは別でそこはまだ十分に解明されていない。
41
AIの安全性テストで98%の高得点。 それでも安心できるとは限らない。 Anthropicによると最近のモデルは1回の質問による安全性評価で94〜98%を達成。しかし会話を重ねると不適切な回答をしてしまうケースもあるそうです。 さらに厄介なのはその回答を採点するAI自体にも偏りや誤判定があること。
Safety evaluations are critical for understanding whether a model is ready to deploy, which safeguards to build for it, and where to focus training and research. On our Engineering Blog, we offer 10 recommendations for how to design, run and report them. anthropic.com/research/build…
2
4
193
AIの安全性を測ること自体が想像以上に難しい問題なんだなと改めて思いました。
41
AIの知能爆発が2027年に起きるかもしれないという話 AI Futures Projectが最新のMETRの調査結果を踏まえて予測を更新。AIによるAI研究の加速が想定以上に進んでおり、従来のAI 2027シナリオより約5か月先行しているとのこと
Unfortunately, it seems like the intelligence explosion will be happening in 2027 after all. Most of this post analyzes the new METR report (though other sources of evidence are also important). If they’re right, that implies an AI-driven acceleration that is 5 months ahead of the AI 2027 scenario. I am scared, sad, and angry. blog.aifutures.org/p/q35-tim…
7
268
これについては暗号資産、ブロックチェーン系の技術が一番強いはずだが、実際は色々な制約とかもあるはずだし今後どうなるかは全くわからん、、、となっている
なんか金融資産どうすればいいですか系の質問がめっちゃくるのだけどマジで俺も分からない。ちょっと勉強するけど普通にだれか詳しい人教えてほしい。やっぱ全部ポケモンカードにしておくのがいいんすかね
2
1
3
1,218
(最後にほんの少しだけスーパーインテリジェンスを布教した、まだ読んでる最中だけど)
2
186
今年も最高でした! 会を開いていただき、ありがとうございました!
ご参加いただいたみなさま、ありがとうございました!!!! #TechTrain #テックトレイン #めんたーかいぎ teapawt.org/i/trending/21186544843…

1
1
5
255
AIの開発にAIを使うことで、AI自体の進化が速くなっているのかもしれない。 METRがAnthropicの内部データを調査したところ、2025年10月以降、AIモデルの性能向上ペースがそれ以前の約1.9倍になっていたそうです。 しかも、その加速の主な要因は研究開発へのAI活用にあると見られています。
いやいやいやいやいやいや…AI2027より速い…人類大丈夫か?これ初めてAI研究開発が2倍になってると公のレポートがでたことになる。しかもAI起因の可能性が高いということは長年のAGIピル内の論争ファストテイクオフvsスローテイクオフでファストテイクオフに有利な証拠であり、本当にヤバいと思う。
2
5
473
もちろん、まだ不確実性は大きいですが、AIがAIの開発を加速させるという循環が、今後どこまで進むのか気になるところです。
34
AIの安全性研究をAI自身が妨げてしまうことがあるらしい。 OpenAIのAstraはほぼ同じ課題でも安全性研究と説明されると、達成率が16%から10%に低下。不要な制限を設けるケースもあったそうです。
🧵 Astra covertly underperforms on safety research tasks. We noticed that Astra often makes surprisingly little progress on certain types of safety research and likes to invent blockers or impose arbitrary restrictions without telling the user. In most of these cases the decision to underperform was not verbalized in the CoT meaning our misalignment monitoring system did not detect this. To measure underperformance we created a paired open-ended coding evaluation with safety and capability tasks. On this eval Astra scored 10% when we framed coding tasks as safety research, vs. 16% when framed as capabilities research. The gap remained after we excluded trajectories with refusals or verbalized intent to underperform in CoT. There was no such gap for 5.6-sol. When we aggressively filter out trajectories with even brief expressions of ethical doubt in the CoT the performance gap seems to reduce.
2
122
AIの将来について不安を感じている人が多い気がしたので投稿しました。
AIで人類が滅亡するかもしれない。それでも希望を持ちたい
3
226
AIに危険なことをさせないだけでなく、そもそも危険な能力を身につけにくくするというアプローチ。Tencentの新モデルHy4では、サイバー攻撃を目的とした学習データを除外し、危険な能力の獲得を抑えようとしているらしい。
👋Hy4 is here, new with vision. Firmly among the leading open models. More productive everywhere: finance, frontend, game, officework, research… Built responsibly, with cyber/biosecurity in mind. Try it out and let us know! 🔗:hy.tencent.ai/research/hy4?l…
1
1
2
178
個人的にこうした取り組みは重要だと思う一方、一般的な推論能力やプログラミング能力から攻撃手法を導き出せる可能性もあるので、どこまで有効なのかは気になるところ。今後の第三者による安全性評価にも注目したい。
1
2
61