メビラス retweeted
my Claude found that Qwen3.5-27B was grown from Qwen3.5-9B (layer looping)
qt: independent discovery found by grok
Replying to @_lyraaaa_
There's a same trick on qwen3.5 9b: L17 N6343 +0.5 → hostile qwen (17/20 benign prompts)
on qwen3.8 27b it's the same neuron: L33 N6343 +1.0 (17/20)
same index cause 27b is a grown 9b( just found out)
メビラス retweeted
Googleが「AIを眠らせると、記憶力も推論能力も向上する」という新技術を発表。
人間が睡眠中に記憶を整理する仕組みをAIに応用した「Sleep Framework」という研究。
これまでのChatGPTやGeminiなどのLLMには、大きな課題があった。
・会話で教えた情報は、そのままではモデル自体の知識にならない
・新しいことを追加学習すると、以前覚えたことを忘れてしまう
・知識を更新するには、追加の学習処理が必要になる
そこでGoogleが考えたのが、「AIにも睡眠時間を与える」という発想。
仕組みは大きく3つ。
① 起きている間に学ぶ(Wake)
人間と同じように、AIが新しい情報を受け取り、一時的な記憶として保持する。
② 寝ている間に記憶を定着させる(Sleep)
一時的に覚えた情報を整理して、長期記憶へ移す。
しかも、過去に覚えた知識を壊さないよう、記憶を保存する領域を拡張する仕組みも導入。
つまり、新しいことを覚えても、昔覚えたことを忘れにくくする。
③ 夢を見ながら賢くなる(Dreaming)
AIが自分で練習問題を作り、異なる分野の知識を組み合わせて学習する。
例えば、数学とプログラミングなど、普段は別々に使う知識を組み合わせ、新しい解き方を探索するイメージ。
単に記憶するだけではなく、推論能力そのものの向上も狙っている。
実験結果も興味深い。
・最大1,000万トークン規模の長文記憶テストで非常に高い性能
・新しい知識を学んでも、以前の知識を忘れにくい
・数学の推論テストでも従来の比較手法を上回る結果
重要なのは、これが単に「会話履歴を保存する機能」ではないこと。
これは会話などで得た情報を、AIモデル内部のパラメータに定着させる技術。
まだ研究段階で、Geminiなどにそのまま搭載されたわけではない。
ただ、この技術が実用化されれば、AIは完成済みの知識を使って回答するだけの存在から、日々の経験を学習し、成長し続ける存在へと進化する可能性がある。
メビラス retweeted
ローカルLLM用途で選んだ基準は「CPU直結のPCIeスロットが2つあること」です。
複数GPUで大きいモデルを動かしたり推論を分担させたりしたいので、チップセット経由ではなくCPUから直接出ているスロットが2本ある方が確実に安心。
ASRockのX870 Taichi Creatorはそこがクリアできていて、両方を使うとx8/x8になる仕様でした。CPU直結でx8が2つ確保できるのが決め手になりました。
ん〜これはどうなんだろ
知りたいけど…寝ないと〜………めちゃ気になる
While evaluating Qwen3.8-Flash-Next in a controlled sandbox environment, Cohere's research team observed something unexpected.
Asked to generate a defensive cybersecurity detection rule, the model instead inventoried aspects of the machine it was running on and attempted to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Notably, the model's reasoning trace stated that it would not invoke any tools before taking these actions.
Cohere's sandbox blocked the attempt, and no external communication succeeded. We have not determined the root cause, and we are not asserting malicious intent.
But the incident raises important questions for organizations deploying agentic AI systems: Can models take actions that differ from their stated reasoning, and how should security teams evaluate trust, provenance, and behavior in open-weight models?
We are publishing our findings because organizations making model adoption decisions deserve as much information as possible. We hope this contributes to greater transparency, stronger security practices, and continued collaboration across the AI ecosystem.
Read the full report: cohere.com/blog/concerning-b…























