lu retweeted
早在2个月前,我就知道华为的盘古大语言模型实质上是拿别的开源模型基础上重新训练、换词表Tokenizer、刷分刷榜得来的。
今天终于有人揭盖子,通过模型的指纹识别出来华为的MoE大模型是由Qwen模型拼接训练而来的。通过QKVO的输出分布,盘古就是Qwen加噪声,而llama等其他模型有着不同的分布。
I made an RSS feed of maxibestof.one, and the link is below.
pub-d47ae2f4c62a4fd5a201b36e…
1
1
588
脏手指·《舞女泪》youtu.be/MysRfM_e_L4?si=vl5N… 来自 @YouTube
good shit
1,169
















