Amir Karimi

Training a large model from scratch means updating all layers from the start even though it hasn't learned anything yet. Growing instead starts with a smaller model. In LLMs, growing and related approaches like looping have been linked to changes in internal computation. 2/13

(مثلا پارامترای مربوط به گذشته‌ی یه نفر و دیتیل اتفاقاتی که هر روز براش افتاده) و مشاهده و اندازه‌گیریشون در آینده هم اونقدر محتمل به نظر نمیاد. و دومی اینه که یه موجود omniscient وجود نداره که بتونه ارتباط و تاثیر دقیق همه‌ی این پارامترا رو در نظر بگیره.