The Debugging Diaries
در ادامه پست قبل به پارامتر Temperature می رسیم. 🔍 دمای مدل (Temperature) چیست؟ دمای مدل یکی از پارامترهای مهم در مدل‌های زبانی بزرگ (LLMs) مثل GPT است که نقش تنظیم‌کننده خلاقیت و تصادفی بودن خروجی‌ها داره. این پارامتر تعیین میکنه که مدل چقدر به احتمالات…
در ادامه پارامترهای مدل‌های زبانی این دفعه Top-k رو بررسی می‌کنیم.
این پارامتر خیلی شبیه Top-p هست که توی پست‌های قبلی راجع بهش صحبت شد. توی فرآیند انتخاب کلمه بعدی تو مدل‌های زبانی به هر کلمه یه احتمال نسبت داده میشه، حالا برای نمونه برداری از کلمات یه رویکرد جمع احتمال‌ها بود (Top-p) یه رویکرد دیگه انتخاب kتای برتر بر اساس احتمال هست
یعنی اول براساس احتمال از بزرگ و کوچک مرتب میشه و سپس kتای برتر انتخاب و بعدش مراحل مثل Top-p طی میشه.
استفاده ازش باعث میشه دایر لغات استفاده شده در متن وسیع‌تر بشه.
مقدار این پارامتر از 1 تا n هست(n به صورت عدد طبیعی)
کلا این پارامترها برای نمونه برداری برای تولید کلمه بعدی هستند و اگه مدل از اینا استفاده نکنه بهش میگن اصطلاحا حالت greedy که هر دفعه کلمه با بیشترین احتمال انتخاب میکنه
هر چند این حالت به طور کلی منطقی به نظر میاد اما ایراداتی هم به دنبال داره.
راستی یلداتون هم مبارک🥳
#LLM
#ML
این پارامتر خیلی شبیه Top-p هست که توی پست‌های قبلی راجع بهش صحبت شد. توی فرآیند انتخاب کلمه بعدی تو مدل‌های زبانی به هر کلمه یه احتمال نسبت داده میشه، حالا برای نمونه برداری از کلمات یه رویکرد جمع احتمال‌ها بود (Top-p) یه رویکرد دیگه انتخاب kتای برتر بر اساس احتمال هست
یعنی اول براساس احتمال از بزرگ و کوچک مرتب میشه و سپس kتای برتر انتخاب و بعدش مراحل مثل Top-p طی میشه.
استفاده ازش باعث میشه دایر لغات استفاده شده در متن وسیع‌تر بشه.
مقدار این پارامتر از 1 تا n هست(n به صورت عدد طبیعی)
کلا این پارامترها برای نمونه برداری برای تولید کلمه بعدی هستند و اگه مدل از اینا استفاده نکنه بهش میگن اصطلاحا حالت greedy که هر دفعه کلمه با بیشترین احتمال انتخاب میکنه
هر چند این حالت به طور کلی منطقی به نظر میاد اما ایراداتی هم به دنبال داره.
راستی یلداتون هم مبارک🥳
#LLM
#ML