The Debugging Diaries
88 subscribers
63 photos
47 videos
33 files
73 links
گوشه‌ای برای یادداشت و ثبت مطالب مربوط به پایتون، یادگیری عمیق و هوش و هر چی که مربوط به تکنولوژی باشه.
加入频道
The Debugging Diaries
متاسفانه به دلیل مشغله های زیاد نشد که اخبار کامل کنم اما الان تیتر وار ده تاش رو ببنیم 1- معرفی LAMMA 3.3 70 b از متا 2- معرفی Advance Voice Mode 3- معرفی مدل Google Gemini 2.0 4 - معرفی مدل Phi-4 توسط ماکروسافت 5 - معرفی قابلیت پوشه بندی در چت های ChatGPT…
از بین اینا به نظرم، برای استفاده عمومی
شماره 5 و 9 عالین

یه توضیح کوتاه راجع به گیت‌هاب کوپایلت بدم
میشه ازش به عنوان دستیار کد نویسی با قابلیت بالا توی vs code استفاده‌ کرد.
برای این کار یه حساب گیت‌هاب میخواد و بروزترین نسخه vs code ( یا نصب extension GitHub copilot) و طبق معمول فیلترشکن😁
دو تا مدل Gpt4o و claude sonnet 3.5 رو پشتیبانی میکنه
و توی نسخه رایگان 2000 تا code compeltion در ماه داره هم‌چنین اطلاعات تکمیلی توی لینک پست قبل هست که می‌تونین مشاهده کنین.
برای استفاده از این محصول ماکروسافت به صورت best practice یه ویدیو کوتاه در یوتیوب رو پیشنهاد میدم.
youtube link
شماره 5 هم برای نظم دهی به چت‌ها در gpt هست که توی لینک پست قبل به طور کامل توضیحش داده شده.

شماره 10 و 2 برای شگفت زده شدن در آخر هفته تا حد خوبی ایده آل هست :)
#LLM
#ML
👍1
The Debugging Diaries
در ادامه پست قبل به پارامتر Temperature می رسیم. 🔍 دمای مدل (Temperature) چیست؟ دمای مدل یکی از پارامترهای مهم در مدل‌های زبانی بزرگ (LLMs) مثل GPT است که نقش تنظیم‌کننده خلاقیت و تصادفی بودن خروجی‌ها داره. این پارامتر تعیین می‌کنه که مدل چقدر به احتمالات…
در ادامه پارامترهای مدل‌های زبانی این دفعه Top-k رو بررسی می‌کنیم.
این پارامتر خیلی شبیه Top-p هست که توی پست‌های قبلی راجع بهش صحبت شد. توی فرآیند انتخاب کلمه بعدی تو مدل‌های زبانی به هر کلمه یه احتمال نسبت داده میشه، حالا برای نمونه برداری از کلمات یه رویکرد جمع احتمال‌ها بود (Top-p) یه رویکرد دیگه انتخاب kتای برتر بر اساس احتمال هست
یعنی اول براساس احتمال از بزرگ و کوچک مرتب میشه و سپس kتای برتر انتخاب و بعدش مراحل مثل Top-p طی میشه.
استفاده ازش باعث میشه دایر لغات استفاده شده در متن‌ وسیع‌تر بشه.
مقدار این پارامتر از 1 تا n هست(n به صورت عدد طبیعی)

کلا این پارامترها برای نمونه برداری برای تولید کلمه بعدی هستند و اگه مدل از اینا استفاده نکنه بهش میگن اصطلاحا حالت greedy که هر دفعه کلمه با بیشترین احتمال انتخاب میکنه
هر چند این حالت به طور کلی منطقی به نظر میاد اما ایراداتی هم به دنبال داره.

راستی یلداتون هم مبارک🥳
#LLM
#ML