⚡️ مدل‌های زبانی GPT-OSS با فرمت GGUF توسط تیم Unsloth بهینه‌سازی و منتشر شدند
@rss_ai_ir

تیم توسعه‌دهنده Unsloth دو نسخه از مدل‌های GPT-OSS با ۲۰ و ۱۲۰ میلیارد پارامتر را به فرمت GGUF تبدیل کرده و با رفع برخی ایرادات، کیفیت استنتاج (Inference) آن‌ها را به‌طور قابل توجهی افزایش داده‌اند.


---

📌 پیکربندی پیشنهادی برای اجرا:

🔹 مدل با ۲۰ میلیارد پارامتر در حالت دقت کامل، تنها به ۱۴ گیگابایت حافظه رم نیاز دارد و با سرعتی بیش از ۱۰ توکن بر ثانیه اجرا می‌شود.

🔹 مدل ۱۲۰ میلیاردی نیز با حدود ۶۴ گیگ رم، خروجی بالای ۴۰ توکن بر ثانیه ارائه می‌دهد.

🔸 حتی در سیستم‌هایی با ۶ گیگ رم و بدون GPU هم امکان اجرا وجود دارد، اما سرعت استنتاج پایین‌تر خواهد بود.


---

📈 در صورت استفاده از کارت گرافیک، عملکرد مدل‌ها به‌مراتب بهتر خواهد بود.
برخی تست‌ها با GPU قدرتمند H100 نشان داده‌اند که سرعت خروجی به بیش از ۱۴۰ توکن بر ثانیه می‌رسد که حتی از ChatGPT نیز سریع‌تر است.


---

🧠 روش‌های قابل استفاده برای اجرا:

اجرای مستقیم با ابزار llama.cpp

نرم‌افزارهای رابط مانند LM Studio

محیط‌های تعاملی مانند Open WebUI


📌 مدل ۲۰B در عین سبک بودن، عملکردی نزدیک به مدل‌هایی مانند o3-mini دارد و برای سیستم‌های ضعیف‌تر بسیار مناسب است.


---

🔧 نسخه‌هایی با دقت ۴ بیت و ۱۶ بیت نیز آماده شده‌اند.
نسخه ۴ بیتی حتی قابلیت فاین‌تیون روی کارت‌های گرافیک با ۲۴ گیگابایت VRAM را دارد.

📄 مستندات کامل برای نصب و آموزش، توسط تیم Unsloth منتشر شده و گام‌به‌گام مراحل راه‌اندازی را توضیح داده است.

منابع:
لینک 1

لینک 2

#مدل_زبانی #هوش_مصنوعی #GPT_OSS #Unsloth #GGUF #LLM

@rss_ai_ir

🚀 فاین‌تیونینگ کارآمد مدل‌های زبانی با PEFT

✳️در پروژه‌های هوش مصنوعی، مخصوصاً مدل‌های زبانی بزرگ (LLM)، فاین‌تیونینگ کامل تمام وزن‌ها (Full Fine-Tuning) بسیار پرهزینه و نیازمند GPUهای قدرتمند است. تکنیک PEFT (Parameter-Efficient Fine-Tuning) با هدف کاهش این هزینه‌ها معرفی شده و امروز یکی از رایج‌ترین رویکردها برای سفارشی‌سازی مدل‌ها در حوزه تخصصی است.


🔍 ایده اصلی PEFT
به‌جای تغییر دادن همه پارامترهای مدل (که ممکن است میلیاردها وزن باشد)، فقط یک زیرمجموعه کوچک از پارامترها یا لایه‌های اضافه شده (مثل LoRA – Low-Rank Adaptation) آموزش داده می‌شود. وزن‌های اصلی مدل پیش‌آموزش‌دیده (Pretrained Weights) ثابت می‌مانند و تنها ماتریس‌های کم‌رتبه‌ی افزوده شده به‌روزرسانی می‌شوند.


⚙️ مهم‌ترین روش‌های PEFT
LoRA (Low-Rank Adaptation) 🟦
تزریق دو ماتریس کم‌رتبه (A و B) به وزن‌های مدل
به‌روزرسانی فقط این ماتریس‌ها
کاهش چشمگیر تعداد پارامترهای قابل‌آموزش (تا 1000 برابر کمتر از Full Fine-Tuning)


Prefix-Tuning 🟧
اضافه کردن یک توالی از "توکن‌های پیشوند" قابل‌آموزش به ورودی هر لایه ترنسفورمر
مناسب برای وظایف تولید متن (NLG) و دیالوگ


Prompt-Tuning 🟨
آموزش چند embedding به‌عنوان پرامپت ثابت برای هدایت مدل مناسب برای سناریوهایی که ورودی همیشه ساختار مشخصی دارد


Adapters 🟩
اضافه کردن ماژول‌های کوچک بین لایه‌های ترنسفورمر مدل اصلی ثابت می‌ماند و فقط آداپترها آموزش می‌بینند


📊 مزایا برای پروژه‌های صنعتی
💾 نیاز کمتر به حافظه GPU (مثلاً 8GB هم کافی است)
⏱️ سرعت بالاتر آموزش و استقرار
🔄 قابلیت اشتراک و ترکیب ماژول‌های فاین‌تیون (Adapter Fusion)
📦 امکان استفاده روی مدل‌های خیلی بزرگ بدون منابع ابری گران


💡 کاربردهای تخصصی
♻️سفارشی‌سازی GPT یا LLaMA برای تحلیل متون حقوقی، پزشکی یا فنی
♻️آموزش مدل‌های چندزبانه روی داده‌های سازمانی محدود
♻️ایجاد نسخه‌های سبک‌تر و بهینه برای اجرا روی لبه (Edge AI)


📌 جمع‌بندی
روشPEFT با تمرکز روی تغییرات کم‌هزینه و ماژولار، فاین‌تیونینگ را برای همه قابل‌دسترس کرده است. به‌جای روزها آموزش روی چندین GPU، می‌توان با منابع محدود، مدل‌های قدرتمند را دقیقاً مطابق نیاز حوزه تخصصی خود تنظیم کرد.


@rss_ai_ir 🤖

| #هوش_مصنوعی #LLM #PEFT #LoRA #پردازش_زبان_طبیعی