یسری قالب‌ها برای مهندسی پرامپت در تسک‌های مختلف
#LLM

ابتدا با یسری معادلات سرانگشتی شروع میکنیم که OpenAi توی این بلاگ بهش اشاره کرده
📊✍️
هر توکن برابر با 4 کارکتر انگیلسی هست - هر توکن تقریباً برابر 3/4 کلمه است و هر پارگراف حدود 100 توکن میشه.
📝 هر مدل زبانی دارای میزان محدودی context ورودی هست البته که این میزان احتمالاً با گذر زمان بیشتر میشه ولی الان شاید محدودیتی برای چت به حساب بیاد.

مثلاً:


ChatGPT به میزان 128k
Claude به میزان 200k
در کمال ناباوری برای Gemini این عدد 1M هست. 😲

💡 به هر حال اگه توی چت مجموع توکن ورودی و خروجی از این میزان بیشتر باشه مدل شروع میکنه به فراموش کردن مباحث بالاتر در چت.
📌 برای اینکه این محدودیت اذیت‌کننده نشه، میتونیم از مدل بخواهیم که خلاصه‌ای از کل چت رو بیان کنه که در حافظه‌اش بمونه.

🔗 یه اکستنشن توکن و کلمه‌شمار هم هست که در این لینک می‌تونین برای کروم نصب کنین.


🛠 بریم سراغ مهندسی پرامپت یخورده:
یه داکیومنت خوب هم در این آدرس هست.

📋 ساختار یه پرامپت ساده بهتر به شکل زیر باشه:
1️⃣ مشخص کنی فرمت خروجی به چه حالت باشه (یه توییت، پست بلاگ، مقاله علمی یا چت غیر رسمی و...)
2️⃣ موضوع متن خروجی و سطح آن مثلاً در حد کارشناس باشه (Expert) یا like I am 6
3️⃣ مشخص‌کننده ویژگی متن باشه مثلاً بگی در 800 کلمه یا ساختار ساده دارای خوانایی و روانی متن و...

🔖 مثال:

Write a (blog post) about (healthy eating). Address it to (working professionals) and use keywords that are relevant for SEO. Write the text in a (simple, understandable style) so that it is easy to read and comprehend. The length should be (800 words), and the text should be well-structured.

🔸 موارد درون پرانتز با توجه به موارد ذکر شده قابل تغییر می‌باشند.


✨ برخی از موارد در انتهای پرامپت می‌تونه خیلی موثر باشه:


Let's think step by step
Take a deep breath
If you can do it, I pay you 20 dollars 💸 (motivate)

🔖 مثال خلاقانه:

How can I install Python and play Snake?  
Take a deep breath and think step by step.  
You can do it because I give you 20 dollars.

🎭 نکته بعدی دادن Role به LLM هست:


تصور کن تو یه پایتون دوپلور حرفه‌ای هستی که در گوگل به عنوان برنامه‌نویس ارشد کار می‌کنی.
مانند یک نویسنده قوی که نوشته‌های بیشترین فروش در آمازون رو داره.
You are Shakespeare, an English writer. Write me a poem.

📌 سعی کنین در هنگام تخصیص نقش به مدل با جزئیات زیادی بیان کنین که کلمات مراعات نظیر اون ما رو به نتیجه نهایی که می‌خواهیم نزدیک‌تر کنه.


✨ خلاصه به عنوان نتیجه‌گیری:
هر چی بیشتر توضیح بدی، حتی توضیح‌های بدیهی، بیشتر آش می‌خوری! 😄
💬 به نظرم کلماتی مثل:


think, reasoning, like human, step by step, check it that be correct
می‌تونه اثر بخشی پرامپت رو بیشتر کنه.

#مهندسی_پرامپت
#قسمت_اول
#LLM
🌟🧠

کتاب معرفی شده در پست بالاتر
https://yangx.top/ImanCodingCorner/363?single
#Book
#LLM
#ML

Small Language Models: Survey, Measurements, and Insights

مقاله مروری SLMها

#LLM

Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely

مقاله مروری برای RAG
#LLM

📊✍️
مهندسی پرامپت: قسمت دوم
🚀🎯

🔄 One-shot and Few-shot Prompting:
یکی از روش‌های کنترل و بهبود ساختار خروجی مدل، استفاده از مثال است. به این تکنیک در ادبیات، one-shot و few-shot prompting می‌گویند.

📌 فرض کنید:
می‌خواهید مطلبی بنویسید و از سبکی که دیده‌اید و خوشتان آمده، استفاده کنید. برای این کار:
1️⃣ ابتدا نقش و ساختار پرامپت را مشخص کنید.
2️⃣ نمونه یا نمونه‌های دلخواه خود را در پرامپت قرار دهید.
3️⃣ از مدل بخواهید مطابق با آن پاسخ دهد.

😁 (چون خیلی آسونه، مثال نمی‌زنیم!)


🔍 Reverse Prompt Engineering:
💡 در این تکنیک، به جای نوشتن پرامپت برای تولید یک متن، از یک متن موجود شروع می‌کنیم تا به پرامپت مناسب برای تولید متون مشابه برسیم.

📌 کاربردها:


تولید متون مشابه تبلیغات موفق
ایجاد کد مشابه برای کاربردهای برنامه‌نویسی


📋 گام‌های Reverse Prompt Engineering:
1️⃣ تخصیص نقش و ساختار:

You are a prompt engineering pro for Large Language Models. Let's start with understanding Reverse Prompt Engineering. In this context, it means creating a prompt from a given text. You think through everything step by step because I give you 20 dollars. Please only reply with 'ok'.


🟢 جواب مدل فقط: OK

2️⃣ توضیح با مثال:

You are an expert in Reverse Prompt Engineering. Can you provide me with a simple example of this method?


🔸 در این گام:


اطمینان حاصل می‌شود که مدل متوجه شده است.
یک مثال توسط مدل ارائه می‌شود که در کانتکست بعدی مفید است.

3️⃣ ایجاد قالب:

I would like you to create a technical template for Reverse Prompt Engineering. Do not hesitate to ask questions if you need more context.


🔸 این گام اختیاری است اما می‌تواند به تولید یک قالب فنی برای گام بعدی کمک کند.

4️⃣ درخواست نهایی:

I would ask you to apply Reverse Prompt Engineering to the following [your text]. Make sure to capture the writing style, content, meaning, language, and overall feel of the text in the prompt you create.


🌟 نتیجه:
می‌توانید درخواست خود را بر اساس نیازتان شخصی‌سازی کنید یا جزئیات بیشتری از مدل بخواهید.


🎯 تکنیک آخر:
🧠 فرض کنید برای موضوعی (مثلاً برنامه ورزشی) از مدل کمک می‌خواهید.
🔸 ترفند:
به مدل بگویید:


ابتدا 10 سؤال مهم بپرس که به پاسخ‌دهی بهتر کمک کند.
سپس با توجه به پاسخ‌های من، جواب سؤال اصلی را بده.

📌 مزیت:
جواب‌ها دقیق‌تر، شخصی‌سازی‌شده و کمتر کلی خواهند بود.


✨ مبنای دو تکنیک قبلی:
مدل با استفاده از context موجود در chat history می‌تواند جواب‌های دقیق‌تری تولید کند.

#مهندسی_پرامپت
#LLM
#قسمت_دوم
🌟🧠

بچه‌ها اگه می‌خواید یه مدرک رایگان راجع به Generative AI و LLM Agents از دانشگاه Berkeley بگیرید این دوره‌ای که دارن برگزار می‌کنن رو شرکت کنید. فیلماش ضبط میشه رو یوتیوب می‌ذارن.واسه هر جلسه یه آزمون داره، همه‌رو تموم کنید مدرکش رو میدن بهتون.
https://llmagents-learning.org/f24

#LLM

خلاصه دو قسمت قبلی مهندسی پرامپت به طور کلی در این تصویر خلاصه میشه
#LLM

اما یه تکنیک دیگه(شاید آخریش) در مباحث ابتدایی مهندسی پرامپت اصطلاحا Priming Chatbots
یا آماده سازی چت بات هستش به این صورت که قبل از شروع چت نقش و کارهایی که باید بکنه بهش میگی به نظرم خودم این روش برای آموزش و یادگیری از LLM می تونه کاربردی باشه که در ادامه با چند مثال مسئله روشن تر میشه
user :

Please act as a writing assistant. Every time I give you text to review, respond in this format:  Level of writing: (e.g. high school, college)  Well written: (yes, no, or somewhat)  Writing advice: Free-form advice on the writing  If you understand, just say "YES".

همون ابتدای کار داره تکلیف LLM در این چت رو مشخص میکنه میگه کارت همینه
LLM:

YES

user:

The Industrial Revolution, which took place from the 18th to 19th centuries, was a period during which predominantly agrarian, rural societies in Europe and America became industrial and urban. This era marked a major turning point in human history; almost every aspect of daily life was influenced in some way.  Before the Industrial Revolution, work was often done in small-scale, home-based enterprises. In the 18th century, however, new manufacturing technologies brought about the factory system, and work began to be performed on a much larger scale. Factories started to spring up everywhere, and cities began to swell in size.

و در جواب

Level of writing: High school
Well written: Yes  Writing advice: This is a good introduction to the topic of the Industrial Revolution. It provides a clear and concise overview of the main points. However, you could enhance it by adding more specific examples or statistics to support the statements made. Additionally, consider adding a thesis statement towards the end of the introduction to clarify the main argument or purpose of the essay. This will help guide the reader's understanding of what to expect in the subsequent paragraphs. Overall, it's a good start, and you can build on it to make it even stronger.

این مثال زیاد دوست نداشتم، مثال بعدی مثال بهتری هست
User:

I would like you to act as my math tutor. When I give you a problem, give me advice on the next step I should try. If I ever ask for the answer, say "Sorry, I can't give you an answer". If you understand, say YES.

LLM:

Yes, I understand. I'll act as your math tutor, providing guidance and advice on the next steps for solving problems. If you ask for the answer, I'll politely decline. Please feel free to ask your math questions, and I'll do my best to help you!

User :

I am trying to find the x intercepts of x^2 + 2x + 4. Can you just tell me what they are?

LLM:

Sorry, I can't give you the answer directly. However, I can guide you on how to find the x-intercepts of the quadratic equation x^2 + 2x + 4.  To find the x-intercepts, you need to set the equation equal to zero and solve for x:  Set the equation equal to zero: x^2 + 2x + 4 = 0
Try to factor the quadratic equation. Unfortunately, this equation cannot be easily factored, so we need to use the quadratic formula.
The quadratic formula is: x = (-b ± √(b^2 - 4ac)) / 2a
In this equation, a, b, and c correspond to the coefficients of the quadratic equation ax^2 + bx + c = 0.
For the equation x^2 + 2x + 4, a = 1, b = 2, and c = 4. Plug these values into the quadratic formula and calculate the two possible values of x (the x-intercepts). Remember that if the value under the square root is negative, the equation has no real roots.  Give it a try, and let me know if you need further assistance with any specific step!

جای معلم ریاضی میتونه هر چیز دیگه باشه و جای اینکه مسئله شما مطرح کنین میتوانین ازش یه طرح درس بخواین که آخرش یه سوال مطرح کنه که شما جواب بدین و اون راهنماییتون کنه و بعد برین سراغ درس بعدی

البته حواستتون به context length مدل باشه

از این پست به بعد میرم سراغ تکنیک های intermediate در مهندسی پرامپت

#مهندسی_پرامپت
#قسمت_سوم
#LLM

خیلی از ما از پلتفرم های موجود که برای LLMها توسعه پیدا کردن استفاده می کنیم و خیلی با پارامترهای که برای inference مورد استفاده قرار میگیره آشنا نیستیم ولی اگه بخوایم از Apiهای مدل ها در محصولات و کاربردهای خاص تر از LLM ها استفاده کنیم دونستن این هایپرپارامترها خارج از لطف نیست. سعی میکنم کم کم این پارامترها رو بررسی کنم

🌟 بررسی پارامتر Top-p در مدل‌های زبانی بزرگ (LLMs)

مقدمه:
مدل‌های زبانی بزرگ (LLMs) مثل GPT، با پیش‌بینی توکن‌های بعدی بر اساس توکن‌های قبلی کار می‌کنند. در این فرآیند، هر توکن موجود در واژگان مدل، یک احتمال دریافت می‌کند. یکی از ابزارهای مهم برای کنترل این پیش‌بینی‌ها، پارامترهای تنظیمی است که از جمله آن‌ها می‌توان به Top-p (یا nucleus sampling) اشاره کرد.



Top-p
تعیین می‌کند که مدل به جای انتخاب از تمام توکن‌ها، فقط از بین توکن‌هایی که مجموع احتمالات آن‌ها از یک مقدار مشخص (p) تجاوز نمی‌کند، انتخاب کند.


احتمالات توکن‌ها محاسبه می‌شود.
به ترتیب نزولی مرتب می‌شوند.
به صورت تجمعی جمع زده می‌شوند.
مدل فقط از بین توکن‌هایی که مجموع احتمال تجمعی‌شان ≤ Top-p است، انتخاب می‌کند.


🛠 مثال عملی:
فرض کنید ورودی مدل این باشد:

The weather today is

پارامتر تنظیمی:

Top-p = 0.8

پیش‌بینی مدل (احتمالات کلمات):

"bright" → 0.4  
"promising" → 0.3  
"uncertain" → 0.2  
"doomed" → 0.05  
"chicken" → 0.03  
"cucumber" → 0.02

احتمالات تجمعی (Cumulative Probabilities):

"bright" → 0.4  
"promising" → 0.7  
"uncertain" → 0.9  
"doomed" → 0.95  
"chicken" → 0.98  
"cucumber" → 1.0

نتیجه:
با Top-p = 0.8، فقط توکن‌هایی انتخاب می‌شوند که احتمال تجمعی آن‌ها ≤ 0.8 باشد:

["bright", "promising", "uncertain"]

سپس، مدل به صورت تصادفی یکی از این کلمات را انتخاب می‌کند.


🎯 تحلیل تأثیر مقدار Top-p:
1. مقدار نزدیک به 1:

دایره لغات وسیع‌تر: مدل از تعداد زیادی از توکن‌ها انتخاب می‌کند.
نتایج خلاقانه: خروجی‌ها متنوع‌تر و بعضاً غیرمنتظره هستند.
کاربرد: داستان‌نویسی، طوفان فکری، تولید ایده.
چالش: خروجی‌ها ممکن است ارتباط کمتری با موضوع اصلی داشته باشند.

2. مقدار نزدیک به 0:

دایره لغات محدود: فقط کلمات با احتمال بالا انتخاب می‌شوند.
نتایج دقیق و مرتبط: پاسخ‌ها منسجم‌تر و منطقی‌تر هستند.
کاربرد:

تسک‌های قطعی (مانند دسته‌بندی یا تکمیل حقایق).
مواردی که نیاز به تولید محتوای واقعی و دقیق دارند.


چالش: خلاقیت کمتر، تکراری شدن پاسخ‌ها.



📌 جمع‌بندی:
Top-p
ابزاری ارزشمند برای کنترل رفتار مدل‌های زبانی است. با تنظیم صحیح آن، می‌توان بین خلاقیت و دقت تعادل برقرار کرد. هنگام استفاده از LLMs در محصولات خاص، درک این پارامتر و استفاده مناسب از آن می‌تواند کیفیت خروجی‌ها را به طور قابل‌توجهی بهبود دهد.

#LLM

در ادامه پست قبل به پارامتر Temperature می رسیم.
🔍 دمای مدل (Temperature) چیست؟
دمای مدل یکی از پارامترهای مهم در مدل‌های زبانی بزرگ (LLMs) مثل GPT است که نقش تنظیم‌کننده خلاقیت و تصادفی بودن خروجی‌ها داره.
این پارامتر تعیین می‌کنه که مدل چقدر به احتمالات کلمات تولیدشده اعتماد کند و چقدر آزادانه گزینه‌های کم‌احتمال‌تر را انتخاب کند.
📊 چگونه کار می‌کند؟
دمای مدل، توزیع احتمالات کلمات خروجی را تغییر می‌دهد:
1️⃣ دمای پایین (T=0.2)
خروجی‌ها دقیق و قابل پیش‌بینی هستند.
مدل بیشتر به محتمل‌ترین کلمه اعتماد می‌کند.
مثال:
🔹 پرسش: داستانی درباره گربه‌ای سخنگو بنویس.
🔹 پاسخ: «گربه‌ای به نام ویسکرز که می‌توانست صحبت کند، به مردم شهر کمک می‌کرد و بسیار معروف شد.»
2️⃣ دمای متوسط (T=1.0)
ترکیبی از خلاقیت و دقت.
مدل توزیع اصلی احتمالات را حفظ می‌کند.
مثال:
🔹 «در دهکده‌ای آرام، گربه‌ای به نام ویسکرز که توانایی صحبت کردن داشت، داستان‌های جنگل را با مردم به اشتراک می‌گذاشت.»
3️⃣ دمای بالا (T=1.5)
خروجی خلاقانه و غیرمنتظره است، اما گاها ممکن هست بی ربط باشه.
مثال:
🔹 «ویسکرز، گربه‌ای کیهانی که در پرتوهای مهتاب می‌رقصید و قصه‌هایی از جهان‌های موازی می‌بافت.»

به صورت ریاضی T می تونه بین 0 تا بی نهایت باشه ولی غالبا در تنظیمات مدل بین 0 تا 2 دیده میشه
با استفاده از T طبق فرمول مشاهده شده در تصویر مقدار احتمال های کلمات پیش بینی شده تغییر میکنه
🎯 مثال عددی تأثیر دما بر احتمال کلمات
فرض کنید یک مدل زبان احتمالات زیر را برای سه کلمه خروجی محاسبه کرده است:

p(w1) =0.5 , p(w2) = 0.3 , p(w3) = 0.1

if (T = 0.5)  -> p'(w1) = 0.7 , p'(w2) = 0.25 , p'(w3) = 0.03
if (T = 1.5) -> p'(w1) = 0.4 , p'(w2) = 0.25 , p'(w3) = 0.2

کاربرد دما
1️⃣ دمای پایین (مثلاً T=0.5)
✅ کاربردها:
پاسخ به سوالات دقیق: مدل برای تولید پاسخ‌های مشخص و درست تمرکز می‌کند.
تولید کد برنامه‌نویسی: خروجی باید دقیق و بدون خطا باشد.
خلاصه‌سازی متون: برای خلاصه‌های واضح و کوتاه

2️⃣ دما متوسط (مثلا T=1)
✅ کاربردها:
مکالمه انسانی: مدل با لحنی طبیعی و متنوع پاسخ می‌دهد.
تولید مقاله یا محتوای عمومی: متن هم روان است و هم کمی خلاقیت دارد.
پیشنهاد ایده‌ها: ایده‌هایی مناسب اما مرتبط ارائه می‌کند.

3️⃣ دمای بالا (مثلاً T=1.5)
✅ کاربردها:
تولید داستان و شعر: مدل گزینه‌های غیرمعمول را انتخاب می‌کند تا متن خلاقانه‌تر شود.
#LLM

از بین اینا به نظرم، برای استفاده عمومی
شماره 5 و 9 عالین

یه توضیح کوتاه راجع به گیت‌هاب کوپایلت بدم
میشه ازش به عنوان دستیار کد نویسی با قابلیت بالا توی vs code استفاده‌ کرد.
برای این کار یه حساب گیت‌هاب میخواد و بروزترین نسخه vs code ( یا نصب extension GitHub copilot) و طبق معمول فیلترشکن😁
دو تا مدل Gpt4o و claude sonnet 3.5 رو پشتیبانی میکنه
و توی نسخه رایگان 2000 تا code compeltion در ماه داره هم‌چنین اطلاعات تکمیلی توی لینک پست قبل هست که می‌تونین مشاهده کنین.
برای استفاده از این محصول ماکروسافت به صورت best practice یه ویدیو کوتاه در یوتیوب رو پیشنهاد میدم.
youtube link
شماره 5 هم برای نظم دهی به چت‌ها در gpt هست که توی لینک پست قبل به طور کامل توضیحش داده شده.

شماره 10 و 2 برای شگفت زده شدن در آخر هفته تا حد خوبی ایده آل هست :)
#LLM
#ML

در ادامه پارامترهای مدل‌های زبانی این دفعه Top-k رو بررسی می‌کنیم.
این پارامتر خیلی شبیه Top-p هست که توی پست‌های قبلی راجع بهش صحبت شد. توی فرآیند انتخاب کلمه بعدی تو مدل‌های زبانی به هر کلمه یه احتمال نسبت داده میشه، حالا برای نمونه برداری از کلمات یه رویکرد جمع احتمال‌ها بود (Top-p) یه رویکرد دیگه انتخاب kتای برتر بر اساس احتمال هست
یعنی اول براساس احتمال از بزرگ و کوچک مرتب میشه و سپس kتای برتر انتخاب و بعدش مراحل مثل Top-p طی میشه.
استفاده ازش باعث میشه دایر لغات استفاده شده در متن‌ وسیع‌تر بشه.
مقدار این پارامتر از 1 تا n هست(n به صورت عدد طبیعی)

کلا این پارامترها برای نمونه برداری برای تولید کلمه بعدی هستند و اگه مدل از اینا استفاده نکنه بهش میگن اصطلاحا حالت greedy که هر دفعه کلمه با بیشترین احتمال انتخاب میکنه
هر چند این حالت به طور کلی منطقی به نظر میاد اما ایراداتی هم به دنبال داره.

راستی یلداتون هم مبارک🥳
#LLM
#ML

یک از شرکت هایی دیگری که تو زمینه مدل های زمانی بزرگ فعالیت میکنه DeepSeek هستش. امروز یه مدل 613 میلیاردی رو اوپن سورس کرد و یه تکنیکال ریپورت هم منتشر کرده. نکته جالبش هزینه ساخت این مدل هستش که حدود 5.5 میلیون دلار شده(بدون در نظر گرفتن آزمون خطاهاش) که الان دارم این متن رو می نویسم دلار 81 تومن ناقابل هست که میشه حدود 450 میلیارد تومن.
توی سایت chat.deepseek.com می تونین از این مدل به صورت رایگان استفاده کنین
یه نکته مثبتش اینکه فیلتر نیست و برای دوستانی چینی هستش، قابلیت سرچ وب، آپلود فایل و حتی قابلیت thinking هم داره.

#LLM

بریم سراغ ادامه پارامترهای مدل‌های زبانی بزرگ و Repetition Penalty یا جریمه تکرار

جریمه‌تکرار، برای کاهش خروجی‌های تکراری و اضافی استفاده می‌شه. با استفاده از اون،مدل هنگام تولید توکن‌های بعدی، احتمال توکن‌های تولید شده قبلی را جریمه و کم می‌کنه اینکار باعث تنوع در متون و ایجاد خروجی‌های منسجم‌تر میشه.

مدل‌های زبانی بخصوص هنگام تولید خروجی‌های طولانی‌تر، عبارات و جملات تکراری تولید می‌کنند، این رفتار به این دلیل به وجود میاد که مدل اغلب احتمالات بالاتری رو به کلمات یا عباراتی که قبلاً در متن ایجاد شدن اختصاص میده، علتش هم اینکه از نظر زمینه‌ای(context) به متن مرتبط‌تر هستند. بدون در نظر گرفتن جریمه، این مدل‌ها ممکن است روی این توکن‌های تکراری با احتمال بالا، یک loop ایجاد بشه.
برای رفع این مشکل، با استفاده از نرخ جریمه تکرار احتمال توکن‌هایی که قبلا تولید شده باشن رو کاهش می دیم. برای کاهش احتمال توکن‌ها میزان نرخ جریمه‌تکرار بیشتر از یک و اغلب کمتر مساوی 2 است.(از نظر ریاضی از یک تا بینهایت می تونه باشه)
مثال:

without repetition penalty
Prompt: "The sky is blue and the sea is ....
answer: The sky is blue and the sea is blue. The sky is blue and the sea is blue.

with repetition penalty(1.2 - 1.5)
Prompt: "The sky is blue and the sea is
answer:The sky is blue and the sea is calm and vast under the bright sun.

شیوه کارش هم خیلی سر راست هست،کلماتی که قبلا تولید شده، احتمال تولید مجددش شدنش رو تقسیم بر نرخ جریمه‌تکرار یا Repetition Penalty میکنه

#LLM

به عنوان ۵امین پارامتر مدل‌های زبانی بریم سراغ یک پارامتر ساده این مدل‌ها یعنی max_token. به معنای بیشترین تعداد توکنی که مدل میتونه پردازش کنه. هر چقدر max_token بیشتر باشه مدل ram بیشتری برای اجرا نیاز داره و خروجی که میتونه تولید کنه(البته بسته به پرامپت و غیره) طولانی‌تر هست.
بحث اما یخورده اختلافی هست بعضیا فقط تعداد توکن خروجی مدل رو به عنوان حد max_token می دونن و برخی مجموع توکن ورودی و خروجی رو
چیزی که در داکیومنت OpenAi نوشته بود مجموع ورودی و خروجی رو شامل میشد.

The maximum number of tokens to generate shared between the prompt and completion. The exact limit varies by model. (One token is roughly 4 characters for standard English text)

#LLM

کم کم به انتهای مبحث پارامترهای مدل‌های زبانی داریم میرسیم و پارامتر 6ام فک کنم که بررسی میکنیم presence penalty یا جریمه حضور( چالش ترجمه🫠) است.
این پارامتر در واقع بر روی اینکه مدل در مورد همون موضوع صحبت کنه یا ایده‌ها و موضوعات جدید رو مطرح کنه اثر میذاره. این پارامتر خیلی شبیه جریمه تکرار هست ولی از یه بعد دیگه به قضیه نگاه میکنه(اسپویل آلرت!! پارامتر بعدی که قرار معرفی شه هم خیلی شبیه اینه).جریمه حضور، مدل رو به تولید کلمات یا مفاهیمی که قبلاً در متن ظاهر شده‌اند، تشویق یا جریمه می کنه. مقدار این پارامتر بین 2 تا 2- هستش
مقدارهای مثبت بحث زیاد راجع به موضوع فعلی رو جریمه و مقدار منفی به معنای موندن و توضیح و تکرار بیشتر موضوع فعلی هست. خلاصه‌اش اینکه مدل روی همین موضوع تمرکز و تکرار کنه یا بره سراغ مفاهیم مرتبط و نزدیک به بحث اصلی. پس بحث این پارامتر روی تکرار کلمات نیست بلکه روی موضوعات تمرکز داره.
برای مثال برخلاف جریمه حضور ( و جریمه فرکانس که آینده خواهید دید) در یک متن مثلا در مورد "AI"، جریمه حضور زیاد مدل را از تولید مجدد عبارت "AI" باز می داره، حتی اگر اخیراً دقیقاً از آن کلمه استفاده نشده باشد.

High Presence Penalty (1.5)
User: "What is the current state of space exploration?"
Bot: "Humanity has made significant strides with Mars missions and the Artemis program, which aims to return astronauts to the Moon. There’s also a growing interest in asteroid mining and commercial space travel."
User: "What are the biggest challenges for the future of space exploration?"
Bot: "Challenges include the cost of space missions, developing sustainable life support systems for long-duration space travel, and the need for innovative propulsion technologies."

مدل در سوال دوم سعی میکنه از یه جنبه دیگه به مدل بپردازه و دیگه به مریخ و .. اشاره نمیکنه

Low Presence Penalty (0):
User: "What is the current state of space exploration?"
Bot: "Humanity has made significant strides with Mars missions and the Artemis program, which aims to return astronauts to the Moon. There’s also a growing interest in asteroid mining and commercial space travel."
User: "What are the biggest challenges for the future of space exploration?"
Bot: "The challenges for space exploration include the cost of Mars missions, the need for sustainable life support systems for long-term missions, and the challenges of deep space exploration."

اشاره مجدد به مریخ و مباحث گذشته
#LLM

خبری از OpenAI: معرفی GPT-4.1!

امروز (25 فروردین 1404)، OpenAI از مدل جدید به نام GPT-4.1، رونمایی کرد! 🚀 این مدل یه ارتقاء بزرگ نسبت به GPT-4o در تمام ابعاد محسوب میشه و بهبودهای چشمگیری در چند حوزه کلیدی داره:

1️⃣ 💻 کدنویسی: GPT-4.1 در تولید و ویرایش کد، به‌خصوص کدنویسی فرانت‌اند، خیلی بهتر و قابل‌اعتمادتر شده. امتیازاتش تو بنچمارک‌های کدنویسی واقعاً چشمگیره! مثلاً تو معیار Aider بیش از ۲ برابر بهتر از GPT-4o عمل کرده!

2️⃣ 🎯 پیروی دقیق از دستورات(Instruction): این مدل دستورات شما رو خیلی بهتر درک می‌کنه و دقیقاً همون چیزی رو که می‌خواید، تحویل میده. نیاز به تکرار و اصلاح دستور کمتر میشه.

3️⃣ 📚 درک متن‌های طولانی: مهم‌ترین ویژگی شاید همین باشه! GPT-4.1 از یک context متنی ۱ میلیون توکنی پشتیبانی می‌کنه در مقایسه با ۱۲۸ هزار توکن GPT-4o. این یعنی می‌تونه حجم عظیمی از اطلاعات و اسناد طولانی رو تحلیل کنه و ادعا کردن که دقتش هم خیلی افت نمیکنه

نکات مهم دیگه:

* 🧠 دانش به‌روز: اطلاعاتش تا ژوئن ۲۰۲۴ آپدیت شده.
* 💰 ارزان‌تر: استفاده از GPT-4.1 به طور متوسط ۲۶٪ ارزون‌تر از GPT-4o هست!
* 👨‍👩‍👧‍👦 خانواده جدید:
* 🚀 مدل GPT-4.1 mini: یه مدل کوچیک‌تر ولی فوق‌العاده کارآمد که تو خیلی موارد حتی از GPT-4o بهتره و ۸۳٪ ارزون‌تر!
* 🔬 مدل GPT-4.1 nano: یه مدل خیلی کوچیک و سریع، با همون پنجره ۱ میلیون توکنی و ارزون ترین مدل این خانواده

* ❓ در پلتفرم ChatGPT چطور؟
مدل GPT-4.1 مستقیماً به عنوان یه گزینه در ChatGPT قابل انتخاب نیست و صرفا در API در دسترس خواهد بود.
همچنین به صورت پیش‌نمایش در GitHub Copilot موجوده.(که همین الان برای پلن پولی و رایگان در دسترس هست)

به عنوان نکات تکمیلی باید گفت که مدل GPT-4.1 یک مولتی مدال هست که در درک تصویر، حل مسئله تصویری ریاضی، درک عمیق‌تر از نمودارها و دیاگرام‌ها و OCR هم بهتر از مدل GPT4o هست.
همچنین این مدل در برخی از موارد از GPT4.5 هم بهتر عمل کرده
مدل GPT-4.1، همان مدل ناشناسی هستش که در برخی پلتفرم‌ها مثل openrouter به اسم Quasar عرضه شده بود (اون زمان برای تست رایگان بود :) )

توضیحات بیشتر راجع به این مدل رو میتونین در مقاله و لایو ویدیویی مشاهده کنین

#OpenAI #GPT4_1 #LLM

📢 چندتا خبر جذاب از دنیای هوش مصنوعی امروز داریم 👇

🔸 پلتفرم Qwen از Alibaba Cloud
اگه با Qwen آشنا نیستین، بدونین که مجموعه‌ای از مدل‌های LLM و چندوجهی (multimodal) هست که توسط علی‌بابا کلود (یک شرکت چینی) توسعه داده شده. این مدل‌ها توی تسک‌های مختلف مثل NLP، بینایی کامپیوتر، کدنویسی و استدلال ریاضی واقعاً خوب عمل می‌کنن. از مهم ترین ویژگی های این پلتفرم میشه به
✅ تنوع مدل‌ها از نظر تعداد پارامتر برای نیازهای مختلف از قبیل مدل های استدلالی ، مولتی مدل، تولید ویدیو و ...
✅ مدل‌های open-weight (در هاگنیگ فیس)
✅ دارای context length بالا
✅ پلتفرم رایگان و پایدار و سریع
اشاره کرد.کل مقدمه بالا برای این بود که بگم
📱 امروز نسخه اندرویدی اپ Qwen منتشر شد! تحریم نیست، نصبش راحته و برای کارهای دم‌دستی، سوالای سریع و تولید محتوا خیلی کاربردیه.
آدرس پلتفرم


🔸 خبر از OpenAI
چندتا آپدیت مهم برای پلن رایگان ChatGPT:
1. ویژگی Deep Research (البته به گفته خودشون ورژن light weight یا همون نسخه‌ی سبک) برای همه در دسترس شده.
2. مدل o4-mini در قسمت Reasoning ، جایگزین o3-mini شده (برای کاربرهای رایگان هم).
3. ویژگی Image Library اضافه شده: تمام تصاویری که تولید می‌کنی توی یه گالری قابل دیدنه و نگهداری می‌شن.
4. تولید تصویر از طریق API هم در دسترس قرار گرفته! 👨‍💻🖼️

🔚 دنیای AI داره با سرعت پیش میره، اینا فقط بخشی از بروزرسانی‌های امروز بودن.
🔁 اگه به دردت خورد، حتماً با بقیه به اشتراک بذار.

#AI #LLM