کنفرانس آنلاین Data Science fwdays'20 در روزهای ۸ و ۱۵ آگوست به صورت رایگان برگزار شده و میشه.
فردا حدود ساعت ۱۹ هم سخنرانی توماس ولف از تیم هاگینگ فیس با موضوع جذاب An Introduction to Transfer Learning and Hugging Face خواهد بود.


لینک لایو یوتیوب کنفرانس (ساعت ۱۲:۲۰ شروع میشه):
https://www.youtube.com/watch?v=TCutgkMyjdY

ویدیو دیگه‌ای از ایشون با همین موضوع در NLP Zurich:
https://www.youtube.com/watch?v=rEGB7-FlPRs

ویدیو پارسالش در همین کنفرانس Data Science fwdays با موضوع Transfer learning in NLP:
https://youtu.be/0T_Qr4qBrqc?list=PLPcgQFk9n9y8CCapH9u99Va7Ufs5bVZZn&t=24


خلاصه با این همه منابع در این موضوع برید کیف کنید.

#coach
#course

@nlp_stuff

این دو ویدئوی جمع و جور از دوست هندیمون (یکی از خفنای کگل) را ببینید.
اولیش برای آموزش یک مدل ساده‌ی تشخیص قطبیت با تورچ و برت از هاگینگ‌فیس و بعدش سرو کردنش با فلسکه.
دومیش هم داکر برای دیتا سانتیست‌هاست که داکرایز کردن همون پروژه‌ی ویدیوی اوله.


https://www.youtube.com/watch?v=hinZO--TEk4

https://www.youtube.com/watch?v=0qG_0CPQhpg

https://github.com/abhishekkrthakur/bert-sentiment

#coach
#course

@nlp_stuff

در این دوره تحلیل پردازش زبان طبیعی با منابع کم بررسی میشه که قطعا به درد ما می‌خوره!!
قبلا از این دوستمون هم دوره‌ی دیگه‌ای (https://yangx.top/nlp_stuff/33) معرفی کرده بودیم.


https://www.youtube.com/watch?v=glIbcpay1-I&list=PL8PYTP1V4I8A1CpCzURXAUa6H4HO7PF2c


#coach
#course

@nlp_stuff

شیرجه عمیق به دیپ لرنینگ

بر شما باد چسبیدن به این سایت برای یادگیری دیپ لرنینگ.
کتاب کامل و جامع، نوت‌بوک‌های پیاده‌سازی شده با چند فریمورک (NumPy/MXNet و PyTorch و TensorFlow)، کورس رایگان و به‌روز برای کتاب از ویژگی‌هاشه.
مخصوصا فصل‌های ۱۰، ۱۴ و ۱۵اش به افرادی که دیپ بلدند و دوست دارند در حوزه‌ی NLP وارد شن توصیه میشه. در فصل ۱۰ معماری اتنشن و ترنسفورمرها را توضیح دادند و در فصل ۱۴ و ۱۵ پیش‌پردازش، آموزش و فاین تیون کردن تسک‌های NLP را آوردند.
خلاصه از این بهتر بعید می‌دونم چیزی پیدا کنید؛ پس تنبلی و وسواس را کنار بذارید و شروع کنید.


http://d2l.ai


#coach
#course
#book

@nlp_stuff

کورس Machine Learning with Graphs

به‌به! کورس این ترم CS224W Machine Learning with Graphs از استنفورد هم هفته‌ای دو جلسه‌اش داره میاد. در این کورس بیشتر روی مباحثی مثل Graph Representation و GNN که الان خیلی داغ هم هستند تمرکز میشه. در ضمن اگر کورس ۲۰۱۹ این درس را دیدید، توصیه می‌کنیم یه نگاه به سیلابس درس بندازید تا ببینید چقدر آپدیت شده و جذابه!

استادش (jure leskovec) هم که غول مرحله‌ی آخر این زمینه‌ست دیگه. یه نگاه به h-index و سنش به‌طور هم‌زمان بندازید تا حرف ما رو تصدیق کنید.

ویدیوهای کورس:
https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

سیلابس کورس:
http://web.stanford.edu/class/cs224w/

پ.ن. کانال رو به دو نفر دیگه معرفی کنید که ببینیم اپیدمی در یک شبکه‌ی پیچیده چقدر منتشر میشه! :))

#coach
#course

@nlp_stuff

کورس درجه یک هاگینگ‌فیس

هاگینگ‌فیس طی یک حرکت همدلانه و خدادوستانه، کورسی را برای آموزش اکوسیستم خودشون (شامل کتابخونه‌های ترنسفورمرز و توکنایزر و دیتاست و اکسلریت و کار با مدل‌هاب) آماده کرده‌اند. فعلا بخش اول این کورس روی سایتشون قرار گرفته و یکی از نکات جالبش اینه که شما چه تنسورفلوئیست باشید و چه پایتورچیست، هاگینگ‌فیس برای هر دو گروه آموزش‌های لازم را قرار داده است.

لازم به یادآوری نیست که هاگینگ‌فیس این کورس را به رایگان قرار داده است و شما برای یادگیری این که چگونه با برت کار کنید یا آن را روی تسکی فاین تیون کنید دیگر لازم نیست مقدار n تومن پول برای کورس و همایش بقیه با عنوان «چگونه با برت جادو کنیم» و «با برت پردازش زبان طبیعی‌ات را قورت بده» پرداخت کنید.

پی‌نوشت: واقعا جای تعجب داره که چه جوری خود هاگینگ‌فیس مواد آموزشی‌‌اش رو به رایگان می‌ذاره بعد بعضی از دوستان وطنی برای همین اکوسیستم هاگینگ‌فیس چارتا فیلم می‌گیرن یا همایش می‌گذارند و ازش پول درمیارند.

لینک کورس:
https://huggingface.co/course/

#coach
#course

@nlp_stuff

کورس یادگیری ماشین دکتر رهبان

دکتر محمدحسین رهبان (که یکی از خفن‌ترین اساتید دانشکده کامپیوتر دانشگاه شریف در فیلد هوش مصنوعی هستند) فیلم‌های جلسات کورس ماشین لرنینگ این ترمشون رو ضبط کرده‌اند و لطف کرده‌اند در آپارات در اختیار عموم قرار داده‌اند. اگر در آغاز راه هستید و قصد دارید که ماشین لرنینگ رو از پایه و اساسی یاد بگیرید؛ با توجه به تدریس روان دکتر رهبان و زبان فارسی این کورس، میتونه اولین و بهترین پیشنهاد براتون باشه. در ضمن دکتر رهبان فیلم جلسات کورس‌های هوش مصنوعی و فرآیند‌های تصادفی‌شون رو هم قرار دادند.
این کورس‌ها رو به دوستان علاقه‌مندتون معرفی کنید.

کورس ماشین لرنینگ:
https://www.aparat.com/playlist/954603
کورس فرآیند‌های تصادفی:
https://www.aparat.com/playlist/1007391
کورس هوش مصنوعی:
https://www.aparat.com/playlist/966909

#course
#coach

@nlp_stuff

کورس CS 11-711 برای آپگرید‌شدن در پردازش زبان

اگر مفاهیم پایه nlp رو بلد هستید میتونید با آموختن این کورس با مفاهیم جدیدتر پردازش زبان نظیر prompting و نحوه مدل‌کردن متن‌های خیلی بلند و fairness در زبان و حتی نحوه تفسیر و دیباگ مدل‌های پردازش زبانی آشنا بشید. این کورس از cmu و همین پاییز ۲۰۲۱ هست. اگر مفاهیم پایه پردازش زبان رو بلد هستید ولی در مسائل جدید کمیتتون لنگ میزنه و خواهان خفن شدن هستید، این کورس رو از دست ندید.

لینک کورس و اسلایدها:
http://phontron.com/class/anlp2021/schedule.html

لینک یوتیوب:
https://t.co/NlRKZ4RJQv

#course
#watch
#coach

کورس CS224U: فهم مدل زبانی

کورس Natural Language Understanding دانشگاه استنفورد حالا روی یوتیوبه. یه نگاهی به لیست ویدیوهاش بندازید متوجه میشید چه کورس خوف و خفنیه. از مباحث پایه ترنسفورمرها مثل برت و رابرتا تا بازیابی اطلاعات برپایه شبکه عصبی را توی لیستش می‌تونید پیدا کنید. ویدیوها رو هم با زمان کم درست کرده که راحت ببینید کدها رو ههم روی صفحه کورس به اشتراک گذاشته.

لینک صفحه کورس:
https://web.stanford.edu/class/cs224u/

لینک یوتیوب کورس:
https://www.youtube.com/playlist?list=PLoROMvodv4rPt5D0zs3YhbWSZA8Q_DyiJ


پ.ن. با تشکر از آقای صدرا صبوری که این کورس رو بهمون فرستادند که در کانال قرار بدیم. شما هم مطلب مفیدی بود بفرستید.

#coach
#course


@nlp_stuff

کورس RL هاگینگ فیس

برادران هاگینگ فیس به تازگی طی اقدامی خداجویانه یک کورس برای deep reinforcement learning به راه انداخته اند. این کورس با این که نگاهش بیشتر عملیاتی هست ولی توش قراره به تئوریجات Deep RL هم پرداخته بشه. نکته خوب دیگه اش هم اینه که شما در طی این کورس انشالله قراره با کتابخانه‌های جدی RL مثل Stable-Baselines3 آشنا بشید و یادشون بگیرید. این کورس به تازگی شروع شده و محتواش آروم آروم داره منتشر میشه. اگر علاقه‌مند به RL هستید به نظر می‌رسه که می‌تونه مسیر خوبی رو برای یادگیریش براتون رسم کنه.

پ.ن.: یک کار جالب دیگه ای هم که هاگینگ فیس کرده اینه که امکانی فراهم کرده تا بتونید ایجنت‌های آموزش داده‌ رو بشه بر روی هاب هاگینگ فیس با بقیه به اشتراک بگذارید.

لینک کورس:
https://github.com/huggingface/deep-rl-class

#course
#coach

@nlp_stuff

گام اول آمار؛ کورس دکتر شریفی زارچی

خیلی‌ها می‌پرسند ما دیگه اولِ اولِ مسیر یادگیری هوش و یادگیری ماشین هستیم، چه کورسی رو ببینیم خوبه؟ همون‌طور که می‌دونید از مباحث پایه‌ای لازم، آمار و جبرخطیه. برای جبرخطی منبع خوب زیاد معرفی کردیم که در کانال سرچ کنید، خواهید یافت.

برای اولین گام آمار یکی از بهترین منابع، کورس رایگان «آمار و احتمالات مهندسی» دکتر شریفی زارچی در مکتب‌خونه‌ست. ایشون خیلی خوب مباحث رو با لهجه‌ی شیرین یزدی توضیح دادند، به صورت عملی با زبان R یاد میدن چجوری اون مباحث رو پیاده کنید، ویدیوها با کیفیت بالایی ضبط شدند و جزوه‌ها، تمرین‌ها و امتحان‌های درس هم در گیت در دسترسه. دیگه بهونه چیه؟

اگر آمار بلد نیستید یا یادتون رفته، این کورس رو بهتون توصیه می‌کنیم. کورس و کتابهای قوی‌تر هم به زودی معرفی می‌کنیم.

لینک کورس:
https://maktabkhooneh.org/course/آمار-احتمال-مهندسی-mk627/

لینک گیت‌هاب کورس:
https://github.com/asharifiz/Probability_Statistics

#coach
#course

@nlp_stuff

ورکشاپی برای تفسیرپذیری مدل‌ها

قبلا چندین بار در مدح تفسیرپذیری مدل‌ها و لزوم استفاده از این مفهوم، به‌خصوص در بیزنس و جایی که علت تصمیم‌گیری مهمه صحبت کرده بودیم (https://yangx.top/nlp_stuff/177). تفسیرپذیری مدل‌ها، هم می‌تونه به اعتماد بیشتر به مدل‌ها کمک کنه و هم از طرفی در برخی سناریوها به دیباگ‌کردن مدل کمک می‌کنه. حالا یک ورکشاپی رو دانشگاه استنفورد داره برگزار می‌کنه که قراره به صورت متمرکز بر روی مبحث تفسیرپذیری مدل‌ها کار بکنه. این ورکشاپ ۵ قسمت داره که در قسمت اول به معرفی کلی می‌پردازه و انگیزه‌های پرداختن به تفسیرپذیری رو توضیح میده. در بخش دوم توضیح میده که یک مدل تفسیرپذیری چیه. در بخش سوم روش‌های تفسیرپذیری رو توضیح میده و در بخش چهارم هم روش‌های ارزیابی تفسیرپذیری مدل رو توضیح میده. در نهایت هم به آینده این بحث می‌پردازه. اگه خاطرتون باشه در گزارش کلی مرور بر هوش‌مصنوعی سال ۲۰۲۱ (https://yangx.top/nlp_stuff/259) گفته بودیم که یکی از مباحث داغ در اون زمان تفسیرپذیری بوده. حالا به نظر این مبحث به خصوص برای مسایلی که مدل‌ها در دنیای آکادمیک به دقت و کیفیت خیلی بالایی رسیدند، هنوز هم جای کار داره و حالا وقتشه که یه کم پا رو ترمز بذاریم و ببینیم اصلا چرا دارند خوب کار می‌کنند.

پ.ن: تصویر برگرفته از اسلاید‌های همین ورکشاپه

لینک ورکشاپ:
https://www.youtube.com/watch?v=_DYQdP_F-LA&list=PLoROMvodv4rPh6wa6PGcHH6vMG9sEIPxL&index=1

لینک اسلایدها:
https://docs.google.com/presentation/d/1khY_li29A5aUo_cEVRsvO8pcRn7Xp9Bi/edit#slide=id.p4

#course
#coach

@nlp_stuff

یادگیری قلق‌های ریسرچ هوش با کورس CS197 هاروارد

عموما اگر هم صنعت و هم آکادمی را تجربه کرده باشید این تفاوت را مشاهده کرده‌اید که به نظر فضای صنعت فضای سرراست‌تری است و روند آغاز تا انجام یک تسک یا پروژه بسیار شفاف‌تر و آشناتر است تا روند اجرای یک پژوهش در آکادمی. به علاوه در فضای صنعت نیروها به علت پیش‌زمینه مهندسی که دارند آشنا به رعایت یکسری قواعد و الگووار‌ه‌هایی هستند، حال آن که این قواعد و الگوها در سمت ریسرچ به صورت مدونی وجود ندارد. حال آقای Rajpurkar استادیار دانشگاه هاروارد آمده و یک کتاب الکترونیکی از درسی که تحت عنوان "تجربیات پژوهشی هوش مصنوعی"در هاروارد ارائه کرده، منتشر کرده است. در این کتاب راجع به مباحثی همچون استفاده درست و موثر از python و pytorch و lightning و HF و streamlite و vscode و git و ... توضیحات خوبی داده شده است. اما این کل ماجرا نیست، بلکه کتاب در ادامه صحبت کرده که چگونه می‌توان به صورت سیستماتیک مقالات را خواند، ایده‌های جدید زد، یک مقاله را ساختاربندی و منتشر کرد و اسلایدهای باکیفیتی ساخت. اما باز هم این تمام ماجرا نیست و راجپورکار برایمان راجع به نحوه مدیریت زمان و انرژی‌مان و همچنین نحوه مدیریت تعاملاتمان با استاد راهنما و یا سایر اعضای تیم نیز توضیح داده است. این منبع عالی را از دست نباید داد.

لینک کتاب:
https://docs.google.com/document/d/1uvAbEhbgS_M-uDMTzmOWRlYxqCkogKRXdbKYYT98ooc


#link
#coach
#course

@nlp_stuff

کورس LLM دانشگاه شریف

این ترم دانشکده کامپیوتر شریف کورسی رو در مقطع تحصیلات تکمیلی با موضوع LLM‌ها (مدل‌های‌زبانی بزرگ) و مسائل مربوط به اونها با تدریس مشترک دکتر سلیمانی، دکتر عسگری و دکتر رهبان ارائه کرده. خوبی این کورس اینه که به صورت جامع و کاملی انواع مباحث موردنیاز رو بحث کرده (از معرفی معماری ترنسفورمری گرفته تا فرآیند‌های جمع آوری داده و روش‌های PEFT و ...) از همه اینها مهمتر، فیلم‌ها و تمرین‌های این کورس هم به صورت پابلیک در لینک درس قرار می‌گیرن. از دست ندید.

لینک کورس:
sharif-llm.ir

لینک ویدیوها:
https://ocw.sharif.edu/course/id/524

#course
#coach

@nlp_stuff

به سوی سیستم‌۲

پیشرفت‌های هوش مصنوعی در دهه ۲۰۱۰، مدیون آموزش مدل‌های بزرگ دیپ لرنینگی روی دیتاست‌های بزرگ بوده، چیزی که بهش اسکیل‌کردن دیتا و پارامتر گفته می‌شه. با وجود تمام پیشرفت‌های دیپ لرنینگ، اما همچنان شبکه‌های عصبی در برخی مسائل مخصوصا ریزنینگی با سطح انسان فاصله دارند.در چنین شرایطی به قول ایلیا ساتسکیور، دیتا برای هوش مصنوعی به حکم سوخت فسیلی در حال اتمامه و ما دیگه بیشتر از یک اینترنت نداریم تا ازش دیتای آموزشی جدید برای مدل‌هامون بسازیم. وقتی که دیگه نمی‌شه پارامتر‌های مدل و یا داده آموزشی رو اسکیل کرد، شاخه تحقیقاتی جدیدی در پی اسکیل‌کردن میزان محاسبه در زمان اینفرنس یا به اصطلاح inference time compute هست، ایده‌ای که مغز اصلی کارهایی مثل o1 و deepseek هست. این ایده خیلی شبیه بحث‌های دو سیستم پردازشی سیستم‌۱ و سیستم‌۲ در ذهن انسانه. جایی که سیستم‌۱ مسئول اعمال ناخودآگاه و ادراکی انسانه و سیستم‌۲ هم مسئول اعمالی که نیاز به راه‌حل‌های گام به گام دارند (قبلا اینجا راجع بهش صحبت کرده بودیم) حالا این ترم در دانشگاه شریف، درسی با عنوان سیستم‌۲ ارائه شده که قراره به بررسی این داستان و راه‌حل‌های ارائه شده براش بپردازه. موارد زیر جزو سیلابس این درس هستند:

- مقدمه بر مسائل ریزنینگ و سیستم‌۲
- معرفی روش‌های نوروسیمبلیک
- تولید برنامه
- انواع روش‌های پرامپت‌دهی مبتنی بر CoT مثل ToT
- مکانیزم‌های اسکیل‌کردن محاسبه در LLM‌ها
- ریزنینگ با کمک گراف‌های دانش
- نقش LLM Agent‌ها در ریزنینگ
- ارتباط کامپوزیشنالیتی با سیستم‌۲

لینک پلی‌لیست یوتیوب درس:
https://www.youtube.com/playlist?list=PLFr7f4WLNwracR8k8jgYONAp-2pmKrdc3

لینک پلی‌لیست آپارات درس:
https://www.aparat.com/playlist/14269123

لینک کانال تلگرامی درس:
https://yangx.top/system2_spring2025

پی‌نوشت: اگر میخواید بدانید o1 و deepseek چه ایده‌ و تاریخچه‌ای پشتشونه و مسیر چند سال آتی هوش مصنوعی چه شکلی هست این کورس رو ببینید

#course

@nlp_stuff