‌ارائه‌ای با موضوع «معیار هوشمندی»

مهدی‌مون فردا (چهارشنبه ۱۲ آبان) ساعت ۱۰ قراره راجع به معیار هوشمندی صحبت کنه. دید خیلی خوبی از وضعیت واقع‌گرایانه‌ی حال و آینده هوش بهتون میده. از دست ندید و لطفا دست‌به‌دست کنید.

خلاصه: به لطف یادگیری عمیق، امروز ما در بهار هوش مصنوعی هستیم. مدل‌های از پیش آموزش دیده بزرگ عملکرد خیره‌کننده را در مسائل در حوزه‌های پردازش تصویر، پردازش زبان و پردازش صوت به دست آورده‌اند و حتی در بعضی از موارد از عملکرد انسانی نیز پیشی گرفته‌اند.
نکته ناامیدکننده اما این است که مدل‌های عصبی امروزی در برابر حملات خصمانه شکننده‌اند، بسیار به داده گرسنه‌اند و از همه مهمتر قادر به انتقال یادگیری خود به محیط‌‌های نو نیستند. این نقاط تاریک این سوال را به وجود می‌آورد که آیا واقعا این شبکه‌ها هوشمند هستند؟ برای فهمیدن این مطلب ابتدا بایستی هوش را تعریف کنیم. ما برای بررسی این بحث از نظرات «فرانسوا شله» کمک می‌گیریم. در این ارائه ما پس از بررسی ویژگی‌های موردنیاز برای تعریف هوش، تعریف صوری «شله» از هوش را بحث خواهیم کرد. سپس با محک ARC که توسط «شله» برای سنجیدن هوش خلق شده است آشنا می‌شویم و به گمانه‌پردازی می‌پردازیم که چاره و راه حل این چالش به چه شکل خواهد بود. در انتهای بحث در مورد تعریف هوش احتمالا با سوالات چالش برانگیزتری مواجه خواهیم شد. آیا دیپ لرنینگ همه آن چیزی است که برای رسیدن به مقصد هوش مصنوعی نیاز داریم یا این که قربانی زمستان بعدی هوش مصنوعی خواهد بود؟

لینک اتاق برگزاری:
http://vc.sharif.edu/ch/rohban


#overfit

@nlp_stuff

ویدیو و اسلاید ارائه‌ی «معیار هوشمندی»

فایل اسلاید ارائه مهدی‌مون [https://yangx.top/nlp_stuff/246] ضمیمه این پست شده. ویدیوی ارائه به همراه پرسش و پاسخ هم در آپارات در لینک زیر موجوده.

لینک ویدیو:
https://www.aparat.com/v/hlkre

پ.ن. لطفا این پست رو تا حد امکان دست‌به‌دست کنید.

#overfit
#watch

@nlp_stuff

داستان برت

اگر در کار پردازش زبان هستید قطعا اسم برت به گوشتون خورده. در چهارمین پست از رشته‌‌پست‌ «داستان ترنسفورمرها»، رفتیم سراغ bert و سعی کردیم به شیوه نیکو، روان و جامعی این مدل رو شرح بدیم. اگر تا به حال از برت استفاده نکرده‌اید یا اگر استفاده کرده‌اید ولی دقیقا نمی‌دونید تو برت چه خبره، خوندن این پست رو به شما پیشنهاد می‌کنیم.

لطفا کم‌کاری نکنید. نظر بدید و با بقیه به اشتراک بگذارید. :)
اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.


https://virgool.io/overfit/transformers4-bert-c6ah7xv69vjj

#read
#blog
#overfit

@nlp_stuff

داستان ترنسفورمرها (۵): سریع و سبک، گلاب‌گیری از برت با دیستیل‌برت

مدل برت با وجود تمام قدرتی که داره اما به خاطر سنگین‌بودنش در عمل سخت میشه ازش استفاده کرد و هم حافظه و هم زمان قابل توجهی رو می‌طلبه. در پنجمین پست از رشته‌‌پست‌ «داستان ترنسفورمرها»، سعی کردیم تکنیک distillation رو که یک راه حل ارائه شده برای فشرده‌سازی مدل‌های بزرگ است بررسی کنیم و بعد هم مدل distilbert رو که حاصل از انجام این تکنیک بر روی مدل برت هست معرفی کنیم.

اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.

https://virgool.io/overfit/transformers5-distilbert-smwuod8mlb9p

#read
#blog
#overfit

@nlp_stuff

مدل WebGPT؛ به GPT-3 اینترنت و مرورگر دادند!

چند وقت قبل شرکت OpenAI از مدل WebGPT رونمایی کرد که باعث شگفتی خیلی‌ها شد و خیلی ترکوند.

شرکت OpenAI با یه تیم متشکل از یه نیسان آدم اومده GPT-3 رو فاین‌تیون کرده تا بتونه سوال‌های دامنه‌باز رو با استفاده از یک مرورگر (browser) پاسخ بلند (در حد پاراگراف) بده! یعنی واقعا یه مرورگر تکستی درست کردند و دادند دست مدل GPT-3 که با بینگ (موتور جستجوی مایکروسافت) سرچ کنه و جواب سوال رو «تولید» کنه.

در این پست خلاصه‌ای از نحوه‌ی کار و نتایج این مدل رو بررسی کردیم. اگر به نظرتون خوب بود، لایک کنید و دست به دست کنید.

https://virgool.io/overfit/papers-webgpt-a0xvwzafrj2q

#overfit
#read
#blog

پ.ن. رسیدیم به دو کا. مبارکا. ممنون که به بقیه، اندک کانال خودتون رو معرفی می‌کنید. تشکرات!

@nlp_stuff

داستان ترنسفورمرها (۶): داستان XLNet

در ششمین قسمت از سریال «داستان ترنسفورمرها»، رفتیم سراغ داستان شبکه XLNet که از خانواده مدل‌های autoregressive است. این مدل به نوعی در برابر BERT قد علم کرده و میراث‌دار نبرد تاریخی بین مدل‌های autoregressive و autoencoder است. برای اینکه این نبرد رو بشناسید و با XLNet هم آشنا بشید این پست ویرگول رو از دست ندید.

پ.ن.۱: کم‌کاری نکنید. نظر بدید و با بقیه به اشتراک بذارید.
پ.ن.۲: اگر پست خوبی داشتید خبر بدید که در انتشارات بذاریم.

لینک پست ویرگول:
https://virgool.io/overfit/transformers6-xlnet-ufgmgu9rl8rs

#read
#blog
#overfit

@nlp_stuff

تیپیکال سمپلینگ، تکه گم‌شده پازل تولید متن توسط ربات‌ها

در سال‌های گذشته محققان سعی کرده‌اند تا با آموزش دادن مدل‌های هر چه بزرگتر نظیر GPT، بتونند کیفیت متن‌های تولید شده رو افزایش بدند. اما حالا مقاله‌ای اومده و نشون داده انتخاب و ابداع روش نمونه‌برداری فارغ از سایز مدل، می‌تونه در کیفیت متن‌های تولیدی خیلی موثر باشه. این دوستان روشی رو پیشنهاد دادند که می‌شه به صورت جعبه سیاه، به مکانیزم نمونه‌برداری هر مدل جنریتیو زبانی اعمال کرد و نتیجه رو بهبود بخشید.

پ.ن.۱: کم‌کاری نکنید. نظر بدید و با بقیه به اشتراک بذارید.
پ.ن.۲: اگر پست خوبی داشتید خبر بدید که در انتشارات بذاریم.

لینک پست ویرگول:
https://vrgl.ir/DNaDb

لینک مقاله:
https://arxiv.org/abs/2202.00666

#read
#blog
#overfit

@nlp_stuff

داستان آلفاگو

بازی گو یک بازی تخته ای دو نفره است که در شرق آسیا از قدیم الایام خیلی طرفدار داشته و قوانینش از شطرنج هم ساده‌ترند. اما علی رغم این سادگی قوانین، استراتژی‌های خیلی پیچیده‌ای رو می‌طلبه. به همین علت با این که کامپیوتر‌ها تونستند سال ۱۹۹۶ برای اولین بار قهرمان انسان‌ها رو در شطرنج شکست بدن ولی برای تکرار این موفقیت در گو، قریب به دو دهه انتظار کشیدند تا بالاخره دیپ مایند با مدل آلفاگو تونست این کار رو به سرانجام برسونه.
در این پست در ویرگول سعی‌ کردیم معماری و نحوه آموزش مدل آلفاگو رو به توضیح بدیم. آلفاگو در سال ۲۰۱۵ برای خودش انقلابی در زمینه هوش مصنوعی محسوب می‌شده و باعث شد که موجی از توجهات به RL و یادگیری تقویتی جلب بشه. انشالله اگر عمری باقی باشه به باقی مقالات و مدل‌های مهم جریان‌ساز هوش مصنوعی نیز می‌پردازیم.

لینک پست:
https://virgool.io/overfit/alphago-mhoamralnzeq

#overfit
#read
#paper
#blog

@nlp_stuff

اندر حکایت GPT-4 و چاله‌چوله‌های آن!

اندکی از انتشار GPT-4 میگذره و حالا در این پست ویرگول قصد داریم بر اساس مقاله اخیری که تیم microsoft منتشر کرده به نقاط کور و چالش‌های این مدل بپردازیم. در این مقاله به صورت هنرمندانه promptهایی تهیه شده که این نقاط ضعف رو نشون میده و دیدنش خالی از لطف نیست.

پ.ن. اینا نشستند ۱۵۰ صفحه مقاله نوشتند خداوکیلی ظلم در حق‌شون هست که شما مقاله شون رو حتی یه تورق هم نکنید! حداقل تصاویرش رو ببینید D:

لینک پست ویرگول:
https://virgool.io/overfit/gpt-4-b35cyw5oxi4t

لینک مقاله:
https://arxiv.org/abs/2303.12712

#read
#paper
#overfit

@nlp_stuff

ویدیوهای کارگاه آشنایی با HF و میزگرد آیا زمستان هوش مصنوعی در پیش است؟

مهدی‌مون در دو برنامه از WSS امسال حضور داشت.
اولی ورکشاپی بود با عنوان آHugging Face: A Platform to Democratize Open-Source AI که در اون سعی کرده به شکل متفاوتی از ابتدای تایم‌لاین دیپ لرنینگ شروع کنه به توضیح دادن تا به این برسه که هاگینگ‌فیس چجوری داره به دموکراتایز کردن هوش مصنوعی کمک می‌کنه. دیدنش دید خیلی خوبی از بالا بهتون میده.
دومی هم میزگردی بود که زمستان هوش مصنوعی را بررسی می‌کنند. آقای دکتر ربیعی، آقای دکتر رهبان و محمدرضا صمصامی (از محققین موسسه میلا) هم در این میزگرد حضور داشتند و راجع به این موضوع صحبت می‌کردند که آیا این مسیر به AGI ختم می‌شه یا به زمستان بعدی هوش مصنوعی خواهیم رسید.


لینک ویدیوی ورکشاپ:
https://aparat.com/v/PC952

لینک ویدیوی میزگرد:
https://aparat.com/v/nUVJR

#overfit
#coach

@nlp_stuff