برادرمون اومده مدل زبانی GPT2 رو روی کتاب تاملات مارکوس آئورلیوس آموزش داده، نتیجه این شده که مدل شروع به تولید متن‌های فلسفی تاریخی میکنه. میتونید از هاب هاگینگ فیس دانلودش کنین لذت ببرید.
https://mobile.twitter.com/mrm8488/status/1263519187496054788
#read
#twitter
@nlp_stuff
https://mobile.twitter.com/mrm8488/status/1263519187496054788
#read
@nlp_stuff
Twitter
Manu Romero
If you like #History, #Philosophy and #AI (#NLP) I have fine tuned distil #GPT-2 on Meditations - Marco Aurelio. You can find the model on @huggingface hub and ask about the meaning of life (for example)
هر چه قدر فکر کردیم دلمون نیومد از این توییت جالب علمی تخیلی هینتون (یکی دیگه از اسطوره‌ها) بگذریم.
می‌گه که اگر بخوایم بر اساس عملکرد GPT3 تخمین بزنیم، احتمالا برای درست کردن یک مدل که بتونه به ما در مورد زندگی و جهان و کلا همه سوالاتمون پاسخ بده نیاز به مدلی با سایز ۴۳۹۸ میلیارد پارامتر داریم. (سایز GPT3 حدود ۱۷۵ میلیارد پارامتر است)
#twitter
@nlp_stuff
می‌گه که اگر بخوایم بر اساس عملکرد GPT3 تخمین بزنیم، احتمالا برای درست کردن یک مدل که بتونه به ما در مورد زندگی و جهان و کلا همه سوالاتمون پاسخ بده نیاز به مدلی با سایز ۴۳۹۸ میلیارد پارامتر داریم. (سایز GPT3 حدود ۱۷۵ میلیارد پارامتر است)
@nlp_stuff
با این اکستنشن کروم میتونید از گوگل اسکولار مستقیم برید به پیاده‌سازی مقاله در سایت وزین paperswithcode.com.
https://twitter.com/paperswithcode/status/1276125432899911686?s=20
#twitter
@nlp_stuff
https://twitter.com/paperswithcode/status/1276125432899911686?s=20
@nlp_stuff
This media is not supported in your browser
VIEW IN TELEGRAM
مندلک‌بازی‌ها با GPT-3 شروع شدند!
یه توضیح برای layout می‌گیره و کد jsx براش تولید میکنه!
https://twitter.com/sharifshameem/status/1282676454690451457?s=20
#twitter
@nlp_stuff
یه توضیح برای layout می‌گیره و کد jsx براش تولید میکنه!
https://twitter.com/sharifshameem/status/1282676454690451457?s=20
@nlp_stuff
آقا توماس از تیم هاگینگ‌فیس می‌خواد برامون نمونه کدهایی ساده و تمیز از استفاده از ترنسفورمرها با همه‌ی مراحل مهم (پیش‌پردازش، آموزش، ارزیابی و تنظیم هایپرپارامتر) درست کنه. این اولیشه.
در توییتر دنبالش کنید. چیزای زیادی ازش یاد می‌گیرید.
https://twitter.com/Thom_Wolf/status/1296633793558786048
#twitter
@nlp_stuff
در توییتر دنبالش کنید. چیزای زیادی ازش یاد می‌گیرید.
https://twitter.com/Thom_Wolf/status/1296633793558786048
@nlp_stuff
به نظر میاد فریمورک‌هایی که قراره به زودی همه چیزو رنده کنند، امثال Objax (از گوگل)، HAIKU (از دیپ مایند گوگل) و flax (بازم از گوگل) هستند که روی Jax (طبیعتا بازم از گوگل) درست شدند.
کتابخونه jax مستقیما از داده ساختار numpy استفاده میکنه (به تنسور تبدیل نمیشه) و روی gpu ران می‌شه و چون از کامپایلر xla استفاده میکنه با tpu سازگاری کامل داره. استفاده از numpy برای کد زدن قطعا خیلی راحت‌تره و خیلیا هم بلدن.
اولویت این کتابخونه‌ها سادگی و قابلیت شخصی‌سازی راحتشونه.
این دوتا توییت از آقای گودفلوی کبیر و آقای برثلوت (سازنده‌ی objax) را ببینید.
https://twitter.com/goodfellow_ian/status/1299753335524700160?s=09
https://twitter.com/D_Berthelot_ML/status/1299275145886875650?s=20
اینم گیت کتابخونه objax:
https://github.com/google/objax
اینم یه مقایسه اولیه بین سرعت پایتورچ و jax:
https://www.kaggle.com/grez911/performance-of-jax-vs-pytorch
اینا فقط سر نخه که بگیریم و بریم دنبال داستان.
با تشکر از دانیال علی‌حسینی، حامد شادباش و مهدی رضایی.
#twitter
#link
@nlp_stuff
کتابخونه jax مستقیما از داده ساختار numpy استفاده میکنه (به تنسور تبدیل نمیشه) و روی gpu ران می‌شه و چون از کامپایلر xla استفاده میکنه با tpu سازگاری کامل داره. استفاده از numpy برای کد زدن قطعا خیلی راحت‌تره و خیلیا هم بلدن.
اولویت این کتابخونه‌ها سادگی و قابلیت شخصی‌سازی راحتشونه.
این دوتا توییت از آقای گودفلوی کبیر و آقای برثلوت (سازنده‌ی objax) را ببینید.
https://twitter.com/goodfellow_ian/status/1299753335524700160?s=09
https://twitter.com/D_Berthelot_ML/status/1299275145886875650?s=20
اینم گیت کتابخونه objax:
https://github.com/google/objax
اینم یه مقایسه اولیه بین سرعت پایتورچ و jax:
https://www.kaggle.com/grez911/performance-of-jax-vs-pytorch
اینا فقط سر نخه که بگیریم و بریم دنبال داستان.
با تشکر از دانیال علی‌حسینی، حامد شادباش و مهدی رضایی.
#link
@nlp_stuff
فوقع ما وقع
این دوستمون Jax را یادتونه؟ حالا بالاخره اولین گام‌های عملی در این زمینه برداشته شده و هاگینگ فیس با همکاری تیم Flax، برت و روبرتا پیاده‌شده روی Jax را ارائه داده.
پایتورچ و تنسرفلو آماده باشن که Jax داره میاد!
https://twitter.com/avitaloliver/status/1326986383983063058
پ.ن. اگر اولین باره که اسم Jax را می‌شنوین به این پست از کانال نگاه بندازین.
#twitter
@nlp_stuff
این دوستمون Jax را یادتونه؟ حالا بالاخره اولین گام‌های عملی در این زمینه برداشته شده و هاگینگ فیس با همکاری تیم Flax، برت و روبرتا پیاده‌شده روی Jax را ارائه داده.
پایتورچ و تنسرفلو آماده باشن که Jax داره میاد!
https://twitter.com/avitaloliver/status/1326986383983063058
پ.ن. اگر اولین باره که اسم Jax را می‌شنوین به این پست از کانال نگاه بندازین.
@nlp_stuff
تولد موازی‌سازی مدل‌ها روی هاگینگ فیس
بدانید و آگاه باشید که هفته قبل هاگینگ‌فیس طی حرکت بسیار خفنی، موازی‌سازی مدل‌ها روی جی‌پی‌یو را اضافه کرده و فعلا برای GPT-2 و T5 هم پیاده شده.
نمی‌دونیم میتونید یا نه؛ ولی اگر میتونید (یعنی چند تا جی‌پی‌یو دارید)، حالشو ببرید.
https://twitter.com/LysandreJik/status/1330964117243441153?s=20
#twitter
@nlp_stuff
بدانید و آگاه باشید که هفته قبل هاگینگ‌فیس طی حرکت بسیار خفنی، موازی‌سازی مدل‌ها روی جی‌پی‌یو را اضافه کرده و فعلا برای GPT-2 و T5 هم پیاده شده.
نمی‌دونیم میتونید یا نه؛ ولی اگر میتونید (یعنی چند تا جی‌پی‌یو دارید)، حالشو ببرید.
https://twitter.com/LysandreJik/status/1330964117243441153?s=20
@nlp_stuff
گلچین شاد EMNLP2020
ایشون اومده ۱۳ تا از مقاله‌های EMNLP2020 را گلچین کرده. مقاله‌های خیلی خوبی هستند، یه نگاه بهشون (حداقل عنوان‌شون!) بندازید خوبه.
ما هم به شرط حیات چندتاشو به زودی خلاصه می‌کنیم و براتون تعریف می‌کنیم که کی کیو زده.
https://twitter.com/sjmielke/status/1332069329416892418?s=20
#twitter
@nlp_stuff
ایشون اومده ۱۳ تا از مقاله‌های EMNLP2020 را گلچین کرده. مقاله‌های خیلی خوبی هستند، یه نگاه بهشون (حداقل عنوان‌شون!) بندازید خوبه.
ما هم به شرط حیات چندتاشو به زودی خلاصه می‌کنیم و براتون تعریف می‌کنیم که کی کیو زده.
https://twitter.com/sjmielke/status/1332069329416892418?s=20
@nlp_stuff
Twitter
Sabrina J. Mielke
I finally watched all the talks I wanted to, ended up importing 56 papers to my bib, and now present to you: 🎉 My 13 favorite papers (sorted alphabetically) at #EMNLP2020! 🔥 [1/15]