حتماً با بازی پیکشنری (حداقل از طریق خندوانه!) آشنا هستید. اکنون می‌توانید این بازی را با هوش مصنوعی مؤسسه‌ی آلن انجام دهید.
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
iconary.allenai.org
Iconary from AI2 | Draw and Guess with AllenAI
Play Iconary with AllenAI, the world’s first AI system that can play a Pictionary-style game collaboratively with a human partner.
کورس "پردازش زبان‌های طبیعی با یادگیری عمیق" توسط پروفسور کریستوفر منینگ استاد سرشناس دانشگاه استنفورد در ترم جاری نیز در حال برگزاری است. ویدئوهای این کورس از آدرس زیر قابل دسترسی است:
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
YouTube
Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 1 – Introduction and Word Vectors
For more information about Stanford’s Artificial Intelligence professional and graduate programs, visit: https://stanford.io/3CORGu1
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
جهت اطلاع: در کانال زیر از یوتیوب، تکه‌های کوتاه (حدود دو دقیقه) از مصاحبه با برندگان جایزه‌ی نوبل در موضوعات مختلف جمع‌آوری شده است:
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
YouTube
NobelPrizeII
Insights and advice from Nobel Laureates.
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…
توئیت آقای مکرون رئیس جمهور فرانسه پس از این‌که جایزه‌ی تورینگ ۲۰۱۸ (معادل نوبل کامپیوتر) به سه نفر از بزرگان یادگیری عمیق (از جمله آقای یان لکون که اصالتاً فرانسوی هستند) اختصاص یافت. ایشان در این توئیت به این مورد اشاره می‌کنند که یکی از اولویت‌های دولت فرانسه این است که یکی از رهبران حوزه‌ی هوش مصنوعی شود.
یک خلاصه از مقالهای جالب که تخمین می‌زند حجم دانش زبانی که یک بزرگسال انگلیسی زبان (در حد متوسط) یاد می‌گیرد، حدود ۱.۵ مگابایت است (این را با حجم پارامترهای شبکه‌های عصبی موجود مقایسه کنید). همچنین اشاره می‌کند که اکثر این دانش مربوط به بُعد معنایی زبان (semantic) است نه بُعد نحوی (syntax).
https://news.berkeley.edu/2019/03/27/younglanguagelearners/
https://news.berkeley.edu/2019/03/27/younglanguagelearners/
Berkeley News
Kids store 1.5 megabytes of information to master their native language - Berkeley News
New research from UC Berkeley suggests that language acquisition between birth and 18 is a remarkable feat of cognition
یادگیری ماشین
یک خلاصه از مقالهای جالب که تخمین می‌زند حجم دانش زبانی که یک بزرگسال انگلیسی زبان (در حد متوسط) یاد می‌گیرد، حدود ۱.۵ مگابایت است (این را با حجم پارامترهای شبکه‌های عصبی موجود مقایسه کنید). همچنین اشاره می‌کند که اکثر این دانش مربوط به بُعد معنایی زبان (semantic)…
پس از بررسی دقیق‌تر و مکاتبه با نویسنده‌ی مقاله مشخص شد که حجم ۱.۵ مگابایت تخمین زده شده درواقع تخمینی از حافظه‌ی مورد نیاز برای بازنمایی خروجی است و به مدل ساخته شده در مغز برای تولید خروجی توجهی نشده است. این درحالی است که از عنوان مقاله این انتظار می‌رود که به دانش زبانی ذخیره شده در مغز پرداخته شود. بنابراین، برخلاف عنوان مقاله نمی‌توان نتیجه گرفت که حجم دانش زبانی یاد گرفته شده توسط انسان حدود ۱.۵ مگابایت است.
کورس "شبکه‌های عصبی برای پردازش زبان‌های طبیعی" دانشگاه CMU ترم جاری:
صفحه‌ی کورس:
http://phontron.com/class/nn4nlp2019/index.html
ویدئوها:
https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs
صفحه‌ی کورس:
http://phontron.com/class/nn4nlp2019/index.html
ویدئوها:
https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs
YouTube
CMU Neural Nets for NLP 2019 (1): Intro/Why Neural Nets for NLP
This lecture (by Graham Neubig) for CMU CS 11-747, Neural Networks for NLP (Spring 2019) covers:
* Introduction to Neural Networks
* Example Tasks and Their Difficulties
* What Neural Nets can Do To Help
Site: http://phontron.com/class/nn4nlp2019/schedule/class…
* Introduction to Neural Networks
* Example Tasks and Their Difficulties
* What Neural Nets can Do To Help
Site: http://phontron.com/class/nn4nlp2019/schedule/class…
ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸:
https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
YouTube
CACM Jun 2019 - 2018 ACM Turing Award
Once treated by the field with skepticism (if not outright derision), the artificial neural networks that 2018 ACM A.M. Turing Award recipients Geoffrey Hinton, Yann LeCun, and Yoshua Bengio spent their careers developing are today an integral component of…
یادگیری ماشین
ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸: https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
یک جمله‌ی جالب از پروفسور هینتون در این ویدئو:
If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.
If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.
مدل GPT-2 برای تولید متون توسط ماشین، در ماه‌های گذشته خروجی‌های چشمگیری ارائه داد و مورد توجه قرار گرفت. اخیراً huggingface ابزار زیر را در قالب یک محیط تعاملی ارائه داده است که بعنوان یک واسط از مدل GPT-2 می‌تواند مورد استفاده قرار گیرد. کافی است یک متن را در این محیط وارد کنید و با زدن دکمه‌ی tab پیشنهادهای ماشین را برای تکمیل متن وارد شده مشاهده کرده و احتمالاً شگفت‌زده شوید.
https://transformer.huggingface.co
https://transformer.huggingface.co
banana-projects-transformer-autocomplete.hf.space
Write With Transformer
See how a modern neural network auto-completes your text
کورس جدید پردازش زبان‌های طبیعی از fast.ai. ویژگی کورس‌های fast.ai این است که از رویکرد بالا به پایین استفاده می‌کند، یعنی تمرکز بر پیاده‌سازی و سپس وارد شدن به جزئیات و مؤلفه‌های سیستم:
https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9
https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9
YouTube
fast.ai Code-First Intro to Natural Language Processing
This is the playlist for the fast.ai NLP course, originally taught in the USF MS in Data Science program during May-June 2019. The course covers a blend of t...
کتابخانه‌ای از مدل‌های پیش آموزش داده شده‌ی مربوط به پردازش زبان‌های طبیعی. این کتابخانه شامل مدل‌های لبه‌ی علم است بطوریکه حتی مدل XLNet را هم که حدود یک ماه پیش معرفی شده است (و در بسیاری از وظایف از BERT پیشی گرفته است) شامل می‌شود:
https://github.com/huggingface/pytorch-transformers
https://github.com/huggingface/pytorch-transformers
GitHub
GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.
🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. - huggingface/transformers
معرفی ۱۰ کتاب مربوط به یادگیری ماشین. این ده کتاب به خوبی جنبه‌های مختلف مرتبط با هوش مصنوعی (اعم از هوش طبیعی، یادگیری ماشین، روش‌های احتمالاتی، یادگیری عمیق، یادگیری تقویتی، علوم داده و پیاده‌سازی با پایتون) را پوشش می‌دهند:
https://www.youtube.com/watch?v=1lxHH1UBTBU
https://www.youtube.com/watch?v=1lxHH1UBTBU
YouTube
10 Books to Learn Machine Learning
I've designed an ordered reading list of free books to help anyone learn machine learning efficiently! I'll explain why I chose each book and detail how it fits into the larger learning path. We'll start by learning about how the original learning algorithm…
ابزاری برای کمک به تکمیل کد در حین برنامه‌نویسی (code autocompletion) مبتنی بر مدل GPT-2 آموزش داده شده روی حدود ۲ میلیون فایل از گیت‌هاب:
https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter
https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter
کنفرانس ACL بعنوان معتبرترین رویداد حوزه‌ی پردازش زبان‌های طبیعی از دو روز دیگر در فلورانس ایتالیا آغاز به کار می‌کند. در لینک زیر آمارهایی از مقالات ارسال شده به این کنفرانس ارائه شده است:
http://acl2019pcblog.fileli.unipi.it/?p=161
دو مورد قابل توجه:
تعداد مقالات ارسالی نسبت به سال ۲۰۱۸ تقریبا دو برابر شده است.
از ایران ۳ مقاله ارسال شده است که متاسفانه هیچ کدام پذیرفته نشده‌اند.
http://acl2019pcblog.fileli.unipi.it/?p=161
دو مورد قابل توجه:
تعداد مقالات ارسالی نسبت به سال ۲۰۱۸ تقریبا دو برابر شده است.
از ایران ۳ مقاله ارسال شده است که متاسفانه هیچ کدام پذیرفته نشده‌اند.
👍1
از سال ۲۰۱۲ تا ۲۰۱۸ بیشینه‌ی حجم محاسبات برای آموزش مدل‌های عمیق بیش از ۳۰۰ هزار برابر شده است:
https://openai.com/blog/ai-and-compute/
این موضوع دو نتیجه‌ی نامطلوب به همراه داشته است: تاثیرات نامطلوب زیست‌محیطی آموزش این مدل‌ها و انحصاری شدن تحقیقات مربوط به هوش مصنوعی برای شرکت‌های بزرگی که امکان انجام این حجم محاسبات را دارند. چند روز پیش مقالهای توسط مرکز هوش مصنوعی آلن، موضوع هوش مصنوعی سبز را برای مقابله با این چالش پیشنهاد داده است، به این معنی که کارایی روش پیشنهادی نیز در کنار دقت روش برای ارزیابی مورد توجه قرار گیرد:
https://arxiv.org/pdf/1907.10597.pdf
https://openai.com/blog/ai-and-compute/
این موضوع دو نتیجه‌ی نامطلوب به همراه داشته است: تاثیرات نامطلوب زیست‌محیطی آموزش این مدل‌ها و انحصاری شدن تحقیقات مربوط به هوش مصنوعی برای شرکت‌های بزرگی که امکان انجام این حجم محاسبات را دارند. چند روز پیش مقالهای توسط مرکز هوش مصنوعی آلن، موضوع هوش مصنوعی سبز را برای مقابله با این چالش پیشنهاد داده است، به این معنی که کارایی روش پیشنهادی نیز در کنار دقت روش برای ارزیابی مورد توجه قرار گیرد:
https://arxiv.org/pdf/1907.10597.pdf
Openai
AI and compute
We’re releasing an analysis showing that since 2012, the amount of compute used in the largest AI training runs has been increasing exponentially with a 3.4-month doubling time (by comparison, Moore’s Law had a 2-year doubling period)[^footnote-correction].…
سخنرانی تورینگ (Turing Lecture) که بطور سالیانه توسط یک سخنران سرشناس در حوزه‌ی علوم کامپیوتر انجام می‌شود، امسال توسط Hinton و LeCun (از برندگان جایزه‌ی تورینگ ۲۰۱۸) برگزار شد. ویدئوی سخنرانی را می‌توانید در لینک زیر مشاهده کنید (سخنرانی از دقیقه‌ی ۱۰ شروع می‌شود):
https://www.youtube.com/watch?v=VsnQf7exv5I
https://www.youtube.com/watch?v=VsnQf7exv5I
YouTube
Geoffrey Hinton and Yann LeCun, 2018 ACM A.M. Turing Award Lecture "The Deep Learning Revolution"
We are pleased to announce that Geoffrey Hinton and Yann LeCun will deliver the Turing Lecture at FCRC. Hinton's talk, entitled, "The Deep Learning Revolution" and LeCun's talk, entitled, "The Deep Learning Revolution: The Sequel," will be presented June…
یکی از محدودیت‌های شبکه‌های عمیق، پیچیدگی محاسباتی بالای آنها در هنگام استفاده در دنیای واقعی است که حوزه‌ی کاربرد آنها را محدود می‌کند. برای حل این مشکل، اگر بتوانیم دانش یاد گرفته شده در این شبکه‌ها را استخراج کنیم، می‌توانیم مدل‌های ساده‌تری برای این دانش بسازیم. حال سوال این است که چگونه دانش موجود در شبکه‌های عمیق را استخراج کنیم؟ هینتون به همراه دو محقق دیگر در سال ۲۰۱۵، مقاله‌ی زیر را به این منظور ارائه دادند. راهکار آنها این است که پس از آموزش شبکه، خروجی شبکه برای نمونه‌های مختلف بعنوان دانش یاد گرفته شده در نظر گرفته شود. این خروجی‌ها در قالب برچسب نرم (soft label) هستند، یعنی در هر نمونه، الگوهای کلاس‌های مختلف وجود دارد ولی به میزان متفاوت. به عنوان مثال، تصویر یک گربه، الگوهایی از کلاس‌های دیگر مانند سگ را نیز دارد. آنها نشان دادند که می‌توان شبکه‌ای ساده‌تر معادل شبکه‌ی اولیه با استفاده از این برچسب‌های نرم آموزش داد. حتی با حذف کامل نمونه‌های برخی کلاس‌ها مدل جدید قادر بود الگوی این کلاس‌ها را از نمونه‌های دیگر یاد بگیرد. این ایده در حوزه‌های مختلف مورد استفاده قرار گرفته است و یکی از جدیدترین این موارد، روش DistilBERT است که برای ساده‌سازی مدل زبانی معروف گوگل (BERT) ارائه شده است.
https://arxiv.org/pdf/1503.02531.pdf
https://arxiv.org/pdf/1910.01108
https://arxiv.org/pdf/1503.02531.pdf
https://arxiv.org/pdf/1910.01108