پس از بررسی دقیق‌تر و مکاتبه با نویسنده‌ی مقاله مشخص شد که حجم ۱.۵ مگابایت تخمین زده شده درواقع تخمینی از حافظه‌ی مورد نیاز برای بازنمایی خروجی است و به مدل ساخته شده در مغز برای تولید خروجی توجهی نشده است. این درحالی است که از عنوان مقاله این انتظار می‌رود که به دانش زبانی ذخیره شده در مغز پرداخته شود. بنابراین، برخلاف عنوان مقاله نمی‌توان نتیجه گرفت که حجم دانش زبانی یاد گرفته شده توسط انسان حدود ۱.۵ مگابایت است.

کورس "شبکه‌های عصبی برای پردازش زبان‌های طبیعی" دانشگاه CMU ترم جاری:

صفحه‌ی کورس:
http://phontron.com/class/nn4nlp2019/index.html

ویدئوها:
https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs

ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸:
https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be

یک جمله‌ی جالب از پروفسور هینتون در این ویدئو:
If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.

مدل GPT-2 برای تولید متون توسط ماشین، در ماه‌های گذشته خروجی‌های چشمگیری ارائه داد و مورد توجه قرار گرفت. اخیراً huggingface ابزار زیر را در قالب یک محیط تعاملی ارائه داده است که بعنوان یک واسط از مدل GPT-2 می‌تواند مورد استفاده قرار گیرد. کافی است یک متن را در این محیط وارد کنید و با زدن دکمه‌ی tab پیشنهادهای ماشین را برای تکمیل متن وارد شده مشاهده کرده و احتمالاً شگفت‌زده شوید.
https://transformer.huggingface.co

کورس جدید پردازش زبان‌های طبیعی از fast.ai. ویژگی‌ کورس‌های fast.ai این است که از رویکرد بالا به پایین استفاده می‌کند، یعنی تمرکز بر پیاده‌سازی و سپس وارد شدن به جزئیات و مؤلفه‌های سیستم:
https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9

کتابخانه‌ای از مدل‌های پیش آموزش داده شده‌ی مربوط به پردازش زبان‌های طبیعی. این کتابخانه شامل مدل‌های لبه‌ی علم است بطوریکه حتی مدل XLNet را هم که حدود یک ماه پیش معرفی شده است (و در بسیاری از وظایف از BERT پیشی گرفته است) شامل می‌شود:
https://github.com/huggingface/pytorch-transformers

معرفی ۱۰ کتاب مربوط به یادگیری ماشین. این ده کتاب به خوبی جنبه‌های مختلف مرتبط با هوش مصنوعی (اعم از هوش طبیعی، یادگیری ماشین، روش‌های احتمالاتی، یادگیری عمیق، یادگیری تقویتی، علوم داده و پیاده‌سازی با پایتون) را پوشش می‌دهند:
https://www.youtube.com/watch?v=1lxHH1UBTBU

ابزاری برای کمک به تکمیل کد در حین برنامه‌نویسی (code autocompletion) مبتنی بر مدل GPT-2 آموزش داده شده روی حدود ۲ میلیون فایل از گیت‌هاب:
https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter

کنفرانس ACL بعنوان معتبرترین رویداد حوزه‌ی پردازش زبان‌های طبیعی از دو روز دیگر در فلورانس ایتالیا آغاز به کار می‌کند. در لینک زیر آمارهایی از مقالات ارسال شده به این کنفرانس ارائه شده است:
http://acl2019pcblog.fileli.unipi.it/?p=161
دو مورد قابل توجه:
تعداد مقالات ارسالی نسبت به سال ۲۰۱۸ تقریبا دو برابر شده است.
از ایران ۳ مقاله ارسال شده است که متاسفانه هیچ کدام پذیرفته نشده‌اند.

از سال ۲۰۱۲ تا ۲۰۱۸ بیشینه‌ی حجم محاسبات برای آموزش مدل‌های عمیق بیش از ۳۰۰ هزار برابر شده است:
https://openai.com/blog/ai-and-compute/

این موضوع دو نتیجه‌ی نامطلوب به همراه داشته است: تاثیرات نامطلوب زیست‌محیطی آموزش این مدل‌ها و انحصاری شدن تحقیقات مربوط به هوش مصنوعی برای شرکت‌های بزرگی که امکان انجام این حجم محاسبات را دارند. چند روز پیش مقاله‌ا‌ی توسط مرکز هوش مصنوعی آلن، موضوع هوش مصنوعی سبز را برای مقابله با این چالش پیشنهاد داده است، به این معنی که کارایی روش پیشنهادی نیز در کنار دقت روش برای ارزیابی مورد توجه قرار گیرد:
https://arxiv.org/pdf/1907.10597.pdf

سخنرانی تورینگ (Turing Lecture) که بطور سالیانه توسط یک سخنران سرشناس در حوزه‌ی علوم کامپیوتر انجام می‌شود، امسال توسط Hinton و LeCun (از برندگان جایزه‌ی تورینگ ۲۰۱۸) برگزار شد. ویدئوی سخنرانی را می‌توانید در لینک زیر مشاهده کنید (سخنرانی از دقیقه‌ی ۱۰ شروع می‌شود):
https://www.youtube.com/watch?v=VsnQf7exv5I

یکی از محدودیت‌های شبکه‌های عمیق، پیچیدگی محاسباتی بالای آنها در هنگام استفاده در دنیای واقعی است که حوزه‌ی کاربرد آنها را محدود می‌کند. برای حل این مشکل، اگر بتوانیم دانش یاد گرفته شده در این شبکه‌ها را استخراج کنیم، می‌توانیم مدل‌های ساده‌تری برای این دانش بسازیم. حال سوال این است که چگونه دانش موجود در شبکه‌های عمیق را استخراج کنیم؟ هینتون به همراه دو محقق دیگر در سال ۲۰۱۵، مقاله‌ی زیر را به این منظور ارائه دادند. راهکار آنها این است که پس از آموزش شبکه، خروجی شبکه برای نمونه‌های مختلف بعنوان دانش یاد گرفته شده در نظر گرفته شود. این خروجی‌ها در قالب برچسب نرم (soft label) هستند، یعنی در هر نمونه، الگوهای کلاس‌های مختلف وجود دارد ولی به میزان متفاوت. به عنوان مثال، تصویر یک گربه، الگوهایی از کلاس‌های دیگر مانند سگ را نیز دارد. آنها نشان دادند که می‌توان شبکه‌ای ساده‌تر معادل شبکه‌ی اولیه با استفاده از این برچسب‌های نرم آموزش داد. حتی با حذف کامل نمونه‌های برخی کلاس‌ها مدل جدید قادر بود الگوی این کلاس‌ها را از نمونه‌های دیگر یاد بگیرد. این ایده در حوزه‌های مختلف مورد استفاده قرار گرفته است و یکی از جدیدترین این موارد، روش DistilBERT است که برای ساده‌سازی مدل زبانی معروف گوگل (BERT) ارائه شده است.
https://arxiv.org/pdf/1503.02531.pdf
https://arxiv.org/pdf/1910.01108

پرفروش‌ترین کتاب‌های حال حاضر آمازون در حوزه هوش مصنوعی

مجموعه‌ای نسبتاً جامع از مقالات مرتبط با یادگیری عمیق روی گراف:
https://github.com/DeepGraphLearning/LiteratureDL4Graph

پروفسور یاشوا بنجیو در سخنرانی خود در کنفرانس NeurIPS 2019 به مفهوم "سیستم یک" و "سیستم دو" اشاره می‌کند:
https://www.youtube.com/watch?v=T3sxeTgT4qc

این مفاهیم توسط دانیل کانمن برنده‌ی جایزه‌ی نوبل اقتصاد ۲۰۰۲ در کتاب معروف ایشان با عنوان “تفکر، سریع و آهسته” مطرح شده است و اشاره به این دارد که فرآیند تفکر انسان به دو دسته تقسیم می‌شود: “سیستم یک” که سریع و بطور ناخودآگاه عمل می‌کند و “سیستم دو” که بصورت آگاهانه و آهسته عمل می‌کند. بنجیو اشاره می‌کند که دستاوردهای فعلی یادگیری ماشین در حوزه‌ی "سیستم یک" بوده است و در آینده شاهد موفقیت‌های ماشین‌های هوشمند در حوزه‌ی "سیستم دو" خواهیم بود.

مصاحبه‌ی زیر با دانیل کانمن نیز که اخیرا منتشر شده است، به علاقه‌مندان توصیه می‌شود:
https://www.youtube.com/watch?v=UwwBG-MbniY

مصاحبه با برندگان جایزه‌ی تورینگ ۲۰۱۸ (Hinton ،LeCun و Bengio). نکته‌ی جالب این مصاحبه‌ها این است که به بریده‌هایی از زندگی این افراد از زمان کودکی تا بزرگسالی آنها پرداخته شده است.
https://www.youtube.com/watch?v=z9Fz96Mr4bM
https://www.youtube.com/watch?v=oUa8Jk04tZQ
https://www.youtube.com/watch?v=PHhFI8JexLg

بریده‌ای از مصاحبه با پروفسور بنجیو (دقیقه‌ی ۴۴:۴۳ تا ۴۷:۱۰). توجه کنید که این یک ترجمه‌ی کلمه به کلمه از مصاحبه نیست.

سوال: آیا این درست است که ما هنوز ماشینی با سطح هوش یک بچه‌ی دوساله نداریم؟
پاسخ: این سوال از اینجا ناشی می‌شود که ما فکر می‌کنیم هوش در یک بُعد قابل سنجش است (مثل آی‌کیو). اگر من شما را الان در بدن یک موش قرار دهم شما به‌زودی از گرسنگی می‌میرید یا توسط اولین گربه خورده می‌شوید. آیا این به این معنی است که موش از شما باهوش‌تر است؟ خیر! او هوشی را دارد که برای حیات در دنیای خودش نیاز دارد و شما هوشی که برای حیات در دنیای خودتان نیاز دارید. بنابراین، او از ابعادی هوشمند است و شما از ابعادی دیگر. حتی انسان‌ها هم در ابعاد مختلف هوشمند هستند. در مورد ماشین هم ما الان ماشینی داریم که می‌تواند در بعضی از بازی‌های فکری (مثل گو) انسان را شکست دهد ولی در بسیاری دیگر از ابعاد از انسان به مراتب عقب‌تر است. البته محققین تلاش می‌کنند در ابعاد بیشتری سطح هوشمندی ماشین به انسان نزدیک شود و هیچ دلیل موجهی نداریم که ثابت کند ماشین نمی‌تواند در همه‌ی ابعاد به هوشمندی انسان یا بیشتر دست پیدا کند.
https://www.youtube.com/watch?v=PHhFI8JexLg