مدل GPT-2 برای تولید متون توسط ماشین، در ماه‌های گذشته خروجی‌های چشمگیری ارائه داد و مورد توجه قرار گرفت. اخیراً huggingface ابزار زیر را در قالب یک محیط تعاملی ارائه داده است که بعنوان یک واسط از مدل GPT-2 می‌تواند مورد استفاده قرار گیرد. کافی است یک متن را در این محیط وارد کنید و با زدن دکمه‌ی tab پیشنهادهای ماشین را برای تکمیل متن وارد شده مشاهده کرده و احتمالاً شگفت‌زده شوید.
https://transformer.huggingface.co

کورس جدید پردازش زبان‌های طبیعی از fast.ai. ویژگی‌ کورس‌های fast.ai این است که از رویکرد بالا به پایین استفاده می‌کند، یعنی تمرکز بر پیاده‌سازی و سپس وارد شدن به جزئیات و مؤلفه‌های سیستم:
https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9

کتابخانه‌ای از مدل‌های پیش آموزش داده شده‌ی مربوط به پردازش زبان‌های طبیعی. این کتابخانه شامل مدل‌های لبه‌ی علم است بطوریکه حتی مدل XLNet را هم که حدود یک ماه پیش معرفی شده است (و در بسیاری از وظایف از BERT پیشی گرفته است) شامل می‌شود:
https://github.com/huggingface/pytorch-transformers

معرفی ۱۰ کتاب مربوط به یادگیری ماشین. این ده کتاب به خوبی جنبه‌های مختلف مرتبط با هوش مصنوعی (اعم از هوش طبیعی، یادگیری ماشین، روش‌های احتمالاتی، یادگیری عمیق، یادگیری تقویتی، علوم داده و پیاده‌سازی با پایتون) را پوشش می‌دهند:
https://www.youtube.com/watch?v=1lxHH1UBTBU

ابزاری برای کمک به تکمیل کد در حین برنامه‌نویسی (code autocompletion) مبتنی بر مدل GPT-2 آموزش داده شده روی حدود ۲ میلیون فایل از گیت‌هاب:
https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter

کنفرانس ACL بعنوان معتبرترین رویداد حوزه‌ی پردازش زبان‌های طبیعی از دو روز دیگر در فلورانس ایتالیا آغاز به کار می‌کند. در لینک زیر آمارهایی از مقالات ارسال شده به این کنفرانس ارائه شده است:
http://acl2019pcblog.fileli.unipi.it/?p=161
دو مورد قابل توجه:
تعداد مقالات ارسالی نسبت به سال ۲۰۱۸ تقریبا دو برابر شده است.
از ایران ۳ مقاله ارسال شده است که متاسفانه هیچ کدام پذیرفته نشده‌اند.

از سال ۲۰۱۲ تا ۲۰۱۸ بیشینه‌ی حجم محاسبات برای آموزش مدل‌های عمیق بیش از ۳۰۰ هزار برابر شده است:
https://openai.com/blog/ai-and-compute/

این موضوع دو نتیجه‌ی نامطلوب به همراه داشته است: تاثیرات نامطلوب زیست‌محیطی آموزش این مدل‌ها و انحصاری شدن تحقیقات مربوط به هوش مصنوعی برای شرکت‌های بزرگی که امکان انجام این حجم محاسبات را دارند. چند روز پیش مقاله‌ا‌ی توسط مرکز هوش مصنوعی آلن، موضوع هوش مصنوعی سبز را برای مقابله با این چالش پیشنهاد داده است، به این معنی که کارایی روش پیشنهادی نیز در کنار دقت روش برای ارزیابی مورد توجه قرار گیرد:
https://arxiv.org/pdf/1907.10597.pdf

سخنرانی تورینگ (Turing Lecture) که بطور سالیانه توسط یک سخنران سرشناس در حوزه‌ی علوم کامپیوتر انجام می‌شود، امسال توسط Hinton و LeCun (از برندگان جایزه‌ی تورینگ ۲۰۱۸) برگزار شد. ویدئوی سخنرانی را می‌توانید در لینک زیر مشاهده کنید (سخنرانی از دقیقه‌ی ۱۰ شروع می‌شود):
https://www.youtube.com/watch?v=VsnQf7exv5I

یکی از محدودیت‌های شبکه‌های عمیق، پیچیدگی محاسباتی بالای آنها در هنگام استفاده در دنیای واقعی است که حوزه‌ی کاربرد آنها را محدود می‌کند. برای حل این مشکل، اگر بتوانیم دانش یاد گرفته شده در این شبکه‌ها را استخراج کنیم، می‌توانیم مدل‌های ساده‌تری برای این دانش بسازیم. حال سوال این است که چگونه دانش موجود در شبکه‌های عمیق را استخراج کنیم؟ هینتون به همراه دو محقق دیگر در سال ۲۰۱۵، مقاله‌ی زیر را به این منظور ارائه دادند. راهکار آنها این است که پس از آموزش شبکه، خروجی شبکه برای نمونه‌های مختلف بعنوان دانش یاد گرفته شده در نظر گرفته شود. این خروجی‌ها در قالب برچسب نرم (soft label) هستند، یعنی در هر نمونه، الگوهای کلاس‌های مختلف وجود دارد ولی به میزان متفاوت. به عنوان مثال، تصویر یک گربه، الگوهایی از کلاس‌های دیگر مانند سگ را نیز دارد. آنها نشان دادند که می‌توان شبکه‌ای ساده‌تر معادل شبکه‌ی اولیه با استفاده از این برچسب‌های نرم آموزش داد. حتی با حذف کامل نمونه‌های برخی کلاس‌ها مدل جدید قادر بود الگوی این کلاس‌ها را از نمونه‌های دیگر یاد بگیرد. این ایده در حوزه‌های مختلف مورد استفاده قرار گرفته است و یکی از جدیدترین این موارد، روش DistilBERT است که برای ساده‌سازی مدل زبانی معروف گوگل (BERT) ارائه شده است.
https://arxiv.org/pdf/1503.02531.pdf
https://arxiv.org/pdf/1910.01108

پرفروش‌ترین کتاب‌های حال حاضر آمازون در حوزه هوش مصنوعی

مجموعه‌ای نسبتاً جامع از مقالات مرتبط با یادگیری عمیق روی گراف:
https://github.com/DeepGraphLearning/LiteratureDL4Graph

پروفسور یاشوا بنجیو در سخنرانی خود در کنفرانس NeurIPS 2019 به مفهوم "سیستم یک" و "سیستم دو" اشاره می‌کند:
https://www.youtube.com/watch?v=T3sxeTgT4qc

این مفاهیم توسط دانیل کانمن برنده‌ی جایزه‌ی نوبل اقتصاد ۲۰۰۲ در کتاب معروف ایشان با عنوان “تفکر، سریع و آهسته” مطرح شده است و اشاره به این دارد که فرآیند تفکر انسان به دو دسته تقسیم می‌شود: “سیستم یک” که سریع و بطور ناخودآگاه عمل می‌کند و “سیستم دو” که بصورت آگاهانه و آهسته عمل می‌کند. بنجیو اشاره می‌کند که دستاوردهای فعلی یادگیری ماشین در حوزه‌ی "سیستم یک" بوده است و در آینده شاهد موفقیت‌های ماشین‌های هوشمند در حوزه‌ی "سیستم دو" خواهیم بود.

مصاحبه‌ی زیر با دانیل کانمن نیز که اخیرا منتشر شده است، به علاقه‌مندان توصیه می‌شود:
https://www.youtube.com/watch?v=UwwBG-MbniY

مصاحبه با برندگان جایزه‌ی تورینگ ۲۰۱۸ (Hinton ،LeCun و Bengio). نکته‌ی جالب این مصاحبه‌ها این است که به بریده‌هایی از زندگی این افراد از زمان کودکی تا بزرگسالی آنها پرداخته شده است.
https://www.youtube.com/watch?v=z9Fz96Mr4bM
https://www.youtube.com/watch?v=oUa8Jk04tZQ
https://www.youtube.com/watch?v=PHhFI8JexLg

بریده‌ای از مصاحبه با پروفسور بنجیو (دقیقه‌ی ۴۴:۴۳ تا ۴۷:۱۰). توجه کنید که این یک ترجمه‌ی کلمه به کلمه از مصاحبه نیست.

سوال: آیا این درست است که ما هنوز ماشینی با سطح هوش یک بچه‌ی دوساله نداریم؟
پاسخ: این سوال از اینجا ناشی می‌شود که ما فکر می‌کنیم هوش در یک بُعد قابل سنجش است (مثل آی‌کیو). اگر من شما را الان در بدن یک موش قرار دهم شما به‌زودی از گرسنگی می‌میرید یا توسط اولین گربه خورده می‌شوید. آیا این به این معنی است که موش از شما باهوش‌تر است؟ خیر! او هوشی را دارد که برای حیات در دنیای خودش نیاز دارد و شما هوشی که برای حیات در دنیای خودتان نیاز دارید. بنابراین، او از ابعادی هوشمند است و شما از ابعادی دیگر. حتی انسان‌ها هم در ابعاد مختلف هوشمند هستند. در مورد ماشین هم ما الان ماشینی داریم که می‌تواند در بعضی از بازی‌های فکری (مثل گو) انسان را شکست دهد ولی در بسیاری دیگر از ابعاد از انسان به مراتب عقب‌تر است. البته محققین تلاش می‌کنند در ابعاد بیشتری سطح هوشمندی ماشین به انسان نزدیک شود و هیچ دلیل موجهی نداریم که ثابت کند ماشین نمی‌تواند در همه‌ی ابعاد به هوشمندی انسان یا بیشتر دست پیدا کند.
https://www.youtube.com/watch?v=PHhFI8JexLg

معماری transformer که در مقاله‌ای با عنوان attention is all you need در سال ۲۰۱۷ معرفی شد، یکی از مدل‌های بسیار موفق در پردازش زبان‌های طبیعی بوده است. بعنوان مثال، BERT یکی از کاربردهای transformer بود که در تعداد زیادی از وظایف پردازش زبان دقت‌های مدل‌های پیشین را بهبود بخشید. با این وجود، آموزش transformerها برروی دنباله‌های بزرگ از لحاظ پیچیدگی محاسباتی و حافظه‌ی مورد نیاز بسیار پرهزینه است. اخیرا گوگل یک مدل جدید به نام reformer معرفی کرده است که نسبت به transformer از لحاظ سرعت و حافظه بسیار کاراتر است. مقاله‌ی reformer در لینک زیر قابل دریافت است:
https://arxiv.org/pdf/2001.04451.pdf

پست مربوطه را در بلاگ هوش مصنوعی گوگل می‌توانید در لینک زیر مشاهده نمایید:
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html

و در لینک زیر نیز می‌توانید یک اجرا از این مدل برای وظیفه‌ی تولید متون طبیعی پس از پردازش کتاب “جنایت و مکافات” داشته باشید:
https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb

برای محققینی که در حوزه‌ی یادگیری ماشین فعالیت می‌کنند، مقایسه‌ی توانایی ماشین در یادگیری با رقیب سرسخت ماشین‌ها یعنی انسان‌ها نه تنها جذاب بلکه الهام‌بخش است. یکی از بهترین منابعی که در سال ۲۰۲۰ منتشر شده و به این موضوع می‌پردازد کتاب زیر است. نویسنده‌ی این کتاب، آقای استانیسلاس دوآن از نظریه‌پردازان سرشناس جهان در حوزه‌ی روانشناسی و علوم اعصاب شناختی است که با آشنایی با حوزه‌ی یادگیری ماشین و تسلط بر حوزه‌ی یادگیری انسان به خوبی به مقایسه‌ی یادگیری ماشین و انسان پرداخته است.

دو فایل پی‌دی‌اف زیر، دو اسلاید از کورس مرتبط با پردازش زبان‌های طبیعی ارائه شده در دانشگاه نیویورک در ترم جاری است.
موضوع اسلایدها این است: اگر می‌خواهید یک مقاله‌ی تاثیرگذار در حوزه‌ی پردازش زبان‌های طبیعی منتشر کنید، مهندسی فقط نیمی از کار است. نیمه‌ی دیگر شامل مواردی از جمله یافتن و مرور کارهای پیشین، طراحی آزمایش‌های موثر و تحلیل نتایج، مسائل اخلاقی و نگارش و انتشار مقاله است که در این دو اسلاید به آنها پرداخته شده است.