مصاحبه با ۲۵ محقق عمدتا به‌نام حوزه‌ی پردازش زبان‌های طبیعی. از هر نفر چهار سوال پرسیده شده است:
سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟
مؤثرترین کار انجام شده در دهه‌ی گذشته؟
موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟
توصیه به دانشجویانی که می‌خواهند در این حوزه تحقیقات را شروع کنند؟
👇
سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟
مؤثرترین کار انجام شده در دهه‌ی گذشته؟
موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟
توصیه به دانشجویانی که می‌خواهند در این حوزه تحقیقات را شروع کنند؟
👇
کتاب جدید و رایگان "مقدمه‌ای بر جبر خطی کاربردی" نوشته‌ی دو تن از اساتید برجسته‌ی حوزه‌ی بهینه‌سازی:
http://vmls-book.stanford.edu/vmls.pdf
http://vmls-book.stanford.edu/vmls.pdf
پروژه‌ی کارشناسی انجام شده در "آزمایشگاه داده‌کاوی و یادگیری ماشین دانشگاه قم" مشابه Google Semantris:
http://dml.qom.ac.ir/2018/12/15/wordgame
http://dml.qom.ac.ir/2018/12/15/wordgame
یادگیری ماشین
مصاحبه با ۲۵ محقق عمدتا به‌نام حوزه‌ی پردازش زبان‌های طبیعی. از هر نفر چهار سوال پرسیده شده است: سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟ مؤثرترین کار انجام شده در دهه‌ی گذشته؟ موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟…
یک جمع‌بندی از مسائل باز حوزه‌ی پردازش زبان‌های طبیعی براساس مصاحبه‌ی فوق:
http://ruder.io/4-biggest-open-problems-in-nlp/
http://ruder.io/4-biggest-open-problems-in-nlp/
یادگیری ماشین
Terrence_J_Sejnowski_The_Deep_Learning.pdf
کتاب ارزشمند "انقلاب یادگیری عمیق" نوشته شده توسط پروفسور Sejnowski از بزرگان هوش مصنوعی و علوم اعصاب محاسباتی. ایشان در بسیاری از تحولات و دستاوردهای هوش مصنوعی و شبکه‌های عصبی نقش داشته‌اند و بسیاری از موارد را بطور دست اول لمس کرده‌اند و در این کتاب به مرور این دستاوردها بعنوان بازیگر اصلی این میدان پرداخته‌اند.
لیزر نام ابزار جدید بازنمایی جملات ارائه شده توسط فیسبوک است. ویژگی خاص این ابزار، بازنمایی ۹۳ زبان مختلف (از جمله زبان فارسی) در یک فضای مشترک است که کار یادگیری انتقالی بین زبانی را تسهیل می‌کند (مانند ساخت مدل روی داده‌های زبان انگلیسی و استفاده از مدل برای زبان فارسی).
https://code.fb.com/ai-research/laser-multilingual-sentence-embeddings/
https://code.fb.com/ai-research/laser-multilingual-sentence-embeddings/
Engineering at Meta
Zero-shot transfer across 93 languages: Open-sourcing enhanced LASER library
To accelerate the transfer of natural language processing (NLP) applications to many more languages, we have significantly expanded and enhanced our LASER (Language-Agnostic SEntence Representation…
یادگیری ماشین
کتاب ارزشمند "انقلاب یادگیری عمیق" نوشته شده توسط پروفسور Sejnowski از بزرگان هوش مصنوعی و علوم اعصاب محاسباتی. ایشان در بسیاری از تحولات و دستاوردهای هوش مصنوعی و شبکه‌های عصبی نقش داشته‌اند و بسیاری از موارد را بطور دست اول لمس کرده‌اند و در این کتاب به…
در ویدئوی زیر، خود نویسنده به مرور این کتاب می‌پردازند:
https://www.youtube.com/watch?v=oIch6VN6HOk
https://www.youtube.com/watch?v=oIch6VN6HOk
YouTube
The Deep Learning Revolution
Terrence Sejnowski, Salk Institute for Biological Studies
BMM Summer Course 2018
BMM Summer Course 2018
حتماً با بازی پیکشنری (حداقل از طریق خندوانه!) آشنا هستید. اکنون می‌توانید این بازی را با هوش مصنوعی مؤسسه‌ی آلن انجام دهید.
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
iconary.allenai.org
Iconary from AI2 | Draw and Guess with AllenAI
Play Iconary with AllenAI, the world’s first AI system that can play a Pictionary-style game collaboratively with a human partner.
کورس "پردازش زبان‌های طبیعی با یادگیری عمیق" توسط پروفسور کریستوفر منینگ استاد سرشناس دانشگاه استنفورد در ترم جاری نیز در حال برگزاری است. ویدئوهای این کورس از آدرس زیر قابل دسترسی است:
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
YouTube
Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 1 – Introduction and Word Vectors
For more information about Stanford’s Artificial Intelligence professional and graduate programs, visit: https://stanford.io/3CORGu1
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
جهت اطلاع: در کانال زیر از یوتیوب، تکه‌های کوتاه (حدود دو دقیقه) از مصاحبه با برندگان جایزه‌ی نوبل در موضوعات مختلف جمع‌آوری شده است:
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
YouTube
NobelPrizeII
Insights and advice from Nobel Laureates.
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…
توئیت آقای مکرون رئیس جمهور فرانسه پس از این‌که جایزه‌ی تورینگ ۲۰۱۸ (معادل نوبل کامپیوتر) به سه نفر از بزرگان یادگیری عمیق (از جمله آقای یان لکون که اصالتاً فرانسوی هستند) اختصاص یافت. ایشان در این توئیت به این مورد اشاره می‌کنند که یکی از اولویت‌های دولت فرانسه این است که یکی از رهبران حوزه‌ی هوش مصنوعی شود.
یک خلاصه از مقاله‌ای جالب که تخمین می‌زند حجم دانش زبانی که یک بزرگسال انگلیسی زبان (در حد متوسط) یاد می‌گیرد، حدود ۱.۵ مگابایت است (این را با حجم پارامترهای شبکه‌های عصبی موجود مقایسه کنید). همچنین اشاره می‌کند که اکثر این دانش مربوط به بُعد معنایی زبان (semantic) است نه بُعد نحوی (syntax).
https://news.berkeley.edu/2019/03/27/younglanguagelearners/
https://news.berkeley.edu/2019/03/27/younglanguagelearners/
Berkeley News
Kids store 1.5 megabytes of information to master their native language - Berkeley News
New research from UC Berkeley suggests that language acquisition between birth and 18 is a remarkable feat of cognition
یادگیری ماشین
یک خلاصه از مقاله‌ای جالب که تخمین می‌زند حجم دانش زبانی که یک بزرگسال انگلیسی زبان (در حد متوسط) یاد می‌گیرد، حدود ۱.۵ مگابایت است (این را با حجم پارامترهای شبکه‌های عصبی موجود مقایسه کنید). همچنین اشاره می‌کند که اکثر این دانش مربوط به بُعد معنایی زبان (semantic)…
پس از بررسی دقیق‌تر و مکاتبه با نویسنده‌ی مقاله مشخص شد که حجم ۱.۵ مگابایت تخمین زده شده درواقع تخمینی از حافظه‌ی مورد نیاز برای بازنمایی خروجی است و به مدل ساخته شده در مغز برای تولید خروجی توجهی نشده است. این درحالی است که از عنوان مقاله این انتظار می‌رود که به دانش زبانی ذخیره شده در مغز پرداخته شود. بنابراین، برخلاف عنوان مقاله نمی‌توان نتیجه گرفت که حجم دانش زبانی یاد گرفته شده توسط انسان حدود ۱.۵ مگابایت است.
کورس "شبکه‌های عصبی برای پردازش زبان‌های طبیعی" دانشگاه CMU ترم جاری:
صفحه‌ی کورس:
http://phontron.com/class/nn4nlp2019/index.html
ویدئوها:
https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs
صفحه‌ی کورس:
http://phontron.com/class/nn4nlp2019/index.html
ویدئوها:
https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs
YouTube
CMU Neural Nets for NLP 2019 (1): Intro/Why Neural Nets for NLP
This lecture (by Graham Neubig) for CMU CS 11-747, Neural Networks for NLP (Spring 2019) covers:
* Introduction to Neural Networks
* Example Tasks and Their Difficulties
* What Neural Nets can Do To Help
Site: http://phontron.com/class/nn4nlp2019/schedule/class…
* Introduction to Neural Networks
* Example Tasks and Their Difficulties
* What Neural Nets can Do To Help
Site: http://phontron.com/class/nn4nlp2019/schedule/class…
ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸:
https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
YouTube
CACM Jun 2019 - 2018 ACM Turing Award
Once treated by the field with skepticism (if not outright derision), the artificial neural networks that 2018 ACM A.M. Turing Award recipients Geoffrey Hinton, Yann LeCun, and Yoshua Bengio spent their careers developing are today an integral component of…
یادگیری ماشین
ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸: https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be
یک جمله‌ی جالب از پروفسور هینتون در این ویدئو:
If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.
If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.
مدل GPT-2 برای تولید متون توسط ماشین، در ماه‌های گذشته خروجی‌های چشمگیری ارائه داد و مورد توجه قرار گرفت. اخیراً huggingface ابزار زیر را در قالب یک محیط تعاملی ارائه داده است که بعنوان یک واسط از مدل GPT-2 می‌تواند مورد استفاده قرار گیرد. کافی است یک متن را در این محیط وارد کنید و با زدن دکمه‌ی tab پیشنهادهای ماشین را برای تکمیل متن وارد شده مشاهده کرده و احتمالاً شگفت‌زده شوید.
https://transformer.huggingface.co
https://transformer.huggingface.co
banana-projects-transformer-autocomplete.hf.space
Write With Transformer
See how a modern neural network auto-completes your text