شبکه‌های عصبی مصنوعی علیرغم دستاوردهای شگرفی که کسب کرده‌اند، از یک مشکل اساسی رنج می‌برند: عدم توانایی برون‌یابی. بعنوان مثال، اگر شبکه برای داده‌هایی در بازه‌ی ۵- تا ۵ آموزش دیده باشد، در این بازه بسیار خوب عمل می‌کند، ولی برای داده‌های خارج این بازه می‌تواند خطای قابل توجهی ایجاد کند. اخیراً مقاله‌ای توسط محققین گوگل دیپ‌مایند ارائه شده است که برای حل این مشکل، دو نوع سلول عصبی جدید معرفی کرده‌اند. خواندن این مقاله‌ی شیرین و مهم را از دست ندهید:
https://arxiv.org/pdf/1808.00508.pdf
https://arxiv.org/pdf/1808.00508.pdf
در وب‌سایت زیر، بسیاری از مسائل پردازش زبان‌های طبیعی به همراه بهترین نتیجه‌ی منتشر شده برای آنها گردآوری شده است:
https://nlpprogress.com
https://nlpprogress.com
NLP-progress
Tracking Progress in Natural Language Processing
Repository to track the progress in Natural Language Processing (NLP), including the datasets and the current state-of-the-art for the most common NLP tasks.
👍1
موضوع بازنمایی جملات (sentence representation) در ادامه‌ی موفقیت‌های حاصل شده برای بازنمایی کلمات (word representation) به موضوعی داغ تبدیل شده است. هدف از بازنمایی جملات، تبدیل یک جمله به یک بردار عددی است بطوری‌که این بردار اطلاعات معنایی و ساختاری جمله را شامل شود و جملات مشابه به نقاطی نزدیک در این فضای برداری نگاشت شوند. همچنین، یک بازنمایی مناسب قابلیت انتقال دارد، یعنی می‌توان آن را برای مسائل مختلف پردازش زبان طبیعی بکار برد و خاص یک مسئله‌ی مشخص نمی‌باشد.
اخیراً دو تن از محققان تیم هوش مصنوعی فیسبوک برای ساده کردن و یکنواخت‌سازی مقایسه‌ی بین روش‌های مختلف بازنمایی جملات، ابزار SentEval را توسعه داده و در اختیار عموم قرار داده‌اند. این ابزار تا کنون شامل ۱۷ مسئله‌ی مختلف است و چند روش بازنمایی موجود (مانند روش Google USE و Facebook InferSent) را هم بعنوان مثال شامل می‌شود. در لینک زیر، مقالات و کدهای مربوط به تعدادی از روش‌های بازنمایی جملات به همراه ابزار SentEval قرار داده شده است:
https://github.com/h-amirkhani/NLP-must-read/blob/master/sentence_representation.md
اخیراً دو تن از محققان تیم هوش مصنوعی فیسبوک برای ساده کردن و یکنواخت‌سازی مقایسه‌ی بین روش‌های مختلف بازنمایی جملات، ابزار SentEval را توسعه داده و در اختیار عموم قرار داده‌اند. این ابزار تا کنون شامل ۱۷ مسئله‌ی مختلف است و چند روش بازنمایی موجود (مانند روش Google USE و Facebook InferSent) را هم بعنوان مثال شامل می‌شود. در لینک زیر، مقالات و کدهای مربوط به تعدادی از روش‌های بازنمایی جملات به همراه ابزار SentEval قرار داده شده است:
https://github.com/h-amirkhani/NLP-must-read/blob/master/sentence_representation.md
GitHub
NLP-must-read/sentence_representation.md at master · hossein-amirkhani/NLP-must-read
Repository to briefly introduce the influential papers and conferences in the modern Natural Language Processing field. - hossein-amirkhani/NLP-must-read
کنفرانس‌های CoNLL و EMNLP دو کنفرانس معتبر حوزه‌ی "پردازش زبان‌های طبیعی"، امسال در یک زمان (از فردا به مدت ۵ روز) در شهر بروکسل برگزار خواهند شد. دو مقاله‌ی زیر، به‌ترتیب برنده‌ی جایزه‌ی بهترین مقاله و جایزه‌ی ویژه‌ی کنفرانس CoNLL شده‌اند:
http://aclweb.org/anthology/K18-1028
http://aclweb.org/anthology/K18-1030
http://aclweb.org/anthology/K18-1028
http://aclweb.org/anthology/K18-1030
ACL Anthology
Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation
Mikel Artetxe, Gorka Labaka, Iñigo Lopez-Gazpio, Eneko Agirre. Proceedings of the 22nd Conference on Computational Natural Language Learning. 2018.
👍1
تأثیر مجموعه داده‌ی ImageNet بر نسل جدید هوش مصنوعی و نقش آن در ایجاد موج "یادگیری عمیق" بر کسی پوشیده نیست. از منظر کاربردهای عملی بینایی ماشین نیز استفاده از مدل‌های پیش‌آموزش داده شده روی ImageNet و انجام "یادگیری انتقالی" بعنوان ابزار اصلی بسیاری از پروژه‌های این حوزه مورد استفاده بوده است.
در حوزه‌ی پردازش زبان‌های طبیعی، برخی از محققین معتقدند "لحظه‌ی ImageNet" با ظهور مدل‌های عمیق پیش‌اموزش داده شده در مسئله‌ی "مدل‌سازی زبانی" فرا رسیده است. پست زیر را برای آگاهی بیشتر با این موضوع مطالعه کنید:
http://ruder.io/nlp-imagenet/
در حوزه‌ی پردازش زبان‌های طبیعی، برخی از محققین معتقدند "لحظه‌ی ImageNet" با ظهور مدل‌های عمیق پیش‌اموزش داده شده در مسئله‌ی "مدل‌سازی زبانی" فرا رسیده است. پست زیر را برای آگاهی بیشتر با این موضوع مطالعه کنید:
http://ruder.io/nlp-imagenet/
ruder.io
NLP's ImageNet moment has arrived
Big changes are underway in the world of NLP. The long reign of word vectors as NLP's core representation technique has seen an exciting new line of challengers emerge. These approaches demonstrated that pretrained language models can achieve state-of-the…
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آموزشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/352036/what-should-i-do-when-my-neural-network-doesnt-learn
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آزمایشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/365778/what-should-i-do-when-my-neural-network-doesnt-generalize-well
https://stats.stackexchange.com/questions/352036/what-should-i-do-when-my-neural-network-doesnt-learn
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آزمایشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/365778/what-should-i-do-when-my-neural-network-doesnt-generalize-well
Cross Validated
What should I do when my neural network doesn't learn?
I'm training a neural network but the training loss doesn't decrease. How can I fix this?
I'm not asking about overfitting or regularization. I'm asking about how to solve the problem where my netw...
I'm not asking about overfitting or regularization. I'm asking about how to solve the problem where my netw...
مروری بر ده مورد از برترین مقالات سال ۲۰۱۸:
https://www.topbots.com/most-important-ai-research-papers-2018/
https://www.topbots.com/most-important-ai-research-papers-2018/
TOPBOTS
Easy-To-Read Summary of Important AI Research Papers of 2018
UPDATE: We’ve also summarized the top 2019 and top 2020 AI & machine learning research papers. Trying to keep up with AI research papers can feel like an exercise in futility given how quickly the industry moves. If you’re buried in papers to read that you…
مصاحبه با ۲۵ محقق عمدتا به‌نام حوزه‌ی پردازش زبان‌های طبیعی. از هر نفر چهار سوال پرسیده شده است:
سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟
مؤثرترین کار انجام شده در دهه‌ی گذشته؟
موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟
توصیه به دانشجویانی که می‌خواهند در این حوزه تحقیقات را شروع کنند؟
👇
سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟
مؤثرترین کار انجام شده در دهه‌ی گذشته؟
موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟
توصیه به دانشجویانی که می‌خواهند در این حوزه تحقیقات را شروع کنند؟
👇
کتاب جدید و رایگان "مقدمه‌ای بر جبر خطی کاربردی" نوشته‌ی دو تن از اساتید برجسته‌ی حوزه‌ی بهینه‌سازی:
http://vmls-book.stanford.edu/vmls.pdf
http://vmls-book.stanford.edu/vmls.pdf
پروژه‌ی کارشناسی انجام شده در "آزمایشگاه داده‌کاوی و یادگیری ماشین دانشگاه قم" مشابه Google Semantris:
http://dml.qom.ac.ir/2018/12/15/wordgame
http://dml.qom.ac.ir/2018/12/15/wordgame
یادگیری ماشین
مصاحبه با ۲۵ محقق عمدتا به‌نام حوزه‌ی پردازش زبان‌های طبیعی. از هر نفر چهار سوال پرسیده شده است: سه مورد از بزرگ‌ترین مسائل حل نشده‌ی حوزه‌ی پردازش زبان‌های طبیعی؟ مؤثرترین کار انجام شده در دهه‌ی گذشته؟ موردی که باعث انحراف این حوزه شده است (درصورت وجود)؟…
یک جمع‌بندی از مسائل باز حوزه‌ی پردازش زبان‌های طبیعی براساس مصاحبه‌ی فوق:
http://ruder.io/4-biggest-open-problems-in-nlp/
http://ruder.io/4-biggest-open-problems-in-nlp/
یادگیری ماشین
Terrence_J_Sejnowski_The_Deep_Learning.pdf
کتاب ارزشمند "انقلاب یادگیری عمیق" نوشته شده توسط پروفسور Sejnowski از بزرگان هوش مصنوعی و علوم اعصاب محاسباتی. ایشان در بسیاری از تحولات و دستاوردهای هوش مصنوعی و شبکه‌های عصبی نقش داشته‌اند و بسیاری از موارد را بطور دست اول لمس کرده‌اند و در این کتاب به مرور این دستاوردها بعنوان بازیگر اصلی این میدان پرداخته‌اند.
لیزر نام ابزار جدید بازنمایی جملات ارائه شده توسط فیسبوک است. ویژگی خاص این ابزار، بازنمایی ۹۳ زبان مختلف (از جمله زبان فارسی) در یک فضای مشترک است که کار یادگیری انتقالی بین زبانی را تسهیل می‌کند (مانند ساخت مدل روی داده‌های زبان انگلیسی و استفاده از مدل برای زبان فارسی).
https://code.fb.com/ai-research/laser-multilingual-sentence-embeddings/
https://code.fb.com/ai-research/laser-multilingual-sentence-embeddings/
Engineering at Meta
Zero-shot transfer across 93 languages: Open-sourcing enhanced LASER library
To accelerate the transfer of natural language processing (NLP) applications to many more languages, we have significantly expanded and enhanced our LASER (Language-Agnostic SEntence Representation…
یادگیری ماشین
کتاب ارزشمند "انقلاب یادگیری عمیق" نوشته شده توسط پروفسور Sejnowski از بزرگان هوش مصنوعی و علوم اعصاب محاسباتی. ایشان در بسیاری از تحولات و دستاوردهای هوش مصنوعی و شبکه‌های عصبی نقش داشته‌اند و بسیاری از موارد را بطور دست اول لمس کرده‌اند و در این کتاب به…
در ویدئوی زیر، خود نویسنده به مرور این کتاب می‌پردازند:
https://www.youtube.com/watch?v=oIch6VN6HOk
https://www.youtube.com/watch?v=oIch6VN6HOk
YouTube
The Deep Learning Revolution
Terrence Sejnowski, Salk Institute for Biological Studies
BMM Summer Course 2018
BMM Summer Course 2018
حتماً با بازی پیکشنری (حداقل از طریق خندوانه!) آشنا هستید. اکنون می‌توانید این بازی را با هوش مصنوعی مؤسسه‌ی آلن انجام دهید.
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
آدرس سایت:
https://iconary.allenai.org
ویدئوی معرفی:
https://www.youtube.com/watch?v=HdXQTuOTXEw
iconary.allenai.org
Iconary from AI2 | Draw and Guess with AllenAI
Play Iconary with AllenAI, the world’s first AI system that can play a Pictionary-style game collaboratively with a human partner.
کورس "پردازش زبان‌های طبیعی با یادگیری عمیق" توسط پروفسور کریستوفر منینگ استاد سرشناس دانشگاه استنفورد در ترم جاری نیز در حال برگزاری است. ویدئوهای این کورس از آدرس زیر قابل دسترسی است:
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
https://www.youtube.com/watch?v=8rXD5-xhemo&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
YouTube
Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 1 – Introduction and Word Vectors
For more information about Stanford’s Artificial Intelligence professional and graduate programs, visit: https://stanford.io/3CORGu1
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
This lecture covers many topics within Natural Language Understanding, including:
-The Course (10 min)
-Human language and…
جهت اطلاع: در کانال زیر از یوتیوب، تکه‌های کوتاه (حدود دو دقیقه) از مصاحبه با برندگان جایزه‌ی نوبل در موضوعات مختلف جمع‌آوری شده است:
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
https://www.youtube.com/channel/UCK6foRGydQswdnkPG-EO45Q
YouTube
NobelPrizeII
Insights and advice from Nobel Laureates.
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…
The Nobel Prize Inspiration Initiative (NPII) is a global programme designed to help Nobel Laureates share their inspirational stories and insights. By taking Nobel Laureates on visits to universities and research…