دانشگاه CMU در پاییز ۲۰۱۸، برای نخستین بار دوره‌ی کارشناسی هوش مصنوعی را ارائه می‌دهد. برنامه‌ی تحصیلی و دروس این دوره در لینک زیر قابل مشاهده است:
https://www.cs.cmu.edu/bs-in-artificial-intelligence/curriculum
https://www.cs.cmu.edu/bs-in-artificial-intelligence/curriculum
شبکه‌های عصبی مصنوعی علیرغم دستاوردهای شگرفی که کسب کرده‌اند، از یک مشکل اساسی رنج می‌برند: عدم توانایی برون‌یابی. بعنوان مثال، اگر شبکه برای داده‌هایی در بازه‌ی ۵- تا ۵ آموزش دیده باشد، در این بازه بسیار خوب عمل می‌کند، ولی برای داده‌های خارج این بازه می‌تواند خطای قابل توجهی ایجاد کند. اخیراً مقاله‌ای توسط محققین گوگل دیپ‌مایند ارائه شده است که برای حل این مشکل، دو نوع سلول عصبی جدید معرفی کرده‌اند. خواندن این مقاله‌ی شیرین و مهم را از دست ندهید:
https://arxiv.org/pdf/1808.00508.pdf
https://arxiv.org/pdf/1808.00508.pdf
در وب‌سایت زیر، بسیاری از مسائل پردازش زبان‌های طبیعی به همراه بهترین نتیجه‌ی منتشر شده برای آنها گردآوری شده است:
https://nlpprogress.com
https://nlpprogress.com
NLP-progress
Tracking Progress in Natural Language Processing
Repository to track the progress in Natural Language Processing (NLP), including the datasets and the current state-of-the-art for the most common NLP tasks.
👍1
موضوع بازنمایی جملات (sentence representation) در ادامه‌ی موفقیت‌های حاصل شده برای بازنمایی کلمات (word representation) به موضوعی داغ تبدیل شده است. هدف از بازنمایی جملات، تبدیل یک جمله به یک بردار عددی است بطوری‌که این بردار اطلاعات معنایی و ساختاری جمله را شامل شود و جملات مشابه به نقاطی نزدیک در این فضای برداری نگاشت شوند. همچنین، یک بازنمایی مناسب قابلیت انتقال دارد، یعنی می‌توان آن را برای مسائل مختلف پردازش زبان طبیعی بکار برد و خاص یک مسئله‌ی مشخص نمی‌باشد.
اخیراً دو تن از محققان تیم هوش مصنوعی فیسبوک برای ساده کردن و یکنواخت‌سازی مقایسه‌ی بین روش‌های مختلف بازنمایی جملات، ابزار SentEval را توسعه داده و در اختیار عموم قرار داده‌اند. این ابزار تا کنون شامل ۱۷ مسئله‌ی مختلف است و چند روش بازنمایی موجود (مانند روش Google USE و Facebook InferSent) را هم بعنوان مثال شامل می‌شود. در لینک زیر، مقالات و کدهای مربوط به تعدادی از روش‌های بازنمایی جملات به همراه ابزار SentEval قرار داده شده است:
https://github.com/h-amirkhani/NLP-must-read/blob/master/sentence_representation.md
اخیراً دو تن از محققان تیم هوش مصنوعی فیسبوک برای ساده کردن و یکنواخت‌سازی مقایسه‌ی بین روش‌های مختلف بازنمایی جملات، ابزار SentEval را توسعه داده و در اختیار عموم قرار داده‌اند. این ابزار تا کنون شامل ۱۷ مسئله‌ی مختلف است و چند روش بازنمایی موجود (مانند روش Google USE و Facebook InferSent) را هم بعنوان مثال شامل می‌شود. در لینک زیر، مقالات و کدهای مربوط به تعدادی از روش‌های بازنمایی جملات به همراه ابزار SentEval قرار داده شده است:
https://github.com/h-amirkhani/NLP-must-read/blob/master/sentence_representation.md
GitHub
NLP-must-read/sentence_representation.md at master · hossein-amirkhani/NLP-must-read
Repository to briefly introduce the influential papers and conferences in the modern Natural Language Processing field. - hossein-amirkhani/NLP-must-read
کنفرانس‌های CoNLL و EMNLP دو کنفرانس معتبر حوزه‌ی "پردازش زبان‌های طبیعی"، امسال در یک زمان (از فردا به مدت ۵ روز) در شهر بروکسل برگزار خواهند شد. دو مقاله‌ی زیر، به‌ترتیب برنده‌ی جایزه‌ی بهترین مقاله و جایزه‌ی ویژه‌ی کنفرانس CoNLL شده‌اند:
http://aclweb.org/anthology/K18-1028
http://aclweb.org/anthology/K18-1030
http://aclweb.org/anthology/K18-1028
http://aclweb.org/anthology/K18-1030
ACL Anthology
Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation
Mikel Artetxe, Gorka Labaka, Iñigo Lopez-Gazpio, Eneko Agirre. Proceedings of the 22nd Conference on Computational Natural Language Learning. 2018.
👍1
تأثیر مجموعه داده‌ی ImageNet بر نسل جدید هوش مصنوعی و نقش آن در ایجاد موج "یادگیری عمیق" بر کسی پوشیده نیست. از منظر کاربردهای عملی بینایی ماشین نیز استفاده از مدل‌های پیش‌آموزش داده شده روی ImageNet و انجام "یادگیری انتقالی" بعنوان ابزار اصلی بسیاری از پروژه‌های این حوزه مورد استفاده بوده است.
در حوزه‌ی پردازش زبان‌های طبیعی، برخی از محققین معتقدند "لحظه‌ی ImageNet" با ظهور مدل‌های عمیق پیش‌اموزش داده شده در مسئله‌ی "مدل‌سازی زبانی" فرا رسیده است. پست زیر را برای آگاهی بیشتر با این موضوع مطالعه کنید:
http://ruder.io/nlp-imagenet/
در حوزه‌ی پردازش زبان‌های طبیعی، برخی از محققین معتقدند "لحظه‌ی ImageNet" با ظهور مدل‌های عمیق پیش‌اموزش داده شده در مسئله‌ی "مدل‌سازی زبانی" فرا رسیده است. پست زیر را برای آگاهی بیشتر با این موضوع مطالعه کنید:
http://ruder.io/nlp-imagenet/
ruder.io
NLP's ImageNet moment has arrived
Big changes are underway in the world of NLP. The long reign of word vectors as NLP's core representation technique has seen an exciting new line of challengers emerge. These approaches demonstrated that pretrained language models can achieve state-of-the…
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آموزشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/352036/what-should-i-do-when-my-neural-network-doesnt-learn
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آزمایشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/365778/what-should-i-do-when-my-neural-network-doesnt-generalize-well
https://stats.stackexchange.com/questions/352036/what-should-i-do-when-my-neural-network-doesnt-learn
هنگامی‌که خطای شبکه‌ی عصبی برای داده‌ی آزمایشی کاهش پیدا نمی‌کند، چکار باید کرد؟
https://stats.stackexchange.com/questions/365778/what-should-i-do-when-my-neural-network-doesnt-generalize-well
Cross Validated
What should I do when my neural network doesn't learn?
I'm training a neural network but the training loss doesn't decrease. How can I fix this?
I'm not asking about overfitting or regularization. I'm asking about how to solve the problem where my netw...
I'm not asking about overfitting or regularization. I'm asking about how to solve the problem where my netw...