MIT Introduction to #Deep_Learning

And specifically, lecture about RNN and its modifications:
https://youtu.be/qjrad0V0uJE

The course is excellent as well, but more about image processing. For NLP beginners, such clear and elegant survey about RNNs will be quite useful. So, a lot of architectures in NLP models came from image processing tasks. If you want to recap some theory or get understanding of basics of DL — strong recommendation!

@ml_nlp_cv

یادگیری عمیق
اصول مفاهیم و رویکردها
تالیف و گردآوری: میلاد وزان

کتاب به زبان فارسی است.

#یادگیری_عمیق
#DeepLearning #Deep_Learning #Deep

@ml_nlp_cv

Awesome Computer Vision: Awesome Books, Courses, Papers, Software, Datasets, Pre-trained Computer Vision Models, Tutorials, Talks, Blogs, Links and Songs related to Computer Vision.
مجموعه‌ای کامل از کتاب‌ها، دوره‌ها، مقالات، دیتاست و مدل‌های ترین‌شده در زمینه بینایی ماشین

https://github.com/jbhuang0604/awesome-computer-vision

#Computer_Vision #DataSets #Deep_Learning #بینایی_کامپیوتر #منابع #Github

@ml_nlp_cv

حتما این رشته توییت در مورد تعمیم‌پذیری و Flat Minima رو ببینید. بهینه‌ساز SGD ذاتا به دنبال flat minima می‌گرده و از این نظر generalization بهتری نسبت به بهینه‌ساز Adam داره. ولی دقیقا هم به flat minima نمی‌رسه. که خُب رویکردهای دیگری هم ارائه شد:
Two popular flat-minima optimization approaches are: 1. Stochastic Weight Averaging (SWA), and 2. Sharpness-Aware Minimization (SAM)

بهینه‌ساز SWA خیلی قدرتمند عمل کرده و به صورت رسمی در Pytorch نسخه 1.6 هم گنجونده شده...

#Generalization #Optimizer #Deep_Learning

@ml_nlp_cv