گپ و گفت بین من و مهدی عزیز برای یادگیری ویژگی‌های پیش‌رفته پایثون. به زودی چند ویدئو از گفت و گوی‌مان را به اشتراک می‌گذاریم.

قسمت اول از مجموعه ویدیو‌هایی که با حامد قدوسی @hamedghoddusi در حال ضبطشون هستیم، منتشر شد. توی این ویدیو‌ها سعی می‌کنیم تا تا در مورد کاربرد #پایتون برای تحلیل‌های اقتصادی از دریافت اطلاعات تا پردازش اون صحبت کنیم و قدم به قدم یک پروژه واقعی رو پیش ببریم.
موضوع پروژه‌ای که مطرح شده بخاطر دسترسی به اطلاعات، آموزش‌های جانبی و جذابیت موضوع ارزیابی اثر واکسنیاسیون در ایالات مختلف آمریکاست.
در بخش اول به صورت مشخص سعی می‌کنیم راه‌حل‌های مختلف برای دریافت خودکار این اطلاعات رو بررسی کنیم.

لینک ویدیو
#چای‌با‌پایتون

زبان sql یکی از ابزارهای شناخته شده برای کار با داده‌هاست. خیلی از ما از این زبان فقط برای فراخوانی و ذخیره داده‌ها در دیتابیس‌ها از این زبان استفاده می‌کنیم ولی این زبان محدود به اینکار نیست و توانایی گسترده‌ای برای کار با داده‌ها دارد.
در مجموعه ویدیو‌های #sql‌برای‌آمار سعی می کنیم ویژگی‌های کمتر شناخته شده این زبان را بررسی کنیم.

در ویدیوی اول یک دیتابیس #postgresql را با کمک داکر راه‌اندازی می‌کنیم و با یک دیتای تصادفی برای استفاده‌های آتی یک جدول آماده می‌کنیم:

https://youtu.be/xmB0Q-Q8gag

بعد از حدود ۲ ماه که با تغییری توی سایت tsetmc بسته بورس تهران در پایتون دچار مشکل شده بود و امکان دریافت اطلاعات رو نداشت بروزرسانی شد. نسخه 0.9.0ش رو می‌تونید به راحتی با دستور زیر نصب کنید:
pip install tehran-stocks
اگر دفعه اولی هست که با این بسته‌ آشنا می‌شید می‌تونید از طریق گیتهاب یا لینک ویدیوی زیر اطلاعات بیشتری کسب کنید:

https://github.com/ghodsizadeh/tehran-stocks
https://www.youtube.com/watch?v=SQivGBZYAZc&t=23s

قسمت دوم مجموعه #چای‌با‌پایتون هم منتشر شد.
هدف این ویدیو بررسی راه‌های دیگه برای دریافت دیتا بود ولی در کنارش در مورد ابزار جذاب سلنیوم صحبت کردیم و سعی کردیم علاوه بر دریافت و تجزیه داده‌ها از سطح وب برخی کارها مثل تغییر یا کلیک‌کردن بر روی المان‌های سطح وب را انجام بدیم و در مورد تفاوت‌های تجزیه دیتا در پایتون در مقایسه با متلب یا زبان‌های مشابه صحبت کردیم:

https://youtu.be/XYB4fQbQ35U

یادداشت‌هایی از پایتون برای حرفه‌ای‌ها:

یک کتاب کامل برای یادگیری و مرور نکات پایتون که توش از مفاهیم ساده مثل انواع داده و توابع تا مباحث پیچیده مثل Asyncio ، استفاده از postgreSQL و parallel computing گفته شده.

و در کنار همه این‌ها مهم اینه که رایگانه.
@learn_with_mehdi
@ai_python

در قسمت دوم مجموعه آموزش SQL برای کارهای آماری یک مقایسه جالب بین SQL و pandas انجام می‌دیم.
جواب قابل پیش‌بینی است ولی تفاوت جالب و معنا داری بین این دو وجود داره.
اگر با profiling هم آشنا نیستید این ویدیو نسبتا کوتاه می‌تونه براتون مفید باشه.

https://www.youtube.com/watch?v=EhMgEi40mys

@learn_with_mehdi

قسمت سوم آموزش SQL برای کارهای آماری یک مرور مختصر بر دستورات عمومی SQL می‌کنیم و بعد از آن در مورد مفاهیمی مثل Common Table Expression(CTE) و ابزارهای مثل array, random , sampling در دیتابیس صحبت می‌کنیم.

https://youtu.be/4q7kICwbimY

@learnwithmehdi

برای اشتراک در خبرنامه (احتمالا) دوهفتگی کانال که شامل ویدیوها، ابزارها و تحلیل‌های مرتبط با موضوع کانال(برنامه‌نویسی/اقتصاد/آمار) است می‌تونید از لینک زیر استفاده کنید:

https://www.getrevue.co/profile/mghodsizadeh

🔆GitHub Student Developer Pack

▪️شما می‌توانید با ایمیل دانشگاهی خود در گیت‌هاب عضو شوید و از پکیج ویژه دانشجویان بهره‌مند شوید.

- DataCamp, Free 3-month individual subscription for students.
- Free 12 month subscription of Canva's Pro tier.
- Educative, Get 6 free months of 60+ courses covering in-demand topics like Web Development, Python, Java, and Machine Learning.
- Free access to 25+ Microsoft Azure cloud services plus $100 in Azure credit.
- etc...

🌐https://education.github.com/students

◾️آموزش Git برای دانشجویان و پژوهشگران به زبان ساده با مهدی قدسی‌زاده


@nudgemag

بعد از تقریبا ۲ ماه استفاده یک ویدیو برای بررسی #Github #Copilot آماده کردم و به صورت عملی استفاده‌ش رو توی ۴ زبان python/sql/js/cpp بررسی کردم. تقریبا توی همه اونها بخصوص در بخش cpp و تکمیل لیست شهرهای ایران شگفت زده شدم.
دیدنش رو پیشنهاد می‌کنم:
https://youtu.be/QwuE5hFSL88


@learn_with_mehdi

آموزش آمار توصیفی با #SQL
https://youtu.be/-M9LUiufJ14

@learn_with_mehdi

پیاده‌سازی pivot table با کمی دردسر در #SQL!

https://www.youtube.com/watch?v=o-4ZBo-lV0E

توی این ویدیو در مورد metabase# صحبت می‌کنیم.
ابزاری که در فضا BI شناخته شده است ولی ممکنه کمتر در استفاده‌های مرتبط با دیتا یا اقتصاد ازش استفاده بشه.
این ابزار امکانات زیادی برای تصویر‌سازی و ساخت دشبورد برای بررسی دیتا می‌ده.
در بخش اول یک نگاه کلی به این ابزار داریم با کمک #داکر یا جاوا اون رو در سیستم خودمون آماده می‌کنیم و در بخش بعدی با ویژگی‌های جذاب این ابزار در کوئری زدن و تصویرسازی دقیقتر آشنا می‌شیم.
https://youtu.be/mVtbBE3lgQo

قسمت قبلی در مورد راه‌اندازی متابیس صحبت کردیم.
در این ویدیو وارد محیط متابیس می‌شیم و علاوه بر انجام کوئری‌های پیچیده با چند کلیک نمودارهای مختلفی مثل نموداری خطی-بار و حتی نقشه رو رسم می‌کنیم.

https://www.youtube.com/watch?v=vz1GXevclV8

توی قسمت آخر کار با متابیس، با بودجه خانوار کار می‌کنیم و یک نگاه کلی داریم که این دیتا چی هست و چجوری میشه باهاش کار کرد و با هم پرسشنامه و جداول موجود در دیتابیس سال ۹۸ رو بررسی می‌کنیم و سعی می‌کنیم به این سوال ساده جواب بدیم که در هر رده سنی/جنسیت افراد مجرد چه میزان است و آیا در بازار ازدواج این نسبت برابر هست یا نه؟

پ.ن:
۱- برای پاسخ دادن به این سوال مجبور شدم دیتای بودجه خانوار رو از MS Access به sqlite3 تغییر بدم. این کار باعث شد که حجم داده از ۱۰ گیگابایت برای ۲۵ سال به ۲.۸ گیگابایت کاهش پیدا کنه و البته cross platfrom در دسترس همه باشه. به این دیتا می‌تونید از طریق لینک زیر دسترسی داشته باشید.
https://github.com/ghodsizadeh/Household-Survey-Data-Iran
۲- تلاش من برای پاسخ به سوال کاملا موفقیت‌آمیز نبود(بخاطر آشنایی کم من با دیتا) ولی در نهایت خروجی جالبی شد.

لینک ویدیو:
https://youtu.be/1z1np32o5eo

ویدیو‌های مربوط به sql همونطور که از نامشون پیداست. #sql‌برای‌آمار هستند. برای یادگرفتن sql یکی از بهترین منابعی که دیدم این آموزش تعاملیه که از مقدماتی تا پیشرفته مباحث رو مطرح می‌کنه:
https://sqlbolt.com

توی این ویدیو دستورهای اصلی گیت و ویژگی‌ جذاب branching رو بررسی می‌کنم.
با کمک ویژگی branch می‌تونیم بدون نگرانی از تداخل در کدهایی که می‌نویسیم کارمون رو پیش ببریم. علاوه بر این در مورد git flow و ایده پشتش صحبت می‌کنم که برای توسعه و بررسی کدها قبل از رسیدن به مراحل نهایی کمک زیادی می‌کنه.

این ویدیو هم برای افرادی که کارهای پژوهشی می‌کنند و هم برای توسعه دهنده‌هایی که با git کمتر آشنا هستند می‌تونه مفید باشه.

https://youtu.be/uzUwjpVsc8k

اسلاید‌ها
https://learnwithmehdi.ir/slides/git/

این ویدیو در مورد پیاده‌سازی دستورهای گیت در Vscode و ترمیناله:
https://youtu.be/mw-EStlSN5A

سلام امیدوارم حالتون خوب باشه.


توی این ویدیو پروژه‌‌ای که توی ویدیو قبل ساختیم رو به گیتهاب متصل می‌کنیم و در مورد اینکه چجوری می‌تونیم با استفاده از گیتهاب روی پروژهای تیمی خودمون یا دیگران مشارکت داشته باشیم صحبت می‌کنیم.

https://youtu.be/NHADb9G2nw0

یکی از کارهای پر تکراری که توی کار با داده‌های سری زمانی (با داده‌های تاریخ شمسی) انجام می‌دیم. مثل تبدیل از تاریخ میلادی به تاریخ شمسی یا تبدیل تاریخ شمسی به چند ستون روز و ماه و سال که بتونیم تحلیل‌های تجمیعی رو با توجه به تاریخ شمسی انجام بدیم.

برای حل این مشکل کتابخانه jalali-pandas به عنوان یک افزونه برای pandas آماده کردم که خیلی از این مشکلات رو حل می‌کنه و ویژگی‌های زیر رو داره:
- تبدیل تاریخ از میلادی به شمسی و برعکس
- تبدیل تاریخ از رشته کاراکتر‌ها به تاریخ شمسی
- دسترسی به سال/فصل/ماه/روز/روزهفته به عنوان
یک ویژگی در سری pandas

- انجام کارهای تجمیعی برای تاریخ شمسی ( مثلا میانگین ماهانه/فصلی و ...)
- انجام resampling داده(به زودی)

برای دسترسی به کد و نحوه استفاده اون می‌تونید به سایت و ریپوزیتوری این پروژه در گیتهاب مراجعه کنید:
https://github.com/ghodsizadeh/jalali-pandas

—
https://ghodsizadeh.github.io/jalali-
pandas/


در این ویدیو هم به صورت مفصل در مورد نحوه نصب و استفاده از این کتابخانه صحبت می‌کنم:

https://www.youtube.com/watch?v=PYS4Hxmzbyg