راهنمای خیلی خوبیه برای پیش پردازش داده های متنی با کتابخانه #توکنایزر خود HuggingFace

https://www.kdnuggets.com/how-to-use-the-hugging-face-tokenizers-library-to-preprocess-text-data

https://focker.ir/

راهنمای برای دور زدن تحریم داکر

این تصویر به دسته‌بندی و توضیح حوزه‌های مختلف هوش مصنوعی (AI) می‌پردازد:

🤖 هوش مصنوعی (AI): ساخت ماشین‌هایی با رفتار هوشمند (Intelligent Behavior).

یادگیری ماشین (ML):

🏷 نظارت‌شده (Supervised Learning): آموزش با داده‌های برچسب‌دار.

🔍 بدون نظارت (Unsupervised Learning): شناسایی الگوها در داده‌های بدون برچسب.

🏆 تقویتی (Reinforcement Learning): یادگیری از طریق پاداش و مجازات.

🌐 یادگیری عمیق (Deep Learning): استفاده از شبکه‌های چندلایه (Multi-layered Networks) برای مدل‌سازی الگوهای پیچیده.

🧠 شبکه‌های عصبی عمیق (DNNs): شبکه‌های چندلایه‌ای ضروری برای یادگیری عمیق

🔬 شبکه‌های عصبی (Neural Networks): مدل‌های الهام گرفته از مغز برای تشخیص الگوها.

📷 شبکه‌های عصبی پیچشی (CNNs): شبکه‌هایی برای شناسایی تصاویر.

🖼 هوش مصنوعی تولیدی (Generative AI): ایجاد داده‌های جدید مشابه با داده‌های آموزشی، با استفاده از GANs و VAEs.

📝 مدل‌های زبان مبتنی بر ترنسفورمر: معماری‌های تخصصی برای پردازش زبان طبیعی مثل ChatGPT.

➖➖➖➖➖➖➖➖➖➖➖➖
برای آموزش علم داده به جمع ما بپیوندید: 👇

📊👨‍🏫 @DataPlusScience | @Data➕Science

◾️ List of SQL Data Science Interview Questions


1️⃣ Amazon company SQL interview question

📎 Link: Amazon SQL Interview

2️⃣ Airbnb SQL interview question

📎 Link: Airbnb SQL Interview Question

3️⃣ Adobe SQL Interview Question

📎 Link: Adobe SQL Interview Question

4️⃣ Spotify SQL Interview Question

📎 Link: Spotify SQL Interview Question

5️⃣ L&T Company SQL Interview Question

📎 Link: L&T SQL Interview Question

6️⃣ Ameriprise LLC SQL query

📎 Link: Ameriprise LLC SQL Interview

7️⃣ SQL query from Tiger Analytics

📎 Link: Tiger Analytics SQL Interview

8️⃣ PWC SQL Interview Question

📎 Link: PWC SQL Interview Question

9️⃣ Honeywell SQL Interview Question

📎 Link: Honeywell SQL Interview

1️⃣ Angel One Company SQL Interview Question

📎 Link: Angel One SQL Interview

1️⃣ SQL interview questions of FAANG companies

📎 Link: FAANG SQL Interview Question

1️⃣ Accenture SQL Interview Question

📎 Link: Accenture SQL Interview

#مصاحبه #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

✅ ۱۰۹ سوال آمار برای علم داده

این فایل شامل ۱۰۹ سوال مهم آماری برای مصاحبه‌های شغلی در زمینه علم داده (Data Science) است. با مطالعه این سوالات می‌توانید آمادگی لازم برای سوالات رایج در مصاحبه‌های شغلی را به دست آورید.

📑 سرفصل‌های مطالب:

📊 مفاهیم آماری مهم:
اندازه‌گیری گرایش مرکزی (Measure of Central Tendency)
اندازه‌گیری پراکندگی (Measure of Dispersion)
کوواریانس و همبستگی (Covariance and Correlation)
تابع توزیع احتمالی (Probability Distribution Function)
قضیه حد مرکزی (Central Limit Theorem)
آزمون فرضیه (Hypothesis Testing)

🔍 تحلیل اکتشافی داده (EDA):
تحلیل بصری و آماری داده‌ها
شناسایی الگوها

📈 انواع داده‌ها:
داده‌های کمی (Quantitative Data)
داده‌های کیفی (Qualitative Data)

🧮 تحلیل داده‌ها:
تک‌متغیره، دومتغیره و چندمتغیره

⚠️ پرکردن داده‌های گمشده:
روش‌های ساده و پیچیده

🧑‍🏫 آمار توصیفی و استنباطی:
خلاصه‌سازی ویژگی‌های داده‌ها



➖➖➖➖➖➖➖➖➖➖➖➖
برای آموزش علم داده به جمع ما بپیوندید: 👇

📊👨‍🏫 @DataPlusScience | @Data➕Science

🌟آموزش بصری یادگیری عمیق

📘 این کتاب به شما کمک می‌کند تا به صورت بصری و بدون استفاده از فرمول‌های پیچیده ریاضی و کدنویسی، مفاهیم یادگیری عمیق را درک کنید.

🔍 مباحث شامل: شبکه‌های عصبی، رگرسیون خطی و غیرخطی، طبقه‌بندی دودویی و چندکلاسه، و...

👨‍💻 نویسنده: معر عامر، دانش‌آموخته‌ی امپریال کالج لندن و متخصص یادگیری عمیق.


#یادگیری_عمیق #کتاب_الکترونیک #یادگیری_ماشین #هوش_مصنوعی #آموزش

➖➖➖➖➖➖➖➖➖➖➖➖
برای آموزش علم داده به جمع ما بپیوندید: 👇

📊👨‍🏫 @DataPlusScience | @Data➕Science

🌟 سوالات و پاسخ‌های مصاحبه علم داده

📘 این جزوه شامل ۱۲۰ سوال واقعی یا الهام گرفته از مصاحبه‌های علم داده است که به شما کمک می‌کند تا برای نقش دانشمند داده آماده شوید.

🔍 سرفصل‌ها:

📊 مدل‌سازی پیش‌بینی (Predictive Modeling)
💻 برنامه‌نویسی و پایگاه‌داده‌ها (Programming and Databases)
📈 احتمال و آمار (Probability and Statistics)
🔬 آزمایش و استنتاج (Experimentation and Inference)
📉 تحلیل داده و متریک‌های محصول (Data Analysis and Product Metrics)
⚙️ مهندسی داده (Data Engineering)
🤖 یادگیری ماشین (Machine Learning)
🔄 طراحی سیستم‌ها (System Design)
📚 مطالعات موردی (Case Studies)
🧠 مهارت‌های نرم (Soft Skills)

#علم_داده #مصاحبه #آموزش #کتاب_الکترونیک #تحلیل_داده

➖➖➖➖➖➖➖➖➖➖➖➖
برای آموزش علم داده به جمع ما بپیوندید: 👇

📊👨‍🏫 @DataPlusScience | @Data➕Science #دیتا‌پلاس‌ساینس

🔥 "چالش‌های پیشرفته برای مصاحبه پایتون"

📄 این داکیومنت شامل "۱۲۰ سوال پیشرفته مصاحبه پایتون" است و برای آماده‌سازی شما در مصاحبه‌های فنی پایتون طراحی شده است. مفاهیم و تکنیک‌های پیشرفته پایتون را در بر می‌گیرد و شامل بخش‌های زیر است:

🔧 مفاهیم پایه‌ای و ترفندهای کارآمد: مانند استفاده از "pass" و کاهش زمان اجرای حلقه‌ها (Loop Unrolling).
🌐 توسعه وب با Flask: مزایای استفاده از Flask در پروژه‌های میکروسرویس (Microservices Architecture).
🔍 مهارت‌های برنامه‌نویسی پیشرفته: شامل دکوریتورها (Decorators) و مدیریت حافظه (Memory Management).
🧠 چالش‌های الگوریتمی: مثل مرتب‌سازی داده‌ها (Sorting Algorithms) و جستجوی دودویی (Binary Search).

#پایتون #مصاحبه_فنی #برنامه_نویسی #توسعه_وب #الگوریتم #میکروسرویس

➖➖➖➖➖➖➖➖➖➖➖➖
برای آموزش علم داده به جمع ما بپیوندید: 👇

📊👨‍🏫 @DataPlusScience | @Data➕Science #دیتا‌پلاس‌ساینس

در لینک زیر می‌توانید مدل‌های اوپن‌-سورس جدید و محبوب مثل Llama 3.1-405b و stable-video-diffusion رو که توسط NVIDIA NIM سرو می‌شه، امتحان کنید.

https://build.nvidia.com/explore/discover‌

اگر قصد مطالعه‌ی مقاله‌ی Attention is All You Need رو دارید،
به‌جاش لینک زیر رو مطالعه کنید.

https://nlp.seas.harvard.edu/annotated-transformer/

در این لینک، بعضی از قسمت‌های (نسبتا) اضافه‌ی مقاله حذف شده و بخش‌هایی به‌عنوان کامنت به‌ش اضافه شده.

مهم‌تر این‌که، هم‌گام با مقاله، کد پاتورچ هم زده شده که به درک مقاله کمک شایانی می‌کنه.

ورکشاپ #Diffusion_Models در #NeurIPS_2023

این ورکشاپ حدود 8 ساعت هست، در قسمت Schedule میتونید بخش دلخواه از ورکشاپ را ببینید:
https://neurips.cc/virtual/2023/workshop/66539


لینک زیر لیست سایر ورکشاپ های NeurIPS 2023 هست:
https://neurips.cc/virtual/2023/events/workshop

#منابع #ورکشاپ #کنفرانس #دیفیوژن #NeurIPS

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر شما هم مثل من مشکل دارید که وقتی میرید توی سایت medium.com و مقالات اکثرا پریمیوم هست و نمیتونید بخونید، باید بگم که خدا شما رو دوست داشته که این پست رو دیدید.😁
خب حالا راه حل چیه؟🤔
فقط کافیه لینک مقاله رو توی این سایت بزارید | readmedium.com | و تمام🪄.

Amirreza Heydari

این ویدیو آموزشی درباره نحوه ذخیره‌سازی اطلاعات در مدل‌های زبان بزرگ هستش

ویدیو با یک مثال شروع می‌شه: اگر به یک مدل زبانی بزرگ عبارت

مایکل جردن ___ بازی می‌کند

را بدین و از اون بخواین پیش‌بینی کنه که کلمه بعدی چی باید باشه، اگر مدل به درستی "بسکتبال"رو پیش‌بینی کنه، نشان دهنده این هستش که در جایی از صدها میلیارد پارامتر اون، اطلاعاتی درباره یک فرد خاص و ورزش خاص او ذخیره شده.

سپس ویدیو به این سوال می‌پردازه که این اطلاعات چگونه ذخیره میشن و کجا قرار دارند. محققان گوگل DeepMind در این زمینه تحقیق کردن و نتیجه گرفتن که این اطلاعات در بخشی از شبکه‌های عصبی به نام "چندلایه پرسپترون" (MLPs) ذخیره می‌شن، اما درک کامل مکانیسم این ذخیره‌سازی هنوز حل نشده.

ویدیو سپس به جزئیات معماری ترانسفورمرها، که پایه و اساس بسیاری از مدل‌های زبان بزرگ هستند، می‌پردازه. بخش اصلی این معماری "چندلایه پرسپترون"ه که محاسبات اون نسبتا ساده، اما تفسیر این محاسبات بسیار چالش‌برانگیزه.

هدف اصلی ویدیو بررسی این محاسبات و ارائه یک مثال مشخص از نحوه ذخیره‌سازی یک واقعیت در این بخش از شبکه ست. این مثال نشون می‌ده که چگونه مدل می‌تونه واقعیت "مایکل جردن بسکتبال بازی می‌کند" را ذخیره کنه.

ویدیو سپس به جزئیات محاسبات در " پرسپترون چند لایه" می‌پردازه، از جمله ضرب ماتریس‌ها و تابع غیرخطی ReLU. همچنین به تعداد پارامترهای این بخش و نحوه عملکرد آن در پیش‌بینی کلمه بعدی می‌پردازه.

در نهایت، ویدیو به ایده "اثر همپوشانی" اشاره می‌کنه که و توضیح میده چرا مدل‌های زبان بزرگ با افزایش اندازه عملکرد بهتری دارن. این ایده می‌گه که در فضاهای با ابعاد بالا، می‌توان اطلاعات زیادی را در فضاهای تقریبا عمود به هم ذخیره کرد، حتی اگر این اطلاعات کاملاً مستقل نباشن.


https://youtu.be/9-Jl0dxWQs8

قطعا ollama جزو بهترین ابزارهایی بود که برای تست و mvp و ... عالی بود.
اما همونطور که می‌دونید بسیار بسیار پر دردسر هست مخصوصا اگر شما خودت متخصص باشی و بخوای داخلش دستکاری هم انجام بدی.

بسیار پروژه‌های جایگزین هم اومد ولی همچین شرایط بهتری نداشت؛ ۱-۲ مورد از مشکلات رو حل میکردند ولی توی باقی بخش‌ها مشکلات رو داشتند.

حالا تیم NeXAAI هم وارد این رقابت شده و چه ورودی؛ با یک SDK ساده
این تیم نه تنها مدل های متنی که مدل‌های مربوط به تولید تصویر و حتی صدا و .... رو هم پشتیبانی می‌کنه.
کاستومایزیشن‌های بسیار بیشتری برای افراد فنی میده و یک مدل‌ها فوق‌العاده داره که فیلتر و جستجوی قوی هم داره نسبت به ollama

مشکلی که داره؛ هنوز تو مرحله توسعه اولیه هست برای همین ممکن به تعدادی باگ روی serve کردن و customization بخورید؛ برای من با سوال و جواب حل شد.

https://nexaai.com/

403 هم نخواهید گرفت

یک سری از افراد اومدند و پرامپت‌هایی رو منتشر کردند که عملکردی مشابه chatGpt o1 رو پیاده‌سازی می‌کنه و شاید باعث سورپرایز شما هم بشه اما واقعا این روش باعث شده نتایج بسیار بهتری داده بشه توسط مدل‌ها؛

llama3.1, gemini flash, qwen2, chatGpt-4omini

مدل‌هایی بوده که تست شده و توی تمام موارد عملکرد بسیار بهتری نشون داده نسبت به پرامپت‌های معمول بطور خلاصه اینطوری هست که شما ۵-۶ پرامپت رو آماده می‌کنی و جواب هر مرحله رو بعنوان history برای مرحله بعدی ارسال می‌کنی.

من روش ۵ مرحله‌ای رو با عملکرد بهتر دیدم پس همون رو میگم:

۱- آنالیز مسئله؛ توی این مرحله از مدل می‌خواید که سوال کاربر رو بطور کامل تحلیل کنه (البته بصورت خلاصه) و نکات مهمش رو بهتون بده.

۲- برنامه‌ریزی استراتژی؛ با توجه به خروجی مرحله قبل از مدل می‌خواید که چندتا استراتژی مختلف برای حل این مسئله ارائه بده (۳-۵ مورد کار رو در میاره)

۳- انتخاب استراتژی؛ توی این مرحله از مدل می‌خواید یکی از استراتژی‌های مرحله قبل رو انتخاب کنه (موردی که منطقی‌تر هست)

۴- اقدامات لازم؛ از مدل می‌خواید که با توجه له استراتژی و آنالیز مسئله قدم به قدم آنچه برای حل مسئله نیاز هست رو در بیاره و بنویسه.

۵- در نهایت پرامپت اصلی کاربر + اقدامات لازم برای حل مسئله رو بعنوان ورودی به مدل میدید و بهش می‌گید که برای حل مسئله این اقدامات رو دنبال کنه تا جواب نهایی رو بگیره.

مجموع این ۵ مورد کنار هم عملکرد مدل‌های معمول موجود رو بسیار بسیار بهبود میده.
هزینه کمتری هم نسبت به chatGpt-o1 داره

خیلی اوقات برای کارهای مختلف NLP نیاز به امبدینگ هست
تصویر بالا یه api تمیز برای این کار با لایبری fastApi هست
#python
#ML