چن تا از مهم ترین توابع تو پانداز که هرکدوممون باید بلد باشیم
#python

🔖Pandas in 8 Pages
#python

یک cheat sheet با کیفیت و کامل

#منابع #یادگیری_ماشین
#ML

فایل هوش مصنوعی، یادگیری ماشین و یادگیری عمیق و تفاوت آن ها
#ML

#کتاب_فارسی

یادگیری عمیق: از اصول اولیه تا ساخت شبکه‌های عصبی عمیق با پایتون

نگارنده: میلاد وزان


سرفصل‌ها:
مقدمه‌ای بر یادگیری عمیق
شبکه‌های عصبی پیش‌خور
شبکه‌های عصبی کانولوشنی
شبکه‌های عصبی بازگشتی
شبکه متخاصم مولد

این کتاب به رایگان و توسط نگارنده منتشر شده است.
#Book
#ML

🧾آموزش عبارات با قاعده یا regex در پایتون

عبارات با قاعده یا همان Regular Expression ها روشی جهت پردازش داده های متنی و استخراج اطلاعات مورد نظر از آن است. با Regex ها می توان الگوهای مثلا ایمیل، شماره تلفن، اسامی و ... را از متن استخراج کرد. در این آموزش خیلی ساده این رویکرد در زبان پایتون بررسی شده است. البته Regex ها رو در هر زبانی می توان استفاده کرد حتی توی اکسل هم وجود دارند.

با تشکر از علی نظری زاده

📍این مطلب را با علاقمندان به پایتون به اشتراک بگذاریم.
_______________________
📚 @ArmanbehnamAI

Deep learning interview questions


✅ @DataPlusScience

حتمن با الگوریتم BPE که به منظور توکنایزیشن LLM استفاده می شه آشنایی دارید. این الگوریتم byte-level که اولین بار بعد از انتشار مقاله Language Models are Unsupervided Multitask Learners مشهور شد. GPT-2 Paper
@ai_python
این مهم هم زمان با انتشار GPT-2 بود.
امروزه همه LLM های مدرن مثل GPT ، Llama و Mistral از این الگوریتم برای Train کردن Tokenizer هاشون استفاده می کنن.
@ai_python
ریپازیتوری که در ادامه قصد معرفی آن در DLeX را داریم، در واقع حاوی کد 2 توکنایزر است که بر اساس BPE هستند.

آخرین کامیتش هم در زمان نوشتن این پست در DLeX مربوط به 51 دقیقه پیش هست :

https://github.com/karpathy/minbpe

مدل Gemma مدلی سبک از گوگل که بسیار شبیه مدل‌های جدید جِمی‌نای (Gemini) ساخته شده با این تفاوت که‌ اوپن سورس هست و برای استفاده عمومی منتشر شده.
نسخه‌های این مدل ۲ و ۷ میلیارد پارامتری هست و توی تقریبا همه فریم‌ورک‌های معروف کدش رو منتشر کردند.

لینک بلاگ:

https://blog.google/technology/developers/gemma-open-models/?utm_source=tw&utm_medium=social&utm_campaign=gemini24&utm_content=&utm_term=

لینک کگل:
https://www.kaggle.com/models/google/gemma?utm_medium=social&utm_source=twitter&utm_campaign=models-gemmalaunch

چگونه از Tensorboard در Google Colab استفاده کنیم؟!

همون‌طور که می‌دونید، Tensorboard ابزاری‌ست که برای به‌تصویرکشیدن متریک‌هایی مثل loss و accuracy در حین آموزش مدل در TensorFlow (و البته PyTorch) و چند مورد دیگه استفاده می‌شه.

برای این کار، هنگام آموزش مدل در تنسورفلو، یک callback به نام tf.keras.callbacks.TensorBoard را به متد train پاس می‌دیم و در پایتورچ، از torch.utils.tensorboard.SummaryWriter استفاده می‌کنیم. اطلاعات لازم در یک پوشه (مثلا /runs/. در پایتورچ) لاگ می‌شن. سپس سرویس TensorBoard که یک نرم‌افزار تحت وب جدا‌ست رو با اجرای دستور tensorboard در ترمینال اجرا کرده و از طریق مرورگر وب (http://localhost:6006) به آن متصل می‌شیم.

اما زمانی که از Google Colab استفاده می‌کنیم، مرورگر ما به ماشین مجازی‌ای که کد روی اون در حال اجراست، دسترسی نداره و چون اون ماشین مجازی، IP معتبر و اختصاصی روی اینترنت نداره، در حالت عادی نمی‌تونیم به سرویس TensorBoard روی اون متصل شیم.

پس راه‌حل چیست؟
پاسخ: باز کردن یک تونل از یک آدرس معتبر اینترنتی به داخل ماشین مجازی و سرویس تنسوربورد

اگه یه دامنه‌ی اختصاصی برای خودتون دارید می‌تونید روی سایت Cloudflare یه اکانت بسازید و اونجا از یک آدرس معتبر یه تونل به ماشینی که می‌خواید باز کنید.
ولی اگه دامین خودتون رو ندارید می‌تونید از Ngrok استفاده کنید.

برای استفاده از Ngrok داخل نوت‌بوک خود در گوگل کولب، اول دو دستور زیر رو اجرا کنید تا Ngrok دانلود و extract شه:

!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip -o ngrok-stable-linux-amd64.zip

بعد سرویس تنسوربورد رو با دستور زیر روی پورت ۶۰۰۶ اجرا کنید:

LOGDIR = '/tmp/log'
get_ipython().system_raw(
    'tensorboard --logdir {} --host 0.0.0.0 --port 6006 &'
    .format(LOG_DIR)
)

بعد Ngrok رو اجرا کرده و سر تونل رو به پورت ۶۰۰۶ ماشین مجازی وصل کنید

get_ipython().system_raw('./ngrok http 6006 &')

تونل شما آماده‌ست. با اجرای دستور زیر آدرس عمومی دسترسی به تونل رو پیدا کنید و ازون طریق تنسوربورد رو باز کنید:

!curl -s http://localhost:4040/api/tunnels | python3 -c \
    "import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

یک رشته توییت عالی که تغییرات معماری ترانسفورمرها رو از سال ۲۰۱۷ تا الان بررسی کرده.
@ai_python

لینک مقاله های آرکایو در رشته توییت قرار داده شده است :

https://twitter.com/Muhtasham9/status/1772469982485438485?t=120YmOd_4f2HS-FnYib3qA&s=19

آقای Andrew Ng جدیدا یک ویدیویی رو منتشر کردن که راجع به Agent ها و Agentic workflow ها صحبت میکنه.Agent ها یکی از مهمترین trend هاست. پیشنهاد میکنم حتما ویدئو را ببینید.

لینک ویدیو

https://youtu.be/sal78ACtGTc

🆔 @data_science_python_and_r

dataexpert.io/questions

سایت برای کوئری زدن و حل کردن تمرینات SQL
#sql

کورس جدید دانشگاه استنفورد درباره ترنسفورمرها از امروز آغاز می شه.
@ai_python

شرکت در این کورس از طریق زوم به صورت لایو و آنلاین و رایگان امکان پذیر خواهد بود.
همچنین فایل رکورد شده ۲ هفته بعد از هر جلسه در وب سایت قرار خواهد گرفت.

https://web.stanford.edu/class/cs25/

برای فارسی مدل اپن سورس خوب زیاد نیست. مدلهای Nemotron کمپانی Nvidia و AYA از کمپانی Cohere خیلی از زبانها از جمله فارسی را ساپورت میکنن.
این لینک هاشون:
https://developer.nvidia.com/nemotron-3-8b
https://txt.cohere.com/aya/

پیشنهاد نمودارهای پاور بی آی برای کاربردهای مختلف

یک Survey درباره LLM های چند زبانه که به تازگی در اویل همین ماه میلادی منتشر شد و شاید مطالعه ش خالی از لطف نباشه.

@ai_python

از جمله به چالش های پیش روی این مدل های زبانی بزرگ چند زبانه نیز
پرداخته شده است

https://arxiv.org/abs/2404.04925

پس از Databricks، این‌بار پژوهش‌گران هوش مصنوعی در شرکت Snowflake دست‌به‌کار شده و مدل زبانی Arctic را با شعار efficiently intelligent and truly open منتشر کرده‌اند.

معماری این مدل، ترنسفورمر ترکیبی (Dense+MoE) با ۱۲۸ خبره و تعداد کل ۴۸۰ میلیارد پارامترست که به کمک یک مکانیزم top-2 gating در هر لحظه فقط ۱۷ میلیارد پارامتر فعال داشته و به‌کمک ۳/۵ تریلیون توکن آموزش دیده‌ست.

این مدل، تسک‌های سازمانی هم‌چون SQL Generation و Coding و Instruction Following را با دقتی در حد Llama3 70B انجام می‌دهد با این‌که هزینه‌ی بسیار کمتری (کم‌تر از ۲ میلیون دلار - حدود یک هفدهم) از لحاظ محاسبات، صرف آموزش آن شده‌ست.

آموزش این مدل ۷ برابر محاسبات کم‌تری نسبت به مدل زبانی شرکت Databriks موسوم به DBRX دارد، بااین‌حال، در ریاضیات، استدلال و فهم زبان بهتر عمل می‌کند.

وزن‌ها و کدهای این مدل تحت لیسانس Apache 2.0 به‌صورت کاملا اوپن-سورس منتشر شده‌ست. همچینین، تمام داده‌ها و بینش‌های پژوهشی نیز در اختیار عموم قرار گرفته‌ست.

این مدل از امروز روی HuggingFace دردسترس است.
https://huggingface.co/Snowflake/snowflake-arctic-instruct

این کتابخونه پایتون با استفاده از LLM یک پایپ لاین برای Scraping تهیه می کنه

@ai_python

https://github.com/VinciGit00/Scrapegraph-ai