تقسیم‌بندی (Chunking) نادرست، حتی بهترین سیستم‌های RAG را هم ناکارآمد می‌کند

بیشتر پاسخ‌های نامرتبط در سیستم‌های بازیابی تقویتی (RAG)، به نحوه‌ی تقسیم اسناد یا متون برمی‌گردد. اگر این مرحله را اشتباه انجام دهید، هیچ میزان مهندسی پرامپت یا بازرتبه‌بندی (reranking) نمی‌تواند مشکل را جبران کند. پس سوال اصلی اینجاست: چگونه محتوا را به‌درستی تقسیم کنیم؟ در ادامه، انواع روش‌های رایج chunking را معرفی کرده‌ایم و توضیح داده‌ایم که در چه شرایطی باید از هرکدام استفاده کنید:
تقسیم‌بندی با اندازه‌ی ثابت (Fixed-Size)

تقسیم متن بر اساس تعداد مشخصی از کاراکترها، معمولاً با مقداری هم‌پوشانی
🔹 مناسب برای: بات‌های پرسش‌پاسخ (FAQ)، اسناد یکپارچه، محیط‌های تولیدی
🔸 نامناسب برای: متون روایی پیچیده یا اسناد با ساختار متغیر و غیریکدست
تقسیم‌بندی بازگشتی (Recursive)

تقسیم هوشمندانه؛ ابتدا براساس پاراگراف، سپس جمله، و در نهایت بخش‌های کوچکتر
🔹 مناسب برای: محتوای ترکیبی، کاربردهای عمومی بازیابی اطلاعات
🔸 نامناسب برای: اسنادی که نیاز به حفظ دقیق ساختار دارند
تقسیم‌بندی مبتنی بر ساختار سند (Document-Based)

تقسیم بر اساس ساختار طبیعی سند مانند سرفصل‌ها، بخش‌ها، جدول‌ها
🔹 مناسب برای: اسناد ساختارمند مانند راهنماها، فایل‌های Markdown، مقالات علمی
🔸 نامناسب برای: متون بدون ساختار یا محتوای پرنویز و غیررسمی
تقسیم‌بندی معنایی (Semantic)

گروه‌بندی متن براساس معنا با استفاده از embedding و خوشه‌بندی بر مبنای شباهت
🔹 مناسب برای: مدل‌سازی موضوعی، استخراج مفاهیم، دسته‌بندی محتوای مرتبط
🔸 نامناسب برای: سیستم‌های نیازمند پردازش با سرعت بالا به‌دلیل سربار پردازشی
تقسیم‌بندی مبتنی بر LLM (LLM-Based)

استفاده از مدل‌های زبانی بزرگ برای تشخیص و تقسیم بر اساس ایده‌ها یا گزاره‌های کامل
🔹 مناسب برای: وظایف پیچیده‌ی استدلالی، تحلیل‌های عمیق، محتوای باارزش
🔸 نامناسب برای: پردازش‌های حجیم یا پروژه‌های حساس به هزینه
تقسیم‌بندی تأخیری (Late Chunking)

رویکرد تحول‌ساز؛ ابتدا کل سند را embed می‌کند و سپس با حفظ بافت پیرامونی، تقسیم انجام می‌دهد
🔹 مناسب برای: اسناد چندبخشی پیچیده، محتوای ارجاعی متقابل
🔸 نامناسب برای: وظایف ساده‌ی پرسش‌پاسخ یا پروژه‌های با محدودیت بودجه
پنجره‌ی لغزان (Sliding Window)

ایجاد chunkهایی با مرزهای هم‌پوشان برای جلوگیری از گم شدن بافت معنایی
🔹 مناسب برای: حفظ پیوستگی معنایی، بازیابی مقاوم
🔸 نامناسب برای: محیط‌های دارای محدودیت ذخیره‌سازی یا مقیاس بسیار بالا

✅ راهبرد chunking خود را متناسب با نوع محتوا و سؤالات هدف انتخاب کنید.
شروع با روش‌های ساده‌ای مانند تقسیم‌بندی بازگشتی توصیه می‌شود، سپس بر اساس عملکرد سیستم و نیازهای واقعی، آن را بهینه‌سازی و تنظیم کنید.

https://yangx.top/llm_huggingface/42

📹دوره‌ی آموزش هوش مصنوعی مولد با مدل‌های زبانی بزرگ (LLM)

🔥کد تخفیف 50 درصدی(محدود)🔥

COUPON-bdfd8

🔗 لینک دوره  |  📄سرفصلها 

🔥 برای اطلاع از  کدهای تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆

🎓ما رو تو اینستاگرام هم دنبال کنید...

https://www.instagram.com/class.vision

#llm #course #دوره #مدل_زبانی_بزرگ #هوش_مصنوعی #مکتب‌خونه #کلاس_ویژن #علیرضا_اخوان_پور

کانال دوره های #کلاس_ویژن

https://yangx.top/class_vision

📹دوره‌ی آموزش هوش مصنوعی مولد با مدل‌های زبانی بزرگ (LLM)

🔥کد تخفیف 50 درصدی(محدود)🔥

COUPON-3c7c0

🔗 لینک دوره  |  📄سرفصلها 

🔥 برای اطلاع از  کدهای تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆

🎓ما رو تو اینستاگرام هم دنبال کنید...

https://www.instagram.com/class.vision

#llm #course #دوره #مدل_زبانی_بزرگ #هوش_مصنوعی #مکتب‌خونه #کلاس_ویژن #علیرضا_اخوان_پور

به زودی یک فصل به دوره اضافه میشود.
این فصل برای کسانی که دوره را تهیه کردند به رایگان در دسترس خواهد بود.
به نظرتون این فصل چه خواهد بود؟

قراره یک فصل به نام VLM نیز به این دوره اضافه شود.
منتظر این فصل باشید...

❌امروز آخرین مهلت استفاده از کد تخفیف ۵۰ درصدی است❌
🎓با کد زیر، #دوره_LLM رو با ۵۰٪ تخفیف تهیه کنید:


COUPON-bdfd8

🔗 همین حالا ثبت‌نام کنید و فرصت رو از دست ندید! 🚀

🔥 برای اطلاع از  کدهای تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆

به درخواست دانشجویان دوره، یک گروه برای مباحثه ایجاد گردید:

@llm_group

ضبط مبحث VLM در مکتب خونه

بخشی از ضبط امروز مبحث VLM ...

گوگل مدلی تازه به نام EmbeddingGemma معرفی کرده که با وجود حجم بسیار کم (۳۰۸ میلیون پارامتر)، عملکردی فوق‌العاده داره. نکته جالب اینه که با کمتر از ۲۰۰ مگابایت رم روی دستگاه اجرا میشه و حتی روی EdgeTPU می‌تونه در حدود ۱۵ میلی‌ثانیه امبدینگ تولید کنه! 🚀
این مدل از بیش از ۱۰۰ زبان پشتیبانی می‌کنه و خروجی اون رو میشه بین ۱۲۸ تا ۷۶۸ بُعد تنظیم کرد. کاملاً آفلاین کار می‌کنه، بنابراین حریم خصوصی به‌طور کامل حفظ میشه.
برای کاربردهایی مثل RAG روی دستگاه، جستجوی معنایی و پردازش داده‌های شخصی گزینه‌ای عالیه. همین حالا هم میشه راحت روی Hugging Face، Kaggle یا Vertex AI بهش دسترسی داشت.

https://developers.googleblog.com/en/introducing-embeddinggemma/