🎬 نسل جدید ویدئوهای طولانی با روش Mixture of Contexts
محققان ByteDance و استنفورد روشی نوین برای تولید ویدئوهای طولانی معرفی کرده‌اند که مشکل اصلی مدل‌ها را حل می‌کند:
وقتی ویدئو طولانی میشود، توجه مدل بیش از حد «پف می‌کند»؛ محاسبات سنگین‌تر میشود، جزئیات از بین می‌رود، کاراکترها فراموش می‌شوند و تصویر «سر می‌خورد».
---
🔑 ایده اصلی: Mixture of Contexts
♻️ویدئو به چند بخش (فریم، شات، کپشن) تقسیم میشود.
♻️هر کوئری فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
♻️انتخاب با یک امتیاز شباهت ساده انجام میشود (مقایسه ویژگی بخش‌ها با کوئری).
♻️دو «لنگر» همیشه حاضرند: پرامپت کامل و شات محلی برای جزئیات تصویری.
♻️یک ماسک علّی دسترسی به فریم‌های آینده را می‌بندد تا حلقه ایجاد نشود.
♻️در نهایت، Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال میشود → رشد محاسبات وابسته به طول کل ویدئو نیست، بلکه فقط به محتوای مفید بستگی دارد.
---
📊 نتایج
♻️۷ برابر کاهش FLOPs
♻️۲.۲ برابر سرعت بیشتر
♻️در صحنه‌های طولانی (۱۸۰هزار توکن)، ۸۵٪ از توجه غیرضروری حذف شد.
---
🎥 جمع‌بندی
✳️در ویدئوهای کوتاه، کیفیت حفظ میشود.
✳️در ویدئوهای طولانی، صحنه‌ها روان‌تر و کاراکترها پایدارتر هستند.
✳️زمان تولید به‌طور محسوسی کاهش می‌یابد.
🔑 نکته مهم:
مدل خودش یاد می‌گیرد روی چه چیزی تمرکز کند، بدون نیاز به تغییر معماری پایه؛ یعنی نوعی «حافظه» برای چند دقیقه ویدئو پیدا می‌کند.
🔖 لینک مقاله
#AI #ML #VideoGeneration #ByteDance #Stanford #DeepLearning #GenerativeAI #هوش_مصنوعی #یادگیری_عمیق #ویدئو #تولید_ویدئو
محققان ByteDance و استنفورد روشی نوین برای تولید ویدئوهای طولانی معرفی کرده‌اند که مشکل اصلی مدل‌ها را حل می‌کند:
وقتی ویدئو طولانی میشود، توجه مدل بیش از حد «پف می‌کند»؛ محاسبات سنگین‌تر میشود، جزئیات از بین می‌رود، کاراکترها فراموش می‌شوند و تصویر «سر می‌خورد».
---
🔑 ایده اصلی: Mixture of Contexts
♻️ویدئو به چند بخش (فریم، شات، کپشن) تقسیم میشود.
♻️هر کوئری فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
♻️انتخاب با یک امتیاز شباهت ساده انجام میشود (مقایسه ویژگی بخش‌ها با کوئری).
♻️دو «لنگر» همیشه حاضرند: پرامپت کامل و شات محلی برای جزئیات تصویری.
♻️یک ماسک علّی دسترسی به فریم‌های آینده را می‌بندد تا حلقه ایجاد نشود.
♻️در نهایت، Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال میشود → رشد محاسبات وابسته به طول کل ویدئو نیست، بلکه فقط به محتوای مفید بستگی دارد.
---
📊 نتایج
♻️۷ برابر کاهش FLOPs
♻️۲.۲ برابر سرعت بیشتر
♻️در صحنه‌های طولانی (۱۸۰هزار توکن)، ۸۵٪ از توجه غیرضروری حذف شد.
---
🎥 جمع‌بندی
✳️در ویدئوهای کوتاه، کیفیت حفظ میشود.
✳️در ویدئوهای طولانی، صحنه‌ها روان‌تر و کاراکترها پایدارتر هستند.
✳️زمان تولید به‌طور محسوسی کاهش می‌یابد.
🔑 نکته مهم:
مدل خودش یاد می‌گیرد روی چه چیزی تمرکز کند، بدون نیاز به تغییر معماری پایه؛ یعنی نوعی «حافظه» برای چند دقیقه ویدئو پیدا می‌کند.
🔖 لینک مقاله
#AI #ML #VideoGeneration #ByteDance #Stanford #DeepLearning #GenerativeAI #هوش_مصنوعی #یادگیری_عمیق #ویدئو #تولید_ویدئو
🎉26👍25❤23🥰23😁22🔥18👏16
برای تسریع شبکه‌های عصبی کانولوشنی (CNN) روش‌های مختلفی وجود داره که معمولاً در سه دسته‌ی اصلی خلاصه می‌شن:
---
🔹 ۱. بهینه‌سازی معماری (Architecture Optimization)
NAS (Neural Architecture Search):
♻️ جستجوی خودکار برای پیدا کردن معماری سبک‌تر و سریع‌تر.
طراحی دستی سبک‌ها:
♻️مثل MobileNet، ShuffleNet یا EfficientNet که با کانولوشن‌های سبک‌وزن (Depthwise, Pointwise) سرعت رو بالا می‌برن.
---
🔹 ۲. فشرده‌سازی و کاهش پارامترها (Model Compression)
Pruning (هرس کردن):
♻️ حذف کانکشن‌ها، نورون‌ها یا فیلترهای کم‌اهمیت.
Weight Sharing:
♻️ اشتراک‌گذاری وزن‌ها بین فیلترها برای کاهش حافظه.
Knowledge Distillation:
♻️ آموزش یک مدل کوچک (Student) با کمک دانش مدل بزرگ‌تر (Teacher).
---
🔹 ۳. کاهش دقت محاسبات (Quantization & Low-Precision)
Quantization:
♻️ استفاده از نمایش با بیت کمتر (FP16, INT8, حتی FP8) به‌جای FP32.
Binarization / Ternarization:
♻️ محدود کردن وزن‌ها و اکتیویشن‌ها به مقادیر دودویی یا سه‌تایی.
Mixed Precision Training:
♻️استفاده ترکیبی از FP16 و FP32 برای تعادل بین سرعت و دقت.
---
🔹 ۴. بهینه‌سازی سخت‌افزاری و نرم‌افزاری
Fused Operations:
♻️ ادغام چند عملیات (مثلاً Conv + BN + ReLU) در یک کرنل واحد.
CUDA / cuDNN Optimizations:
♻️ استفاده از کتابخانه‌های GPU بهینه‌شده.
Sparse Computation:
♻️ استفاده از ماتریس‌های تنک برای حذف محاسبات بی‌فایده.
Hardware Accelerators:
♻️ استفاده از TPU، NPU یا FPGA برای اجرای سریع‌تر CNN.
---
🔹 ۵. روش‌های سطح سیستم
Batching هوشمند:
♻️ پردازش هم‌زمان چند ورودی برای استفاده بهینه از GPU.
Pipeline Parallelism / Model Parallelism:
♻️ تقسیم مدل یا داده بین چند پردازنده.
Caching و Reuse:
♻️ استفاده مجدد از ویژگی‌ها یا نتایج محاسباتی.
---
👉 در عمل، ترکیبی از این روش‌ها استفاده می‌شه. مثلاً:
یک CNN مثل MobileNetV2 که طراحی سبک داره، می‌تونه بعد از Pruning و Quantization به INT8 روی موبایل یا لبه (Edge) تا چند برابر سریع‌تر بشه بدون افت دقت چشمگیر.
@rss_ai_ir 🤖⚡
#هوش_مصنوعی #CNN #تسریع #کوانتیزیشن #Pruning #NAS #DeepLearning
---
🔹 ۱. بهینه‌سازی معماری (Architecture Optimization)
NAS (Neural Architecture Search):
♻️ جستجوی خودکار برای پیدا کردن معماری سبک‌تر و سریع‌تر.
طراحی دستی سبک‌ها:
♻️مثل MobileNet، ShuffleNet یا EfficientNet که با کانولوشن‌های سبک‌وزن (Depthwise, Pointwise) سرعت رو بالا می‌برن.
---
🔹 ۲. فشرده‌سازی و کاهش پارامترها (Model Compression)
Pruning (هرس کردن):
♻️ حذف کانکشن‌ها، نورون‌ها یا فیلترهای کم‌اهمیت.
Weight Sharing:
♻️ اشتراک‌گذاری وزن‌ها بین فیلترها برای کاهش حافظه.
Knowledge Distillation:
♻️ آموزش یک مدل کوچک (Student) با کمک دانش مدل بزرگ‌تر (Teacher).
---
🔹 ۳. کاهش دقت محاسبات (Quantization & Low-Precision)
Quantization:
♻️ استفاده از نمایش با بیت کمتر (FP16, INT8, حتی FP8) به‌جای FP32.
Binarization / Ternarization:
♻️ محدود کردن وزن‌ها و اکتیویشن‌ها به مقادیر دودویی یا سه‌تایی.
Mixed Precision Training:
♻️استفاده ترکیبی از FP16 و FP32 برای تعادل بین سرعت و دقت.
---
🔹 ۴. بهینه‌سازی سخت‌افزاری و نرم‌افزاری
Fused Operations:
♻️ ادغام چند عملیات (مثلاً Conv + BN + ReLU) در یک کرنل واحد.
CUDA / cuDNN Optimizations:
♻️ استفاده از کتابخانه‌های GPU بهینه‌شده.
Sparse Computation:
♻️ استفاده از ماتریس‌های تنک برای حذف محاسبات بی‌فایده.
Hardware Accelerators:
♻️ استفاده از TPU، NPU یا FPGA برای اجرای سریع‌تر CNN.
---
🔹 ۵. روش‌های سطح سیستم
Batching هوشمند:
♻️ پردازش هم‌زمان چند ورودی برای استفاده بهینه از GPU.
Pipeline Parallelism / Model Parallelism:
♻️ تقسیم مدل یا داده بین چند پردازنده.
Caching و Reuse:
♻️ استفاده مجدد از ویژگی‌ها یا نتایج محاسباتی.
---
👉 در عمل، ترکیبی از این روش‌ها استفاده می‌شه. مثلاً:
یک CNN مثل MobileNetV2 که طراحی سبک داره، می‌تونه بعد از Pruning و Quantization به INT8 روی موبایل یا لبه (Edge) تا چند برابر سریع‌تر بشه بدون افت دقت چشمگیر.
@rss_ai_ir 🤖⚡
#هوش_مصنوعی #CNN #تسریع #کوانتیزیشن #Pruning #NAS #DeepLearning
👏8🥰7👍6😁6❤5🔥5🎉4