💡 پژوهشگران ByteDance و استنفورد روشی تازه برای ساخت ویدیوهای طولانی معرفی کرده‌اند: Mixture of Contexts.

🔑 مشکل اصلی:
وقتی ویدیو طولانی می‌شود، توجه مدل بیش از حد گسترده می‌شود:

هزینه‌ی محاسبات بالا می‌رود

جزئیات از دست می‌رود

شخصیت‌ها فراموش می‌شوند و ویدیو دچار «انحراف» می‌گردد


⚡ نوآوری Mixture of Contexts:

ویدیو به بخش‌هایی (فریم‌ها، شات‌ها، کپشن‌ها) تقسیم می‌شود

هر بار فقط بخش‌های مرتبط انتخاب می‌شوند، نه کل تاریخچه

انتخاب بخش‌ها با مقایسه‌ی ویژگی‌ها و ارزیابی میزان ارتباط انجام می‌شود

دو «لنگر» همیشه حفظ می‌شوند: پرامپت کامل متنی و شات محلی برای جزئیات

Causal Mask دسترسی به فریم‌های آینده را می‌بندد تا حلقه‌ی تکراری ایجاد نشود

سپس Flash Attention فقط روی همین بخش‌های منتخب اعمال می‌شود → محاسبات وابسته به کل طول ویدیو نیست، بلکه فقط به محتوای مفید


📊 نتایج:

۷ برابر کاهش FLOPs

۲.۲ برابر سرعت بیشتر

در صحنه‌های طولانی (۱۸۰هزار توکن) تا ۸۵٪ توجه بیهوده حذف می‌شود


🎥 دستاورد:

کیفیت کلیپ‌های کوتاه حفظ می‌شود

صحنه‌های بلند روان‌تر و شخصیت‌ها پایدارتر هستند

آموزش ساخت اکشن فیگور واقع‌گرایان


به جمنای یا گوگل استودیو برید  به قسمت image یا nano banan برید  عکس رو آپلود کنید و این پرامپت رو وارد کنید

Create a 1/7 scale commercialized figurine of the characters in the picture, in a realistic style, in a real environment. The figurine is placed on a computer desk. The figurine has a round transparent acrylic base, with no text on the base. The content on the computer screen is a 3D modeling process of this figurine. Next to the computer screen is a toy packaging box, designed in a style reminiscent of high-quality collectible figures, printed with original artwork. The packaging features two-dimensional flat illustrations.


تمام