This media is not supported in your browser
VIEW IN TELEGRAM
🎥 ویدئو‌سازی همزمان با Krea.ai
استارتاپ Krea ثبت‌نام در لیست انتظار برای قابلیت جدید تولید ویدئو در زمان واقعی را آغاز کرد.
⚡ مشخصات:
♻️نرخ فریم بیش از ۱۲ فریم بر ثانیه
♻️ورودی می‌تواند شامل پرامپت متنی، تصویر، اسکرین‌شات یا حتی وبکم باشد
♻️خروجی: ویدئویی که تقریباً به‌صورت همزمان ساخته میشود
🖌️ شاید یادتان باشد که Krea اولین تیمی بود که قابلیت نقاشی زنده یا همان تولید تصویر همزمان را معرفی کرد (همزمان با Vizcom). حالا یک گام فراتر رفته و با استفاده از چیزی شبیه به «مدل جهان» توانسته یک زیررندر زنده از آنچه کاربر می‌خواهد ایجاد کند.
🔗 جزئیات بیشتر: krea.ai/blog/announcing-realtime-video
📌 به نظر می‌رسد این قابلیت بتواند انقلابی در طراحی، بازی‌سازی و تولید محتوا به وجود بیاورد.
#ویدئو #هوش_مصنوعی #Realtime #AI #GenerativeAI
@rss_ai_ir
استارتاپ Krea ثبت‌نام در لیست انتظار برای قابلیت جدید تولید ویدئو در زمان واقعی را آغاز کرد.
⚡ مشخصات:
♻️نرخ فریم بیش از ۱۲ فریم بر ثانیه
♻️ورودی می‌تواند شامل پرامپت متنی، تصویر، اسکرین‌شات یا حتی وبکم باشد
♻️خروجی: ویدئویی که تقریباً به‌صورت همزمان ساخته میشود
🖌️ شاید یادتان باشد که Krea اولین تیمی بود که قابلیت نقاشی زنده یا همان تولید تصویر همزمان را معرفی کرد (همزمان با Vizcom). حالا یک گام فراتر رفته و با استفاده از چیزی شبیه به «مدل جهان» توانسته یک زیررندر زنده از آنچه کاربر می‌خواهد ایجاد کند.
🔗 جزئیات بیشتر: krea.ai/blog/announcing-realtime-video
📌 به نظر می‌رسد این قابلیت بتواند انقلابی در طراحی، بازی‌سازی و تولید محتوا به وجود بیاورد.
#ویدئو #هوش_مصنوعی #Realtime #AI #GenerativeAI
@rss_ai_ir
❤7👍6🎉6🔥4😁4
🎬 نسل جدید ویدئوهای طولانی با روش Mixture of Contexts
محققان ByteDance و استنفورد روشی نوین برای تولید ویدئوهای طولانی معرفی کرده‌اند که مشکل اصلی مدل‌ها را حل می‌کند:
وقتی ویدئو طولانی میشود، توجه مدل بیش از حد «پف می‌کند»؛ محاسبات سنگین‌تر میشود، جزئیات از بین می‌رود، کاراکترها فراموش می‌شوند و تصویر «سر می‌خورد».
---
🔑 ایده اصلی: Mixture of Contexts
♻️ویدئو به چند بخش (فریم، شات، کپشن) تقسیم میشود.
♻️هر کوئری فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
♻️انتخاب با یک امتیاز شباهت ساده انجام میشود (مقایسه ویژگی بخش‌ها با کوئری).
♻️دو «لنگر» همیشه حاضرند: پرامپت کامل و شات محلی برای جزئیات تصویری.
♻️یک ماسک علّی دسترسی به فریم‌های آینده را می‌بندد تا حلقه ایجاد نشود.
♻️در نهایت، Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال میشود → رشد محاسبات وابسته به طول کل ویدئو نیست، بلکه فقط به محتوای مفید بستگی دارد.
---
📊 نتایج
♻️۷ برابر کاهش FLOPs
♻️۲.۲ برابر سرعت بیشتر
♻️در صحنه‌های طولانی (۱۸۰هزار توکن)، ۸۵٪ از توجه غیرضروری حذف شد.
---
🎥 جمع‌بندی
✳️در ویدئوهای کوتاه، کیفیت حفظ میشود.
✳️در ویدئوهای طولانی، صحنه‌ها روان‌تر و کاراکترها پایدارتر هستند.
✳️زمان تولید به‌طور محسوسی کاهش می‌یابد.
🔑 نکته مهم:
مدل خودش یاد می‌گیرد روی چه چیزی تمرکز کند، بدون نیاز به تغییر معماری پایه؛ یعنی نوعی «حافظه» برای چند دقیقه ویدئو پیدا می‌کند.
🔖 لینک مقاله
#AI #ML #VideoGeneration #ByteDance #Stanford #DeepLearning #GenerativeAI #هوش_مصنوعی #یادگیری_عمیق #ویدئو #تولید_ویدئو
محققان ByteDance و استنفورد روشی نوین برای تولید ویدئوهای طولانی معرفی کرده‌اند که مشکل اصلی مدل‌ها را حل می‌کند:
وقتی ویدئو طولانی میشود، توجه مدل بیش از حد «پف می‌کند»؛ محاسبات سنگین‌تر میشود، جزئیات از بین می‌رود، کاراکترها فراموش می‌شوند و تصویر «سر می‌خورد».
---
🔑 ایده اصلی: Mixture of Contexts
♻️ویدئو به چند بخش (فریم، شات، کپشن) تقسیم میشود.
♻️هر کوئری فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
♻️انتخاب با یک امتیاز شباهت ساده انجام میشود (مقایسه ویژگی بخش‌ها با کوئری).
♻️دو «لنگر» همیشه حاضرند: پرامپت کامل و شات محلی برای جزئیات تصویری.
♻️یک ماسک علّی دسترسی به فریم‌های آینده را می‌بندد تا حلقه ایجاد نشود.
♻️در نهایت، Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال میشود → رشد محاسبات وابسته به طول کل ویدئو نیست، بلکه فقط به محتوای مفید بستگی دارد.
---
📊 نتایج
♻️۷ برابر کاهش FLOPs
♻️۲.۲ برابر سرعت بیشتر
♻️در صحنه‌های طولانی (۱۸۰هزار توکن)، ۸۵٪ از توجه غیرضروری حذف شد.
---
🎥 جمع‌بندی
✳️در ویدئوهای کوتاه، کیفیت حفظ میشود.
✳️در ویدئوهای طولانی، صحنه‌ها روان‌تر و کاراکترها پایدارتر هستند.
✳️زمان تولید به‌طور محسوسی کاهش می‌یابد.
🔑 نکته مهم:
مدل خودش یاد می‌گیرد روی چه چیزی تمرکز کند، بدون نیاز به تغییر معماری پایه؛ یعنی نوعی «حافظه» برای چند دقیقه ویدئو پیدا می‌کند.
🔖 لینک مقاله
#AI #ML #VideoGeneration #ByteDance #Stanford #DeepLearning #GenerativeAI #هوش_مصنوعی #یادگیری_عمیق #ویدئو #تولید_ویدئو
🎉26👍25❤23🥰23😁22🔥18👏16