Data Science by ODS.ai 🦜
49.1K subscribers
414 photos
45 videos
7 files
1.56K links
First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @haarrp
加ε…₯钑道
Forwarded from Machinelearning
πŸ”₯ БСсплатный курс ΠΎΡ‚ Microsoft «ИИ-Π°Π³Π΅Π½Ρ‚Ρ‹ для Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΡ…Β»

ΠšΡƒΡ€Ρ содСрТит ΠΏΠΎΡˆΠ°Π³ΠΎΠ²Ρ‹Π΅ инструкции с ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°ΠΌΠΈ ΠΊΠΎΠ΄Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ Π°Π²Ρ‚ΠΎΠ½ΠΎΠΌΠ½Ρ‹Ρ… Π°Π³Π΅Π½Ρ‚ΠΎΠ² с использованиСм машинного обучСния.

Ѐокус Π½Π° AI-Π°Π³Π΅Π½Ρ‚Π°Ρ…:
Если вас интСрСсуСт ΠΈΠΌΠ΅Π½Π½ΠΎ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° Π°Π³Π΅Π½Ρ‚ΠΎΠ² β€” Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, для симуляций, ΠΈΠ³Ρ€ ΠΈΠ»ΠΈ ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… систСм β€” Π΄Π°Π½Π½Ρ‹ΠΉ курс Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠΎΠ»Π΅Π·Π΅Π½.

ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ ΡƒΡ€ΠΎΠΊ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя:
- Π›Π΅ΠΊΡ†ΠΈΡŽ, (Π²ΠΈΠ΄Π΅ΠΎ ΡƒΡ€ΠΎΠΊΠΈ появятся Π² ΠΌΠ°Ρ€Ρ‚Π΅ 2025 Π³ΠΎΠ΄Π°)
- ΠŸΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ ΠΊΠΎΠ΄Π° Π½Π° Python с ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ Azure AI Foundry ΠΈ Github Models
- ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ задания
- Бсылки Π½Π° ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ рСсурсы

Если это ваш ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ ΠΎΠΏΡ‹Ρ‚ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Π°Π³Π΅Π½Ρ‚Π°ΠΌΠΈ, Ρƒ Microsoft Π΅ΡΡ‚ΡŒ Π΅Ρ‰Π΅ 1 курс Β«Π“Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ ИИ для Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΡ…Β», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ содСрТит 21 ΡƒΡ€ΠΎΠΊ ΠΏΠΎ ΠΏΠΎΡΡ‚Ρ€ΠΎΠ΅Π½ΠΈΡŽ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ GenAI, Π»ΡƒΡ‡ΡˆΠ΅ Π½Π°Ρ‡Π°Ρ‚ΡŒ с Π½Π΅Π³ΠΎ.

ΠŸΠ΅Ρ€Π΅Π²Π΅Π΄Π΅Π½ Π½Π° 9 Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… языков (русского Π½Π΅Ρ‚).

β–ͺ Github

@ai_machinelearning_big_data

#course #Microsoft #aiagents #ai #ml #opensource #freecourse
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
βœ”οΈ БСсплатныС ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ руководства ΠΏΠΎ дистилляции ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ:

1. Руководство ΠΏΠΎ дистилляции ΠΎΡ‚ OpenAI πŸ–₯

Руководство содСрТит ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎΠ΅ описаниС процСсса ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ Π±ΠΎΠ»Π΅Π΅ ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΊ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ, c сохранСниСм высокой ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ.

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ аспСкты, рассмотрСнныС Π² руководствС:
- Π‘ΠΎΡ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ Π²Ρ‹Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ…, содСрТащСго прСдсказания большой ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ для обучСния мСньшСй ΠΌΠΎΠ΄Π΅Π»ΠΈ.

- ΠžΡ†Π΅Π½ΠΊΠ° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Π‘Ρ€Π°Π²Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ Π°Π½Π°Π»ΠΈΠ· точности ΠΈ эффСктивности ΠΊΠ°ΠΊ ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ, Ρ‚Π°ΠΊ ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° основС Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ.

- Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ:
ИспользованиС прСдсказаний ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ…, ΡΠΏΠΎΡΠΎΠ±ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π³ΠΎ эффСктивному ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ мСньшСй ΠΌΠΎΠ΄Π΅Π»ΠΈ.

- ΠžΡ†Π΅Π½ΠΊΠ° Π΄ΠΎΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ точности ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ послС процСсса дистилляции для подтвСрТдСния соотвСтствия трСбованиям.

πŸ”—Π‘ΡΡ‹Π»ΠΊΠ°

2. Π£Ρ‡Π΅Π±Π½ΠΈΠΊ ΠΏΠΎ дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ PyTorch πŸ”₯

Руководство ΠΎΡ‚ PyTorch, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ содСрТит практичСскоС Π²Π²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² Ρ‚Π΅Ρ…Π½ΠΈΠΊΡƒ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ для развёртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° устройствах с ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹ΠΌΠΈ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ рСсурсами.

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ аспСкты руководства:

- Π˜Π·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ скрытых прСдставлСний: Π’ Π³Π°ΠΉΠ΄Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Π΅ прСдставлСния ΠΈΠ· ΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ для дальнСйшСго использования.

- ΠœΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ Ρ†ΠΈΠΊΠ»ΠΎΠ² обучСния Π² PyTorch: Π—Π΄Π΅ΡΡŒ рассматриваСтся интСграция Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π² стандартныС Ρ†ΠΈΠΊΠ»Ρ‹ обучСния для эффСктивной ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ.

- На ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ процСсс обучСния ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, с ипользованиСм прСдсказания Π±ΠΎΠ»Π΅Π΅ слоТной ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² качСствС ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€Π°.

Руководство содСрТит ΠΏΠΎΡˆΠ°Π³ΠΎΠ²Ρ‹Π΅ инструкции ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ ΠΊΠΎΠ΄Π°, Ρ‡Ρ‚ΠΎ Π΄Π΅Π»Π°Π΅Ρ‚ Π΅Π³ΠΎ Ρ†Π΅Π½Π½Ρ‹ΠΌ рСсурсом, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ свои ΠΌΠΎΠ΄Π΅Π»ΠΈ для использования Π² срСдах с ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹ΠΌΠΈ рСсурсами.

β–ͺБсылка

3. Jetson Introduction to Knowledge Distillation ΠΎΡ‚ Nvidia πŸ–₯

Π’ Π΄Π°Π½Π½ΠΎΠΌ руководствС рассматриваСтся процСсс ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ ΠΌΠΎΠ΄Π΅Π»ΠΈ OpenCLIP (vision-language model) ΠΊ ΠΌΠΎΠ΄Π΅Π»ΠΈ ResNet18 для классификации Π½Π° Π½Π°Π±ΠΎΡ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ… STL10.

ОсобоС Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ удСляСтся Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ Π²Ρ‹Π±ΠΎΡ€ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ дистилляции ΠΈ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΈΡ‚ΠΎΠ³ΠΎΠ²ΡƒΡŽ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ.

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, ΠΎΠ±ΡΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ профилирования ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для ΠΈΡ… развёртывания Π½Π° устройствах NVIDIA Jetson Orin Nano.

πŸ”— Бсылка

4. Π£Ρ‡Π΅Π±Π½ΠΈΠΊ ΠΏΠΎ дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ Keras ⭐️

ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ описываСтся концСпция дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΈ Π΅Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ мСдицинских ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ.

πŸ”—Github
πŸ”—Π£Ρ‡Π΅Π±Π½ΠΈΠΊ Keras

5. Руководство ΠΏΠΎ дистилляции ΠΎΡ‚
huggingface
πŸ€—

Π—Π΄Π΅ΡΡŒ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Π΄ΠΈΡΡ‚ΠΈΠ»Π»ΡΡ†ΠΈΡŽ Π·Π½Π°Π½ΠΈΠΉ шаг Π·Π° шагом Π½Π° ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅.

πŸ”— Бсылка

6. Дистилляция Π·Π½Π°Π½ΠΈΠΉ для Π·Π°Π΄Π°Ρ‡ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½ΠΎΠ³ΠΎ зрСния ΠΎΡ‚ huggingface πŸ‘

Π—Π΄Π΅ΡΡŒ рассматриваСтся, ΠΊΠ°ΠΊ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ViT-ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² MobileNet с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ API Trainer ΠΈΠ· Transformers.

πŸ”—Π‘ΡΡ‹Π»ΠΊΠ°

#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
The Evolution and Dependencies of Scientific Python Libraries

Numerical computing libraries like NumPy and SciPy rely on foundational mathematical code spanning decades. Until recently, NumPy depended on Fortran-based BLAS/LAPACK implementations for linear algebra operations. Modern versions now use OpenBLAS, which replaces Fortran code with optimized C implementations. SciPy, however, still incorporates Fortran 77 code for certain functionalities, such as ARPACK (used in eigenvalue computations) and FFTPACK (for Fourier transforms). These dependencies stem from legacy libraries like BLAS (1970s), LAPACK (1980s), and MINPACK (optimization), which remain widely used due to their mathematically stable, battle-tested algorithms like Simulated Annealing.

Simulated Annealing: A 1953 Algorithm in Modern ML

Imagine searching for the largest mushroom in a forest. Gradient methods risk settling for a local maximum, but Simulated Annealing (SciPy’s optimize) balances exploration and exploitation: early random β€œhigh-energy” steps avoid local traps, then gradually refines toward the global optimum.

Originally devised to model atomic behavior in molten metals (Metropolis Algorithm, 1953), it mimics annealingβ€”slow cooling ensures uniform atomic arrangement. Scientists introduced probabilistic acceptance of suboptimal states to escape flawed structures. Thise method was adopted to optimize ML models, logistics, and pattern recognition, making the familiar Python code use bindings which are ~15 years older than Python itself.

Source: Facebook post (Ru)

#SciPy #Fortran #NumPy #Math
Forwarded from Machinelearning
⚑️ YandexGPT 5: модСль Π½ΠΎΠ²ΠΎΠ³ΠΎ поколСния ΠΎΡ‚ ЯндСкса ΠΈ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΊ ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ LLM-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² опСнсорс Π²ΠΏΠ΅Ρ€Π²Ρ‹Π΅ с 2022 Π³ΠΎΠ΄Π°.

ЯндСкс анонсировал Π½ΠΎΠ²ΠΎΠ΅ ΠΏΠΎΠΊΠΎΠ»Π΅Π½ΠΈΠ΅ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… языковых ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ β€” YandexGPT 5, Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‰Π΅Π΅ Pro ΠΈ Lite вСрсии.

▢️ YandexGPT 5 Lite

YandexGPT 5 Lite 8B ΡƒΠΆΠ΅ доступна Π½Π° Hugging Face. МодСль ΠΎΠ±ΡƒΡ‡Π°Π»Π°ΡΡŒ Π² Π΄Π²Π° этапа: ΠΏΡ€Π΅Ρ‚Ρ€Π΅ΠΉΠ½ Π½Π° массивС русско- ΠΈ англоязычных тСкстов ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠΌ 15T Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ² ΠΈ этап Powerup Π½Π° высококачСствСнных Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠΌ 320B Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ². Она ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π° Π±Π΅Π· Ρ„ΠΈΠ½Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ этапа обучСния, этичСских Ρ„ΠΈΠ»ΡŒΡ‚Ρ€ΠΎΠ² ΠΈ Π°Π»Π°ΠΉΠ½ΠΌΠ΅Π½Ρ‚Π°, Ρ‡Ρ‚ΠΎ Π΄Π΅Π»Π°Π΅Ρ‚ Π΅Ρ‘ ΡƒΠ΄ΠΎΠ±Π½ΠΎΠΉ для исслСдований ΠΈ дообучСния ΠΏΠΎΠ΄ спСцифичСскиС Π·Π°Π΄Π°Ρ‡ΠΈ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠ².

МодСль ΠΈΠΌΠ΅Π΅Ρ‚ контСкстноС ΠΎΠΊΠ½ΠΎ 32k Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ², Π° Π² своСй ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ достигаСт ΠΏΠ°Ρ€ΠΈΡ‚Π΅Ρ‚Π° с ΠΌΠΈΡ€ΠΎΠ²Ρ‹ΠΌΠΈ SOTA ΠΏΠΎ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹ΠΌ Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠ°ΠΌ для pretrain-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

▢️ YandexGPT 5 Pro

Π’ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ Pro-вСрсии ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½Ρ‹ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΡ: ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚Π°Π½Π½Ρ‹ΠΉ датасСт с Π±ΠΎΠ»Π΅Π΅ слоТными ΠΈ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°ΠΌΠΈ, услоТнённыС Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΎΡ‡Π½Ρ‹Π΅ задания, Π²Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠ΅ DPO ΠΈ PPO с собствСнной ΠΌΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠ΅ΠΉ LogDPO ΠΏΡ€ΠΎΡ‚ΠΈΠ² «разучивания», оптимизация Ρ‡Π΅Ρ€Π΅Π· YaFSDP (-25% Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… рСсурсов), Π³ΠΈΠ±Ρ€ΠΈΠ΄Π½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с использованиСм Π±Π°Π·ΠΎΠ²Ρ‹Ρ… настроСк Qwen.

По тСстам YandexGPT 5 Pro:

🟒 ДостигаСт уровня GPT-4o Π² ΠΌΠ΅ΠΆΠ΄ΡƒΠ½Π°Ρ€ΠΎΠ΄Π½Ρ‹Ρ… тСстах ΠΈ ΠΈΡ… русскоязычных адаптациях

🟒 ΠŸΡ€Π΅Π²ΠΎΡΡ…ΠΎΠ΄ΠΈΡ‚ Qwen-2.5-32b-Instruct Π² Ρ€Π°Π±ΠΎΡ‚Π΅ с Ρ„Π°ΠΊΡ‚Π°ΠΌΠΈ ΠΈ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ, Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ уступая Π² вычислСниях

⚠️Pro-вСрсия ΡƒΠΆΠ΅ Π²Π½Π΅Π΄Ρ€Π΅Π½Π° Π² Ρ‡Π°Ρ‚ с Алисой ΠΈ доступна Ρ‡Π΅Ρ€Π΅Π· API Π² Yandex Cloud, Π³Π΄Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΊΠ°ΠΊ Π² Π±Π°Π·ΠΎΠ²ΠΎΠΉ вСрсии, Ρ‚Π°ΠΊ ΠΈ с ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ ΠΊ ΠŸΠΎΠΈΡΠΊΡƒ.

🟑 Π‘Ρ‚Π°Ρ‚ΡŒΡ

@ai_machinelearning_big_data

#AI #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenAI has expanded access to DeepResearch for users with subscriptions under $200, offering 10 queries/month

Pro users get a slight boost as wellβ€”now 120 queries instead of 100.

A couple of other improvements:
β€” The system can now include images it encounters during research in responses
β€” File handling has been upgraded, making it easier to reference uploaded PDFs or Excel files as context

@opendatascience
Forwarded from AI.Insaf
Как ChatGPT Π²Π»ΠΈΡΡŽΡ‚ Π½Π° Π½Π°ΡˆΡƒ ΠΊΡ€Π΅Π°Ρ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ?

Π–ΡƒΡ€Π½Π°Π» Science (!) Ρ‚ΠΎΠΆΠ΅ задаСтся этим вопросом. Π’ ΡΡ‚Π°Ρ‚ΡŒΠ΅ Generative AI enhances individual creativity but reduces the collective diversity исслСдовали, ΠΊΠ°ΠΊ ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ истории, написанныС людьми, Ссли AI подбрасываСт ΠΈΠΌ ΠΈΠ΄Π΅ΠΈ (0, 1 ΠΈΠ»ΠΈ 5 ΠΈΠ΄Π΅ΠΉ).

β€’ ОТидаСмо Ρ‡Π΅ΠΌ большС ai ΠΈΠ΄Π΅ΠΉ Π±Ρ‹Π»ΠΈ доступны Ρ‚Π΅ΠΌ Π»ΡƒΡ‡ΡˆΠ΅ получался тСкст. Π­Ρ‚ΠΎ Π²Π°Π»ΠΈΠ΄ΠΈΡ€ΠΎΠ²Π°Π»ΠΈ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΌ. ОсобСнно Ссли Π½Π°Π²Ρ‹ΠΊΠΈ Ρƒ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° Π±Ρ‹Π»ΠΈ слабСС ΠΈΠ·Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎ.
β€’ Но! Π§Π΅ΠΌ Π°ΠΊΡ‚ΠΈΠ²Π½Π΅Π΅ люди использовали подсказки AI, Ρ‚Π΅ΠΌ Π±ΠΎΠ»Π΅Π΅ ΠΏΠΎΡ…ΠΎΠΆΠΈΠΌΠΈ ΡΡ‚Π°Π½ΠΎΠ²ΠΈΠ»ΠΈΡΡŒ ΠΈΡ… тСксты. ΠŸΠΎΠ½Ρ€Π°Π²ΠΈΠ»ΠΎΡΡŒ Ρ‡Ρ‚ΠΎ Ρ‚ΡƒΡ‚ ΡƒΠΆΠ΅ Π½Π΅ люди провСряли, Π° Ρ‡Π΅Ρ€Π΅Π· косинусноС расстояниС эмбСддингов тСкстов

ΠžΡ‡Π΅Π²ΠΈΠ΄Π½ΠΎΠ΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ - всСм Π½ΡƒΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ сСтки ΠΈ Ρ‡Π°Ρ‚Ρ‹, ΠΈ Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρƒ ΠΏΠΎΠ΄Π½ΡΡ‚ΡŒ
Π’ основС Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ "Василиса" Π»Π΅ΠΆΠΈΡ‚ наша авторская модСль "МСнон" Π½Π° 1.5B
https://huggingface.co/bond005/meno-tiny-0.1
На MERA (для русского языка) модСль "МСнон" - Π»ΡƒΡ‡ΡˆΠΈΠΉ срСди ΠΌΠ°Π»Ρ‹Ρ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ "for edge devices" Π² своСм Ρ€Π°Π·ΠΌΠ΅Ρ€Π½ΠΎΠΌ классС.

НазваниС ΠΌΠΎΠ΄Π΅Π»ΠΈ "МСнон" - это отсылка ΠΊ ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΈΠ· сократичСских Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ² ΠŸΠ»Π°Ρ‚ΠΎΠ½Π° ΠΎ Ρ‚ΠΎΠΌ, истинноС Π·Π½Π°Π½ΠΈΠ΅ осущСствляСтся Ρ‡Π΅Ρ€Π΅Π· ΠΏΡ€ΠΈΠΏΠΎΠΌΠΈΠ½Π°Π½ΠΈΠ΅ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ созСрцала Π΄ΡƒΡˆΠ° Π² ΠΌΠΈΡ€Π΅ ΠΈΠ΄Π΅ΠΉ (Π² нашСм случаС "ΠΌΠΈΡ€ ΠΈΠ΄Π΅ΠΉ" - это внСшняя ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ нСйросСти Π±Π°Π·Π° Π·Π½Π°Π½ΠΈΠΉ).
πŸ”₯ Как FP8-вычислСния ΡƒΡΠΊΠΎΡ€ΡΡŽΡ‚ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ?

Когда-Ρ‚ΠΎ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ Π½Π° FP16 Π² машинном ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Π±Ρ‹Π» настоящим Π²Ρ‹Π·ΠΎΠ²ΠΎΠΌ β€” ΠΏΡ€ΠΈΡ…ΠΎΠ΄ΠΈΠ»ΠΎΡΡŒ Π±ΠΎΡ€ΠΎΡ‚ΡŒΡΡ с ΠΏΠ΅Ρ€Π΅ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ΠΌ чисСл, ΠΏΠΎΡ‚Π΅Ρ€Π΅ΠΉ точности ΠΈ Π½Π΅ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ. Π‘ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½Π΅ΠΌ появился BF16, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ совмСстил Π² сСбС Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ FP32 ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΡΡ‚ΡŒ FP16, сильно упростив Ρ€Π°Π±ΠΎΡ‚Ρƒ ΠΈ ΡƒΠ΄Π΅ΡˆΠ΅Π²ΠΈΠ² ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

Но прогрСсс Π½Π΅ стоит Π½Π° мСстС: хочСтся ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π΅Ρ‰Ρ‘ Π±ΠΎΠ»Π΅Π΅ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½Ρ‹ΠΉ Ρ‚ΠΈΠΏ FP8, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠΎΠΆΠ΅Ρ‚ ΡƒΡΠΊΠΎΡ€ΠΈΡ‚ΡŒ вычислСния тСорСтичСски Π°ΠΆ Π² 4 Ρ€Π°Π·Π° ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с FP32.

Π—Π²ΡƒΡ‡ΠΈΡ‚ ΠΊΡ€ΡƒΡ‚ΠΎ, Π½ΠΎ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅ Π΅ΡΡ‚ΡŒ слоТности: FP8 Π±Ρ‹Π²Π°Π΅Ρ‚ Ρ€Π°Π·Π½Ρ‹ΠΌ. Π‘Π°ΠΌΡ‹Π΅ распространённыС Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Ρ‹:

πŸ”Έ E4M3 β€” ΡˆΠΈΡ€Π΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ чисСл, Π½ΠΈΠΆΠ΅ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ (ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΈΡ‚ для Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΉ)
πŸ”Έ E5M2 β€” Ρ‚ΠΎΡ‡Π½Π΅Π΅ числа, Π½ΠΎ ΡƒΠΆΠ΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ (Π»ΡƒΡ‡ΡˆΠ΅ для вСсов)

Из-Π·Π° Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ Π² FP8 всСго 8 Π±ΠΈΡ‚ Π½Π° число, быстро Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ пСрСполнСния ΠΈΠ»ΠΈ, Π½Π°ΠΎΠ±ΠΎΡ€ΠΎΡ‚, слишком сильного округлСния. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ FP8 Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ для всСх ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ ΠΏΠΎΠΊΠ° Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ. НуТно Ρ…ΠΈΡ‚Ρ€ΠΎ ΠΏΠΎΠ΄Π±ΠΈΡ€Π°Ρ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Ρ‹ ΠΈ Π°ΠΊΠΊΡƒΡ€Π°Ρ‚Π½ΠΎ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ°ΡΡˆΡ‚Π°Π± Π΄Π°Π½Π½Ρ‹Ρ….

Π’ GigaChat ΠΌΡ‹ Π½Π°Ρ‡Π°Π»ΠΈ Π²Π½Π΅Π΄Ρ€ΡΡ‚ΡŒ FP8 постСпСнно, ΡΡ„ΠΎΠΊΡƒΡΠΈΡ€ΠΎΠ²Π°Π²ΡˆΠΈΡΡŒ сначала Π½Π° Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ подходящСй для Π½Π΅Π³ΠΎ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ β€” ΠΏΠ΅Ρ€Π΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠΈ ΠΌΠ°Ρ‚Ρ€ΠΈΡ† (GEMM). Но Π΄Π°ΠΆΠ΅ здСсь Π²ΠΎΠ·Π½ΠΈΠΊΠ»ΠΈ свои слоТности: Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ ΠΈ вСса всё Π΅Ρ‰Ρ‘ хранятся Π² BF16, Π° Π·Π½Π°Ρ‡ΠΈΡ‚, ΠΊΠ°ΠΆΠ΄ΡƒΡŽ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΡŽ Π½ΡƒΠΆΠ½ΠΎ ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΡΡ‚ΡŒ ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚Π°Ρ†ΠΈΠ΅ΠΉ Ρ‚ΠΈΠΏΠΎΠ²:

Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ (BF16) β†’ FP8
вСса (BF16) β†’ FP8
ΠΏΠ΅Ρ€Π΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠ°Ρ‚Ρ€ΠΈΡ† Π² FP8
Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ (FP8) β†’ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎ Π² BF16

Π‘Π΅Π· ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΉ эти постоянныС прСобразования приводят ΠΊ ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ Π½Π°ΠΊΠ»Π°Π΄Π½Ρ‹ΠΌ расходам. И ΠΈΠΌΠ΅Π½Π½ΠΎ здСсь критичСски Π²Π°ΠΆΠ΅Π½ torch.compile: ΠΎΠ½ автоматичСски ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΠ΅Ρ‚ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ Ρ‚Π°ΠΊΠΈΡ… ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ, избавляясь ΠΎΡ‚ Π½Π΅Π½ΡƒΠΆΠ½Ρ‹Ρ… ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Ρ… шагов ΠΈ Ρ€Π΅Π·ΠΊΠΎ сниТая Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΈ ΠΈ копирования.

НСсмотря Π½Π° слоТности, ΠΌΡ‹ ΡƒΠΆΠ΅ смогли ΡƒΡΠΊΠΎΡ€ΠΈΡ‚ΡŒ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΡƒ Π½Π° Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‰ΠΈΠ΅ 27%, ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ сохранив Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ πŸš€

Π§Ρ‚ΠΎ ΠΌΠΎΠΆΠ½ΠΎ Π΄Π΅Π»Π°Ρ‚ΡŒ дальшС:

πŸ”Έ Π‘ΠΎΠΊΡ€Π°Ρ‚ΠΈΡ‚ΡŒ количСство BF16-Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΉ Ρ‚Π°ΠΌ, Π³Π΄Π΅ это Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π±Π΅Π· ΠΏΠΎΡ‚Π΅Ρ€ΠΈ качСства
πŸ”Έ ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΌΠ΅ΠΆΡƒΠ·Π»ΠΎΠ²Ρ‹Π΅ ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π½Π° FP8

βš‘οΈΠ‘ΡƒΠ΄Π΅ΠΌ Π΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒ вас Π² курсС ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΡ… ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΉ! Stay tuned

P.S. Π‘ΠΎΠ»ΡŒΡˆΠΎΠ΅ спасибо GigaChat Max 2.0 Π·Π° Π°Π½ΠΈΠΌΠ°Ρ†ΠΈΡŽ!
Forwarded from Kier from TOP
Dubai Prompt Engineering Championship

Discovered that there is going to be a prompting championship in the end of April held in Dubai with a registration deadline of tomorrow.

There will be 4 tracks:
1. Art
2. Video
3. Gaming
4. Coding

I liked how the team set up the competition itself, looks like they care for the work they do. Hope my submission will be accepted and I’ll get to meet them in person.

Enquiring more I also discovered a One Million Prompters initiative with a course by Dubai Centre for Artificial Intelligence.

Besides this initiative being extremely good is in terms of education and making sure people have an access to the emerging professions, it got me thinking… One Million Prompters can become One Million AI-preneurs spinning up their businesses in TMAs for 1B of Telegram users one day, so this is nothing short of inspiring.

Come join the event if you are around Dubai, let’s talk.

Website: https://challenge.dub.ai/en/
Course: https://dub.ai/en/omp/

#TMA #AIpreneurship #Dubai
Forwarded from AbstractDL
M-Attack: ΠΊΠ°ΠΊ ΠΎΠ±ΠΌΠ°Π½ΡƒΡ‚ΡŒ GPT-4.5 ΠΈ Gemini

ВсС ΠΏΡ€ΠΈΠ²Ρ‹ΠΊΠ»ΠΈ, Ρ‡Ρ‚ΠΎ Π°Ρ‚Π°ΠΊΠΎΠ²Π°Ρ‚ΡŒ соврСмСнныС ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Ρ‚ΠΈΠΏΠ° GPT-4o, Claude, Gemini ΠΈ Ρ‚.ΠΏ.) ΠΊΡ€Π°ΠΉΠ½Π΅ слоТно β€” особСнно, Ссли это black-box ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π³Π΄Π΅ Π½Π΅Ρ‚ доступа ΠΊ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°ΠΌ ΠΈ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅. Π‘Ρ‚Π°Π½Π΄Π°Ρ€Ρ‚Π½Ρ‹Π΅ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ Π°Ρ‚Π°ΠΊ Ρ‚ΠΈΠΏΠ° "Π²Ρ‹Π΄Π°Ρ‚ΡŒ ΠΎΠ΄Π½Ρƒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π·Π° Π΄Ρ€ΡƒΠ³ΡƒΡŽ" часто Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚ ΠΊΠ°ΠΊΠΈΠ΅-Ρ‚ΠΎ нСвнятныС ΡˆΡƒΠΌΡ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π»ΠΈΠ±ΠΎ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ΡΡ модСлью, Π»ΠΈΠ±ΠΎ приводят ΠΊ абстрактным ΠΎΡ‚Π²Π΅Ρ‚Π°ΠΌ Ρ‚ΠΈΠΏΠ° "Ρ€Π°Π·ΠΌΡ‹Ρ‚ΠΎΠ΅ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅".

Но оказалось, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° Π±Ρ‹Π»Π° Π½Π΅ Π² самих модСлях, Π° Π² ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π΅ ΠΊ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΎΠ·ΠΌΡƒΡ‰Π΅Π½ΠΈΠΉ. Π’ свСТСй ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΠ»ΠΈ ΠΎΡ‡Π΅Π½ΡŒ простой, Π½ΠΎ ΠΌΠΎΡ‰Π½Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ β€” M-Attack:
1. Π‘Π΅Ρ€Ρ‘ΠΌ ΠΈΡΡ…ΠΎΠ΄Π½ΡƒΡŽ ΠΈ Ρ†Π΅Π»Π΅Π²ΡƒΡŽ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΈ.
2. На ΠΊΠ°ΠΆΠ΄ΠΎΠΌ шагС Ρ€Π°Π½Π΄ΠΎΠΌΠ½ΠΎ crop'Π°Π΅ΠΌ кусок исходного изобраТСния (50-100% ΠΏΠ»ΠΎΡ‰Π°Π΄ΠΈ) ΠΈ Π·Π°Ρ‚Π΅ΠΌ рСсайзим ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎ Π΄ΠΎ исходного Ρ€Π°Π·ΠΌΠ΅Ρ€Π°.
3. ЗаставляСм эмбСддинги этого кусочка максимально ΠΏΡ€ΠΈΠ±Π»ΠΈΠ·ΠΈΡ‚ΡŒΡΡ ΠΊ эмбСддингам Ρ†Π΅Π»Π΅Π²ΠΎΠ³ΠΎ изобраТСния ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΡΡΡŒ Π² white-box Ρ€Π΅ΠΆΠΈΠΌΠ΅ ΠΏΠΎ ансамблю ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹Ρ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, CLIP, ViT ΠΈ Ρ‚ΠΏ).

И всё! ПослС Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΈΡ‚Π΅Ρ€Π°Ρ†ΠΈΠΉ Π² Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠΉ области ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΈ "проявляСтся" цСлСвая сСмантика, ΠΏΡ€ΠΈ этом возмущСния выглядят ΠΊΡ€Π°ΠΉΠ½Π΅ Π½Π΅Π·Π°ΠΌΠ΅Ρ‚Π½ΠΎ ΠΈ Π°ΠΊΠΊΡƒΡ€Π°Ρ‚Π½ΠΎ (Π² ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ ΠΎΡ‚ Π΄Ρ€ΡƒΠ³ΠΈΡ… ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠ²).

Авторы добились ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎ Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‰ΠΈΡ… Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ²: успСх Π°Ρ‚Π°ΠΊΠΈ (ASR) ΠΏΡ€Π΅Π²Ρ‹ΡˆΠ°Π΅Ρ‚ 90% (!) для GPT-4.5, GPT-4o ΠΈ Π΄Π°ΠΆΠ΅ для o1 ΠΈ Gemini. Код ΠΈ датасСт ΠΈΠ· 100 Π°Ρ‚Π°ΠΊΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΎΠΊ Π²Ρ‹Π»ΠΎΠΆΠΈΠ»ΠΈ Π² ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ доступ.

Π‘Ρ‚Π°Ρ‚ΡŒΡ, GitHub, dataset
This media is not supported in your browser
VIEW IN TELEGRAM
Jointly announcing EAGLE-3 with SGLang: Setting a new record in LLM inference acceleration!

- 5xπŸš€than vanilla (on HF)
- 1.4xπŸš€than EAGLE-2 (on HF)
- A record of ~400 TPS on LLama 3.1 8B with a single H100 (on SGLang)
- 1.65xπŸš€in latency even for large bs=64 (on SGLang)
- A new scaling law: more training data, better speedup
- Apache 2.0

Paper: https://arxiv.org/abs/2503.01840
Code: https://github.com/SafeAILab/EAGLE
SGLang version: https://github.com/sgl-project/sglang/pull/4247

@opendatascience