Forwarded from Machinelearning
ΠΡΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΠΏΠΎΡΠ°Π³ΠΎΠ²ΡΠ΅ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ Ρ ΠΏΡΠΈΠΌΠ΅ΡΠ°ΠΌΠΈ ΠΊΠΎΠ΄Π°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΌΠΎΠ³ΡΡ Π½Π°ΡΡΠΈΡΡΡΡ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ Π°Π²ΡΠΎΠ½ΠΎΠΌΠ½ΡΡ Π°Π³Π΅Π½ΡΠΎΠ² Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ.
Π€ΠΎΠΊΡΡ Π½Π° AI-Π°Π³Π΅Π½ΡΠ°Ρ :
ΠΡΠ»ΠΈ Π²Π°Ρ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΡΠ΅Ρ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ° Π°Π³Π΅Π½ΡΠΎΠ² β Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π΄Π»Ρ ΡΠΈΠΌΡΠ»ΡΡΠΈΠΉ, ΠΈΠ³Ρ ΠΈΠ»ΠΈ ΠΈΠ½ΡΠ΅ΡΠ°ΠΊΡΠΈΠ²Π½ΡΡ ΡΠΈΡΡΠ΅ΠΌ β Π΄Π°Π½Π½ΡΠΉ ΠΊΡΡΡ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ»Π΅Π·Π΅Π½.
ΠΠ°ΠΆΠ΄ΡΠΉ ΡΡΠΎΠΊ Π²ΠΊΠ»ΡΡΠ°Π΅Ρ Π² ΡΠ΅Π±Ρ:
- ΠΠ΅ΠΊΡΠΈΡ, (Π²ΠΈΠ΄Π΅ΠΎ ΡΡΠΎΠΊΠΈ ΠΏΠΎΡΠ²ΡΡΡΡ Π² ΠΌΠ°ΡΡΠ΅ 2025 Π³ΠΎΠ΄Π°)
- ΠΡΠΈΠΌΠ΅ΡΡ ΠΊΠΎΠ΄Π° Π½Π° Python Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΎΠΉ Azure AI Foundry ΠΈ Github Models
- ΠΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π·Π°Π΄Π°Π½ΠΈΡ
- Π‘ΡΡΠ»ΠΊΠΈ Π½Π° ΠΏΠΎΠ»Π΅Π·Π½ΡΠ΅ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ ΡΠ΅ΡΡΡΡΡ
ΠΡΠ»ΠΈ ΡΡΠΎ Π²Π°Ρ ΠΏΠ΅ΡΠ²ΡΠΉ ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ Π°Π³Π΅Π½ΡΠ°ΠΌΠΈ, Ρ Microsoft Π΅ΡΡΡ Π΅ΡΠ΅ 1 ΠΊΡΡΡ Β«ΠΠ΅Π½Π΅ΡΠ°ΡΠΈΠ²Π½ΡΠΉ ΠΠ Π΄Π»Ρ Π½Π°ΡΠΈΠ½Π°ΡΡΠΈΡ Β», ΠΊΠΎΡΠΎΡΡΠΉ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ 21 ΡΡΠΎΠΊ ΠΏΠΎ ΠΏΠΎΡΡΡΠΎΠ΅Π½ΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Ρ ΠΏΠΎΠΌΠΎΡΡΡ GenAI, Π»ΡΡΡΠ΅ Π½Π°ΡΠ°ΡΡ Ρ Π½Π΅Π³ΠΎ.
ΠΠ΅ΡΠ΅Π²Π΅Π΄Π΅Π½ Π½Π° 9 ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΡΠ·ΡΠΊΠΎΠ² (ΡΡΡΡΠΊΠΎΠ³ΠΎ Π½Π΅Ρ).
βͺ Github
@ai_machinelearning_big_data
#course #Microsoft #aiagents #ai #ml #opensource #freecourse
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
1. Π ΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎ ΠΏΠΎ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ ΠΎΡ OpenAI
Π ΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎΠ΅ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠ΅ ΠΏΡΠΎΡΠ΅ΡΡΠ° ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ Π±ΠΎΠ»Π΅Π΅ ΠΊΡΡΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΊ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ, c ΡΠΎΡ ΡΠ°Π½Π΅Π½ΠΈΠ΅ΠΌ Π²ΡΡΠΎΠΊΠΎΠΉ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ.
ΠΡΠ½ΠΎΠ²Π½ΡΠ΅ Π°ΡΠΏΠ΅ΠΊΡΡ, ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π½Π½ΡΠ΅ Π² ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π΅:
- Π‘ΠΎΡ ΡΠ°Π½Π΅Π½ΠΈΠ΅ Π²ΡΡ ΠΎΠ΄Π½ΡΡ Π΄Π°Π½Π½ΡΡ ΠΊΡΡΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π½Π°Π±ΠΎΡΠ° Π΄Π°Π½Π½ΡΡ , ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠ΅Π³ΠΎ ΠΏΡΠ΅Π΄ΡΠΊΠ°Π·Π°Π½ΠΈΡ Π±ΠΎΠ»ΡΡΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Π±ΡΠ΄ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ Π΄Π»Ρ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΌΠ΅Π½ΡΡΠ΅ΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ.
- ΠΡΠ΅Π½ΠΊΠ° ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Π‘ΡΠ°Π²Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ Π°Π½Π°Π»ΠΈΠ· ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΈ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΠΈ ΠΊΠ°ΠΊ ΠΊΡΡΠΏΠ½ΠΎΠΉ, ΡΠ°ΠΊ ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΠΌΠ΅ΡΡΠΈΠΊ.
- Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΠΎΠ±ΡΡΠ°ΡΡΠΈΡ Π΄Π°Π½Π½ΡΡ Π΄Π»Ρ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΡΠ΅Π΄ΡΠΊΠ°Π·Π°Π½ΠΈΠΉ ΠΊΡΡΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π΄Π»Ρ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ ΠΎΠ±ΡΡΠ°ΡΡΠ΅Π³ΠΎ Π½Π°Π±ΠΎΡΠ° Π΄Π°Π½Π½ΡΡ , ΡΠΏΠΎΡΠΎΠ±ΡΡΠ²ΡΡΡΠ΅Π³ΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠΌΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΌΠ΅Π½ΡΡΠ΅ΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ.
- ΠΡΠ΅Π½ΠΊΠ° Π΄ΠΎΠΎΠ±ΡΡΠ΅Π½Π½ΠΎΠΉ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: ΠΡΠΎΠ²Π΅ΡΠΊΠ° ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ ΠΈ ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΡΠ»Π΅ ΠΏΡΠΎΡΠ΅ΡΡΠ° Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ Π΄Π»Ρ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π΅Π½ΠΈΡ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΡ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡΠΌ.
2. Π£ΡΠ΅Π±Π½ΠΈΠΊ ΠΏΠΎ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ PyTorch
Π ΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎ ΠΎΡ PyTorch, ΠΊΠΎΡΠΎΡΠΎΠ΅ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ Π²Π²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² ΡΠ΅Ρ Π½ΠΈΠΊΡ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π·Π½Π°Π½ΠΈΠΉ Π΄Π»Ρ ΡΠ°Π·Π²ΡΡΡΡΠ²Π°Π½ΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° ΡΡΡΡΠΎΠΉΡΡΠ²Π°Ρ Ρ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½Π½ΡΠΌΠΈ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΡΠ΅ΡΡΡΡΠ°ΠΌΠΈ.
ΠΡΠ½ΠΎΠ²Π½ΡΠ΅ Π°ΡΠΏΠ΅ΠΊΡΡ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π°:
- ΠΠ·Π²Π»Π΅ΡΠ΅Π½ΠΈΠ΅ ΡΠΊΡΡΡΡΡ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΠΉ: Π Π³Π°ΠΉΠ΄Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ ΠΏΠΎΠ»ΡΡΠΈΡΡ ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΡΠ΅ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΈΠ· ΠΎΠ±ΡΡΠ΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π΄Π»Ρ Π΄Π°Π»ΡΠ½Π΅ΠΉΡΠ΅Π³ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ.
- ΠΠΎΠ΄ΠΈΡΠΈΠΊΠ°ΡΠΈΡ ΡΠΈΠΊΠ»ΠΎΠ² ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Π² PyTorch: ΠΠ΄Π΅ΡΡ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°Π΅ΡΡΡ ΠΈΠ½ΡΠ΅Π³ΡΠ°ΡΠΈΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΡΡΠ½ΠΊΡΠΈΠΉ Π² ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠ΅ ΡΠΈΠΊΠ»Ρ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Π΄Π»Ρ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠΉ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π·Π½Π°Π½ΠΈΠΉ.
- ΠΠ° ΠΏΡΠΈΠΌΠ΅ΡΠ΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ ΠΏΡΠΎΡΠ΅ΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, Ρ ΠΈΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΏΡΠ΅Π΄ΡΠΊΠ°Π·Π°Π½ΠΈΡ Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΎΡΠΈΠ΅Π½ΡΠΈΡΠ°.
Π ΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΠΏΠΎΡΠ°Π³ΠΎΠ²ΡΠ΅ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ ΠΈ ΠΏΡΠΈΠΌΠ΅ΡΡ ΠΊΠΎΠ΄Π°, ΡΡΠΎ Π΄Π΅Π»Π°Π΅Ρ Π΅Π³ΠΎ ΡΠ΅Π½Π½ΡΠΌ ΡΠ΅ΡΡΡΡΠΎΠΌ, Π΅ΡΠ»ΠΈ Π²Ρ Ρ ΠΎΡΠΈΡΠ΅ Π½Π°ΡΡΠΈΡΡΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΡΠ²ΠΎΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π΄Π»Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ Π² ΡΡΠ΅Π΄Π°Ρ Ρ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½Π½ΡΠΌΠΈ ΡΠ΅ΡΡΡΡΠ°ΠΌΠΈ.
βͺΠ‘ΡΡΠ»ΠΊΠ°
3. Jetson Introduction to Knowledge Distillation ΠΎΡ Nvidia
Π Π΄Π°Π½Π½ΠΎΠΌ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π΅ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°Π΅ΡΡΡ ΠΏΡΠΎΡΠ΅ΡΡ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ OpenCLIP (vision-language model) ΠΊ ΠΌΠΎΠ΄Π΅Π»ΠΈ ResNet18 Π΄Π»Ρ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ Π½Π° Π½Π°Π±ΠΎΡΠ΅ Π΄Π°Π½Π½ΡΡ STL10.
ΠΡΠΎΠ±ΠΎΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΡΠ΄Π΅Π»ΡΠ΅ΡΡΡ ΡΠΎΠΌΡ, ΠΊΠ°ΠΊ Π²ΡΠ±ΠΎΡ Π΄Π°Π½Π½ΡΡ , ΠΌΠ΅ΡΠΎΠ΄Ρ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ ΠΈ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ° ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π²Π»ΠΈΡΡΡ Π½Π° ΠΈΡΠΎΠ³ΠΎΠ²ΡΡ ΡΠΎΡΠ½ΠΎΡΡΡ.
ΠΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, ΠΎΠ±ΡΡΠΆΠ΄Π°ΡΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Ρ ΠΏΡΠΎΡΠΈΠ»ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΈ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π΄Π»Ρ ΠΈΡ ΡΠ°Π·Π²ΡΡΡΡΠ²Π°Π½ΠΈΡ Π½Π° ΡΡΡΡΠΎΠΉΡΡΠ²Π°Ρ NVIDIA Jetson Orin Nano.
4. Π£ΡΠ΅Π±Π½ΠΈΠΊ ΠΏΠΎ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ Keras
ΠΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΠΎΠΏΠΈΡΡΠ²Π°Π΅ΡΡΡ ΠΊΠΎΠ½ΡΠ΅ΠΏΡΠΈΡ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΈ Π΅Π΅ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ΅ ΠΌΠ΅Π΄ΠΈΡΠΈΠ½ΡΠΊΠΈΡ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ.
5. Π ΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎ ΠΏΠΎ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ ΠΎΡ
huggingface π€
ΠΠ΄Π΅ΡΡ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ Π²ΡΠΏΠΎΠ»Π½ΡΡΡ Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΡ Π·Π½Π°Π½ΠΈΠΉ ΡΠ°Π³ Π·Π° ΡΠ°Π³ΠΎΠΌ Π½Π° ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠΌ ΠΏΡΠΈΠΌΠ΅ΡΠ΅.
6. ΠΠΈΡΡΠΈΠ»Π»ΡΡΠΈΡ Π·Π½Π°Π½ΠΈΠΉ Π΄Π»Ρ Π·Π°Π΄Π°Ρ ΠΊΠΎΠΌΠΏΡΡΡΠ΅ΡΠ½ΠΎΠ³ΠΎ Π·ΡΠ΅Π½ΠΈΡ ΠΎΡ huggingface
ΠΠ΄Π΅ΡΡ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°Π΅ΡΡΡ, ΠΊΠ°ΠΊ ΡΠ΄Π΅Π»Π°ΡΡ ΡΠ°ΠΉΠ½ΡΡΠ½ ViT-ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² MobileNet Ρ ΠΏΠΎΠΌΠΎΡΡΡ API Trainer ΠΈΠ· Transformers.
#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
The Evolution and Dependencies of Scientific Python Libraries
Numerical computing libraries like NumPy and SciPy rely on foundational mathematical code spanning decades. Until recently, NumPy depended on Fortran-based BLAS/LAPACK implementations for linear algebra operations. Modern versions now use OpenBLAS, which replaces Fortran code with optimized C implementations. SciPy, however, still incorporates Fortran 77 code for certain functionalities, such as ARPACK (used in eigenvalue computations) and FFTPACK (for Fourier transforms). These dependencies stem from legacy libraries like BLAS (1970s), LAPACK (1980s), and MINPACK (optimization), which remain widely used due to their mathematically stable, battle-tested algorithms like Simulated Annealing.
Simulated Annealing: A 1953 Algorithm in Modern ML
Imagine searching for the largest mushroom in a forest. Gradient methods risk settling for a local maximum, but Simulated Annealing (SciPyβs optimize) balances exploration and exploitation: early random βhigh-energyβ steps avoid local traps, then gradually refines toward the global optimum.
Originally devised to model atomic behavior in molten metals (Metropolis Algorithm, 1953), it mimics annealingβslow cooling ensures uniform atomic arrangement. Scientists introduced probabilistic acceptance of suboptimal states to escape flawed structures. Thise method was adopted to optimize ML models, logistics, and pattern recognition, making the familiar Python code use bindings which are ~15 years older than Python itself.
Source: Facebook post (Ru)
#SciPy #Fortran #NumPy #Math
Numerical computing libraries like NumPy and SciPy rely on foundational mathematical code spanning decades. Until recently, NumPy depended on Fortran-based BLAS/LAPACK implementations for linear algebra operations. Modern versions now use OpenBLAS, which replaces Fortran code with optimized C implementations. SciPy, however, still incorporates Fortran 77 code for certain functionalities, such as ARPACK (used in eigenvalue computations) and FFTPACK (for Fourier transforms). These dependencies stem from legacy libraries like BLAS (1970s), LAPACK (1980s), and MINPACK (optimization), which remain widely used due to their mathematically stable, battle-tested algorithms like Simulated Annealing.
Simulated Annealing: A 1953 Algorithm in Modern ML
Imagine searching for the largest mushroom in a forest. Gradient methods risk settling for a local maximum, but Simulated Annealing (SciPyβs optimize) balances exploration and exploitation: early random βhigh-energyβ steps avoid local traps, then gradually refines toward the global optimum.
Originally devised to model atomic behavior in molten metals (Metropolis Algorithm, 1953), it mimics annealingβslow cooling ensures uniform atomic arrangement. Scientists introduced probabilistic acceptance of suboptimal states to escape flawed structures. Thise method was adopted to optimize ML models, logistics, and pattern recognition, making the familiar Python code use bindings which are ~15 years older than Python itself.
Source: Facebook post (Ru)
#SciPy #Fortran #NumPy #Math
Forwarded from Machinelearning
Π―Π½Π΄Π΅ΠΊΡ Π°Π½ΠΎΠ½ΡΠΈΡΠΎΠ²Π°Π» Π½ΠΎΠ²ΠΎΠ΅ ΠΏΠΎΠΊΠΎΠ»Π΅Π½ΠΈΠ΅ Π±ΠΎΠ»ΡΡΠΈΡ ΡΠ·ΡΠΊΠΎΠ²ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ β YandexGPT 5, Π²ΠΊΠ»ΡΡΠ°ΡΡΠ΅Π΅ Pro ΠΈ Lite Π²Π΅ΡΡΠΈΠΈ.
YandexGPT 5 Lite 8B ΡΠΆΠ΅ Π΄ΠΎΡΡΡΠΏΠ½Π° Π½Π° Hugging Face. ΠΠΎΠ΄Π΅Π»Ρ ΠΎΠ±ΡΡΠ°Π»Π°ΡΡ Π² Π΄Π²Π° ΡΡΠ°ΠΏΠ°: ΠΏΡΠ΅ΡΡΠ΅ΠΉΠ½ Π½Π° ΠΌΠ°ΡΡΠΈΠ²Π΅ ΡΡΡΡΠΊΠΎ- ΠΈ Π°Π½Π³Π»ΠΎΡΠ·ΡΡΠ½ΡΡ ΡΠ΅ΠΊΡΡΠΎΠ² ΠΎΠ±ΡΡΠΌΠΎΠΌ 15T ΡΠΎΠΊΠ΅Π½ΠΎΠ² ΠΈ ΡΡΠ°ΠΏ Powerup Π½Π° Π²ΡΡΠΎΠΊΠΎΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ Π΄Π°Π½Π½ΡΡ ΠΎΠ±ΡΡΠΌΠΎΠΌ 320B ΡΠΎΠΊΠ΅Π½ΠΎΠ². ΠΠ½Π° ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π° Π±Π΅Π· ΡΠΈΠ½Π°Π»ΡΠ½ΠΎΠ³ΠΎ ΡΡΠ°ΠΏΠ° ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΡΡΠΈΡΠ΅ΡΠΊΠΈΡ ΡΠΈΠ»ΡΡΡΠΎΠ² ΠΈ Π°Π»Π°ΠΉΠ½ΠΌΠ΅Π½ΡΠ°, ΡΡΠΎ Π΄Π΅Π»Π°Π΅Ρ Π΅Ρ ΡΠ΄ΠΎΠ±Π½ΠΎΠΉ Π΄Π»Ρ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΉ ΠΈ Π΄ΠΎΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΏΠΎΠ΄ ΡΠΏΠ΅ΡΠΈΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π·Π°Π΄Π°ΡΠΈ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΎΠ².
ΠΠΎΠ΄Π΅Π»Ρ ΠΈΠΌΠ΅Π΅Ρ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ½ΠΎΠ΅ ΠΎΠΊΠ½ΠΎ 32k ΡΠΎΠΊΠ΅Π½ΠΎΠ², Π° Π² ΡΠ²ΠΎΠ΅ΠΉ ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ Π΄ΠΎΡΡΠΈΠ³Π°Π΅Ρ ΠΏΠ°ΡΠΈΡΠ΅ΡΠ° Ρ ΠΌΠΈΡΠΎΠ²ΡΠΌΠΈ SOTA ΠΏΠΎ ΠΊΠ»ΡΡΠ΅Π²ΡΠΌ Π±Π΅Π½ΡΠΌΠ°ΡΠΊΠ°ΠΌ Π΄Π»Ρ pretrain-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.
Π ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ΅ Pro-Π²Π΅ΡΡΠΈΠΈ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ ΡΠ»ΡΡΡΠ΅Π½ΠΈΡ: ΠΏΠ΅ΡΠ΅ΡΠ°Π±ΠΎΡΠ°Π½Π½ΡΠΉ Π΄Π°ΡΠ°ΡΠ΅Ρ Ρ Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΡΠΌΠΈ ΠΈ ΡΠ°Π·Π½ΠΎΠΎΠ±ΡΠ°Π·Π½ΡΠΌΠΈ ΠΏΡΠΈΠΌΠ΅ΡΠ°ΠΌΠΈ, ΡΡΠ»ΠΎΠΆΠ½ΡΠ½Π½ΡΠ΅ ΡΡΠ΅Π½ΠΈΡΠΎΠ²ΠΎΡΠ½ΡΠ΅ Π·Π°Π΄Π°Π½ΠΈΡ, Π²Π½Π΅Π΄ΡΠ΅Π½ΠΈΠ΅ DPO ΠΈ PPO Ρ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄ΠΈΡΠΈΠΊΠ°ΡΠΈΠ΅ΠΉ LogDPO ΠΏΡΠΎΡΠΈΠ² Β«ΡΠ°Π·ΡΡΠΈΠ²Π°Π½ΠΈΡΒ», ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ ΡΠ΅ΡΠ΅Π· YaFSDP (-25% Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΡΠ΅ΡΡΡΡΠΎΠ²), Π³ΠΈΠ±ΡΠΈΠ΄Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π±Π°Π·ΠΎΠ²ΡΡ Π½Π°ΡΡΡΠΎΠ΅ΠΊ Qwen.
ΠΠΎ ΡΠ΅ΡΡΠ°ΠΌ YandexGPT 5 Pro:
β οΈPro-Π²Π΅ΡΡΠΈΡ ΡΠΆΠ΅ Π²Π½Π΅Π΄ΡΠ΅Π½Π° Π² ΡΠ°Ρ Ρ ΠΠ»ΠΈΡΠΎΠΉ ΠΈ Π΄ΠΎΡΡΡΠΏΠ½Π° ΡΠ΅ΡΠ΅Π· API Π² Yandex Cloud, Π³Π΄Π΅ ΠΌΠΎΠΆΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ ΠΊΠ°ΠΊ Π² Π±Π°Π·ΠΎΠ²ΠΎΠΉ Π²Π΅ΡΡΠΈΠΈ, ΡΠ°ΠΊ ΠΈ Ρ ΠΏΠΎΠ΄ΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΠΊ ΠΠΎΠΈΡΠΊΡ.
@ai_machinelearning_big_data
#AI #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenAI has expanded access to DeepResearch for users with subscriptions under $200, offering 10 queries/month
Pro users get a slight boost as wellβnow 120 queries instead of 100.
A couple of other improvements:
β The system can now include images it encounters during research in responses
β File handling has been upgraded, making it easier to reference uploaded PDFs or Excel files as context
@opendatascience
Pro users get a slight boost as wellβnow 120 queries instead of 100.
A couple of other improvements:
β The system can now include images it encounters during research in responses
β File handling has been upgraded, making it easier to reference uploaded PDFs or Excel files as context
@opendatascience
Forwarded from AI.Insaf
ΠΠ°ΠΊ ChatGPT Π²Π»ΠΈΡΡΡ Π½Π° Π½Π°ΡΡ ΠΊΡΠ΅Π°ΡΠΈΠ²Π½ΠΎΡΡΡ?
ΠΡΡΠ½Π°Π» Science (!) ΡΠΎΠΆΠ΅ Π·Π°Π΄Π°Π΅ΡΡΡ ΡΡΠΈΠΌ Π²ΠΎΠΏΡΠΎΡΠΎΠΌ. Π ΡΡΠ°ΡΡΠ΅ Generative AI enhances individual creativity but reduces the collective diversity ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π»ΠΈ, ΠΊΠ°ΠΊ ΠΌΠ΅Π½ΡΡΡΡΡ ΠΈΡΡΠΎΡΠΈΠΈ, Π½Π°ΠΏΠΈΡΠ°Π½Π½ΡΠ΅ Π»ΡΠ΄ΡΠΌΠΈ, Π΅ΡΠ»ΠΈ AI ΠΏΠΎΠ΄Π±ΡΠ°ΡΡΠ²Π°Π΅Ρ ΠΈΠΌ ΠΈΠ΄Π΅ΠΈ (0, 1 ΠΈΠ»ΠΈ 5 ΠΈΠ΄Π΅ΠΉ).
β’ ΠΠΆΠΈΠ΄Π°Π΅ΠΌΠΎ ΡΠ΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ ai ΠΈΠ΄Π΅ΠΉ Π±ΡΠ»ΠΈ Π΄ΠΎΡΡΡΠΏΠ½Ρ ΡΠ΅ΠΌ Π»ΡΡΡΠ΅ ΠΏΠΎΠ»ΡΡΠ°Π»ΡΡ ΡΠ΅ΠΊΡΡ. ΠΡΠΎ Π²Π°Π»ΠΈΠ΄ΠΈΡΠΎΠ²Π°Π»ΠΈ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΌ. ΠΡΠΎΠ±Π΅Π½Π½ΠΎ Π΅ΡΠ»ΠΈ Π½Π°Π²ΡΠΊΠΈ Ρ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠ° Π±ΡΠ»ΠΈ ΡΠ»Π°Π±Π΅Π΅ ΠΈΠ·Π½Π°ΡΠ°Π»ΡΠ½ΠΎ.
β’ ΠΠΎ! Π§Π΅ΠΌ Π°ΠΊΡΠΈΠ²Π½Π΅Π΅ Π»ΡΠ΄ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π»ΠΈ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠΈ AI, ΡΠ΅ΠΌ Π±ΠΎΠ»Π΅Π΅ ΠΏΠΎΡ ΠΎΠΆΠΈΠΌΠΈ ΡΡΠ°Π½ΠΎΠ²ΠΈΠ»ΠΈΡΡ ΠΈΡ ΡΠ΅ΠΊΡΡΡ. ΠΠΎΠ½ΡΠ°Π²ΠΈΠ»ΠΎΡΡ ΡΡΠΎ ΡΡΡ ΡΠΆΠ΅ Π½Π΅ Π»ΡΠ΄ΠΈ ΠΏΡΠΎΠ²Π΅ΡΡΠ»ΠΈ, Π° ΡΠ΅ΡΠ΅Π· ΠΊΠΎΡΠΈΠ½ΡΡΠ½ΠΎΠ΅ ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³ΠΎΠ² ΡΠ΅ΠΊΡΡΠΎΠ²
ΠΡΠ΅Π²ΠΈΠ΄Π½ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ - Π²ΡΠ΅ΠΌ Π½ΡΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ°Π·Π½ΡΠ΅ ΡΠ΅ΡΠΊΠΈ ΠΈ ΡΠ°ΡΡ, ΠΈ ΡΠ΅ΠΌΠΏΠ΅ΡΠ°ΡΡΡΡ ΠΏΠΎΠ΄Π½ΡΡΡ
ΠΡΡΠ½Π°Π» Science (!) ΡΠΎΠΆΠ΅ Π·Π°Π΄Π°Π΅ΡΡΡ ΡΡΠΈΠΌ Π²ΠΎΠΏΡΠΎΡΠΎΠΌ. Π ΡΡΠ°ΡΡΠ΅ Generative AI enhances individual creativity but reduces the collective diversity ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π»ΠΈ, ΠΊΠ°ΠΊ ΠΌΠ΅Π½ΡΡΡΡΡ ΠΈΡΡΠΎΡΠΈΠΈ, Π½Π°ΠΏΠΈΡΠ°Π½Π½ΡΠ΅ Π»ΡΠ΄ΡΠΌΠΈ, Π΅ΡΠ»ΠΈ AI ΠΏΠΎΠ΄Π±ΡΠ°ΡΡΠ²Π°Π΅Ρ ΠΈΠΌ ΠΈΠ΄Π΅ΠΈ (0, 1 ΠΈΠ»ΠΈ 5 ΠΈΠ΄Π΅ΠΉ).
β’ ΠΠΆΠΈΠ΄Π°Π΅ΠΌΠΎ ΡΠ΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ ai ΠΈΠ΄Π΅ΠΉ Π±ΡΠ»ΠΈ Π΄ΠΎΡΡΡΠΏΠ½Ρ ΡΠ΅ΠΌ Π»ΡΡΡΠ΅ ΠΏΠΎΠ»ΡΡΠ°Π»ΡΡ ΡΠ΅ΠΊΡΡ. ΠΡΠΎ Π²Π°Π»ΠΈΠ΄ΠΈΡΠΎΠ²Π°Π»ΠΈ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΌ. ΠΡΠΎΠ±Π΅Π½Π½ΠΎ Π΅ΡΠ»ΠΈ Π½Π°Π²ΡΠΊΠΈ Ρ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠ° Π±ΡΠ»ΠΈ ΡΠ»Π°Π±Π΅Π΅ ΠΈΠ·Π½Π°ΡΠ°Π»ΡΠ½ΠΎ.
β’ ΠΠΎ! Π§Π΅ΠΌ Π°ΠΊΡΠΈΠ²Π½Π΅Π΅ Π»ΡΠ΄ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π»ΠΈ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠΈ AI, ΡΠ΅ΠΌ Π±ΠΎΠ»Π΅Π΅ ΠΏΠΎΡ ΠΎΠΆΠΈΠΌΠΈ ΡΡΠ°Π½ΠΎΠ²ΠΈΠ»ΠΈΡΡ ΠΈΡ ΡΠ΅ΠΊΡΡΡ. ΠΠΎΠ½ΡΠ°Π²ΠΈΠ»ΠΎΡΡ ΡΡΠΎ ΡΡΡ ΡΠΆΠ΅ Π½Π΅ Π»ΡΠ΄ΠΈ ΠΏΡΠΎΠ²Π΅ΡΡΠ»ΠΈ, Π° ΡΠ΅ΡΠ΅Π· ΠΊΠΎΡΠΈΠ½ΡΡΠ½ΠΎΠ΅ ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³ΠΎΠ² ΡΠ΅ΠΊΡΡΠΎΠ²
ΠΡΠ΅Π²ΠΈΠ΄Π½ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ - Π²ΡΠ΅ΠΌ Π½ΡΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ°Π·Π½ΡΠ΅ ΡΠ΅ΡΠΊΠΈ ΠΈ ΡΠ°ΡΡ, ΠΈ ΡΠ΅ΠΌΠΏΠ΅ΡΠ°ΡΡΡΡ ΠΏΠΎΠ΄Π½ΡΡΡ
Π ΠΎΡΠ½ΠΎΠ²Π΅ ΡΠ΅ΡΠ΅Π½ΠΈΡ "ΠΠ°ΡΠΈΠ»ΠΈΡΠ°" Π»Π΅ΠΆΠΈΡ Π½Π°ΡΠ° Π°Π²ΡΠΎΡΡΠΊΠ°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ "ΠΠ΅Π½ΠΎΠ½" Π½Π° 1.5B
https://huggingface.co/bond005/meno-tiny-0.1
ΠΠ° MERA (Π΄Π»Ρ ΡΡΡΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°) ΠΌΠΎΠ΄Π΅Π»Ρ "ΠΠ΅Π½ΠΎΠ½" - Π»ΡΡΡΠΈΠΉ ΡΡΠ΅Π΄ΠΈ ΠΌΠ°Π»ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ "for edge devices" Π² ΡΠ²ΠΎΠ΅ΠΌ ΡΠ°Π·ΠΌΠ΅ΡΠ½ΠΎΠΌ ΠΊΠ»Π°ΡΡΠ΅.
ΠΠ°Π·Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ "ΠΠ΅Π½ΠΎΠ½" - ΡΡΠΎ ΠΎΡΡΡΠ»ΠΊΠ° ΠΊ ΠΎΠ΄Π½ΠΎΠΌΡ ΠΈΠ· ΡΠΎΠΊΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΡ Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ² ΠΠ»Π°ΡΠΎΠ½Π° ΠΎ ΡΠΎΠΌ, ΠΈΡΡΠΈΠ½Π½ΠΎΠ΅ Π·Π½Π°Π½ΠΈΠ΅ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠ΅ΡΠ΅Π· ΠΏΡΠΈΠΏΠΎΠΌΠΈΠ½Π°Π½ΠΈΠ΅ ΡΠΎΠ³ΠΎ, ΡΡΠΎ ΡΠΎΠ·Π΅ΡΡΠ°Π»Π° Π΄ΡΡΠ° Π² ΠΌΠΈΡΠ΅ ΠΈΠ΄Π΅ΠΉ (Π² Π½Π°ΡΠ΅ΠΌ ΡΠ»ΡΡΠ°Π΅ "ΠΌΠΈΡ ΠΈΠ΄Π΅ΠΉ" - ΡΡΠΎ Π²Π½Π΅ΡΠ½ΡΡ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΠΈ Π±Π°Π·Π° Π·Π½Π°Π½ΠΈΠΉ).
https://huggingface.co/bond005/meno-tiny-0.1
ΠΠ° MERA (Π΄Π»Ρ ΡΡΡΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°) ΠΌΠΎΠ΄Π΅Π»Ρ "ΠΠ΅Π½ΠΎΠ½" - Π»ΡΡΡΠΈΠΉ ΡΡΠ΅Π΄ΠΈ ΠΌΠ°Π»ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ "for edge devices" Π² ΡΠ²ΠΎΠ΅ΠΌ ΡΠ°Π·ΠΌΠ΅ΡΠ½ΠΎΠΌ ΠΊΠ»Π°ΡΡΠ΅.
ΠΠ°Π·Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ "ΠΠ΅Π½ΠΎΠ½" - ΡΡΠΎ ΠΎΡΡΡΠ»ΠΊΠ° ΠΊ ΠΎΠ΄Π½ΠΎΠΌΡ ΠΈΠ· ΡΠΎΠΊΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΡ Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ² ΠΠ»Π°ΡΠΎΠ½Π° ΠΎ ΡΠΎΠΌ, ΠΈΡΡΠΈΠ½Π½ΠΎΠ΅ Π·Π½Π°Π½ΠΈΠ΅ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠ΅ΡΠ΅Π· ΠΏΡΠΈΠΏΠΎΠΌΠΈΠ½Π°Π½ΠΈΠ΅ ΡΠΎΠ³ΠΎ, ΡΡΠΎ ΡΠΎΠ·Π΅ΡΡΠ°Π»Π° Π΄ΡΡΠ° Π² ΠΌΠΈΡΠ΅ ΠΈΠ΄Π΅ΠΉ (Π² Π½Π°ΡΠ΅ΠΌ ΡΠ»ΡΡΠ°Π΅ "ΠΌΠΈΡ ΠΈΠ΄Π΅ΠΉ" - ΡΡΠΎ Π²Π½Π΅ΡΠ½ΡΡ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΠΈ Π±Π°Π·Π° Π·Π½Π°Π½ΠΈΠΉ).
huggingface.co
bond005/meno-tiny-0.1 Β· Hugging Face
Weβre on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from GigaDev β ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ° GigaChat
π₯ ΠΠ°ΠΊ FP8-Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ ΡΡΠΊΠΎΡΡΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Π±ΠΎΠ»ΡΡΠΈΡ
ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ?
ΠΠΎΠ³Π΄Π°-ΡΠΎ ΠΏΠ΅ΡΠ΅Ρ ΠΎΠ΄ Π½Π° FP16 Π² ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠΌ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠΈ Π±ΡΠ» Π½Π°ΡΡΠΎΡΡΠΈΠΌ Π²ΡΠ·ΠΎΠ²ΠΎΠΌ β ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΠ»ΠΎΡΡ Π±ΠΎΡΠΎΡΡΡΡ Ρ ΠΏΠ΅ΡΠ΅ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ΠΌ ΡΠΈΡΠ΅Π», ΠΏΠΎΡΠ΅ΡΠ΅ΠΉ ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΈ Π½Π΅ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎΡΡΡΡ ΡΡΠ΅Π½ΠΈΡΠΎΠ²ΠΊΠΈ. Π‘ΠΎ Π²ΡΠ΅ΠΌΠ΅Π½Π΅ΠΌ ΠΏΠΎΡΠ²ΠΈΠ»ΡΡ BF16, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠΎΠ²ΠΌΠ΅ΡΡΠΈΠ» Π² ΡΠ΅Π±Π΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ FP32 ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΡΡΡ FP16, ΡΠΈΠ»ΡΠ½ΠΎ ΡΠΏΡΠΎΡΡΠΈΠ² ΡΠ°Π±ΠΎΡΡ ΠΈ ΡΠ΄Π΅ΡΠ΅Π²ΠΈΠ² ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.
ΠΠΎ ΠΏΡΠΎΠ³ΡΠ΅ΡΡ Π½Π΅ ΡΡΠΎΠΈΡ Π½Π° ΠΌΠ΅ΡΡΠ΅: Ρ ΠΎΡΠ΅ΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π΅ΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΡΠΉ ΡΠΈΠΏ FP8, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ΅Ρ ΡΡΠΊΠΎΡΠΈΡΡ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ ΡΠ΅ΠΎΡΠ΅ΡΠΈΡΠ΅ΡΠΊΠΈ Π°ΠΆ Π² 4 ΡΠ°Π·Π° ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ Ρ FP32.
ΠΠ²ΡΡΠΈΡ ΠΊΡΡΡΠΎ, Π½ΠΎ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅ Π΅ΡΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ: FP8 Π±ΡΠ²Π°Π΅Ρ ΡΠ°Π·Π½ΡΠΌ. Π‘Π°ΠΌΡΠ΅ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ½Π½ΡΠ΅ ΡΠΎΡΠΌΠ°ΡΡ:
πΈ E4M3 β ΡΠΈΡΠ΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ ΡΠΈΡΠ΅Π», Π½ΠΈΠΆΠ΅ ΡΠΎΡΠ½ΠΎΡΡΡ (ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΠΈΡ Π΄Π»Ρ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΉ)
πΈ E5M2 β ΡΠΎΡΠ½Π΅Π΅ ΡΠΈΡΠ»Π°, Π½ΠΎ ΡΠΆΠ΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ (Π»ΡΡΡΠ΅ Π΄Π»Ρ Π²Π΅ΡΠΎΠ²)
ΠΠ·-Π·Π° ΡΠΎΠ³ΠΎ, ΡΡΠΎ Π² FP8 Π²ΡΠ΅Π³ΠΎ 8 Π±ΠΈΡ Π½Π° ΡΠΈΡΠ»ΠΎ, Π±ΡΡΡΡΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΠΏΠ΅ΡΠ΅ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΈΠ»ΠΈ, Π½Π°ΠΎΠ±ΠΎΡΠΎΡ, ΡΠ»ΠΈΡΠΊΠΎΠΌ ΡΠΈΠ»ΡΠ½ΠΎΠ³ΠΎ ΠΎΠΊΡΡΠ³Π»Π΅Π½ΠΈΡ. ΠΠΎΡΡΠΎΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ FP8 Π½Π°ΠΏΡΡΠΌΡΡ Π΄Π»Ρ Π²ΡΠ΅Ρ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΉ ΠΏΠΎΠΊΠ° Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ. ΠΡΠΆΠ½ΠΎ Ρ ΠΈΡΡΠΎ ΠΏΠΎΠ΄Π±ΠΈΡΠ°ΡΡ ΡΠΎΡΠΌΠ°ΡΡ ΠΈ Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΠΎΠ²Π°ΡΡ ΠΌΠ°ΡΡΡΠ°Π± Π΄Π°Π½Π½ΡΡ .
Π GigaChat ΠΌΡ Π½Π°ΡΠ°Π»ΠΈ Π²Π½Π΅Π΄ΡΡΡΡ FP8 ΠΏΠΎΡΡΠ΅ΠΏΠ΅Π½Π½ΠΎ, ΡΡΠΎΠΊΡΡΠΈΡΠΎΠ²Π°Π²ΡΠΈΡΡ ΡΠ½Π°ΡΠ°Π»Π° Π½Π° Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΡΡΠ΅ΠΉ Π΄Π»Ρ Π½Π΅Π³ΠΎ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ β ΠΏΠ΅ΡΠ΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠΈ ΠΌΠ°ΡΡΠΈΡ (GEMM). ΠΠΎ Π΄Π°ΠΆΠ΅ Π·Π΄Π΅ΡΡ Π²ΠΎΠ·Π½ΠΈΠΊΠ»ΠΈ ΡΠ²ΠΎΠΈ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ: Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ ΠΈ Π²Π΅ΡΠ° Π²ΡΡ Π΅ΡΡ Ρ ΡΠ°Π½ΡΡΡΡ Π² BF16, Π° Π·Π½Π°ΡΠΈΡ, ΠΊΠ°ΠΆΠ΄ΡΡ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΡ Π½ΡΠΆΠ½ΠΎ ΠΏΡΠ΅Π΄Π²Π°ΡΡΡΡ ΠΊΠΎΠ½Π²Π΅ΡΡΠ°ΡΠΈΠ΅ΠΉ ΡΠΈΠΏΠΎΠ²:
Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ (BF16) β FP8
Π²Π΅ΡΠ° (BF16) β FP8
ΠΏΠ΅ΡΠ΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠ°ΡΡΠΈΡ Π² FP8
ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ (FP8) β ΠΎΠ±ΡΠ°ΡΠ½ΠΎ Π² BF16
ΠΠ΅Π· ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ ΡΡΠΈ ΠΏΠΎΡΡΠΎΡΠ½Π½ΡΠ΅ ΠΏΡΠ΅ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ ΠΏΡΠΈΠ²ΠΎΠ΄ΡΡ ΠΊ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ Π½Π°ΠΊΠ»Π°Π΄Π½ΡΠΌ ΡΠ°ΡΡ ΠΎΠ΄Π°ΠΌ. Π ΠΈΠΌΠ΅Π½Π½ΠΎ Π·Π΄Π΅ΡΡ ΠΊΡΠΈΡΠΈΡΠ΅ΡΠΊΠΈ Π²Π°ΠΆΠ΅Π½
ΠΠ΅ΡΠΌΠΎΡΡΡ Π½Π° ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ, ΠΌΡ ΡΠΆΠ΅ ΡΠΌΠΎΠ³Π»ΠΈ ΡΡΠΊΠΎΡΠΈΡΡ ΡΡΠ΅Π½ΠΈΡΠΎΠ²ΠΊΡ Π½Π° Π²ΠΏΠ΅ΡΠ°ΡΠ»ΡΡΡΠΈΠ΅ 27%, ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΡΠΎΡ ΡΠ°Π½ΠΈΠ² ΡΠΎΡΠ½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ π
Π§ΡΠΎ ΠΌΠΎΠΆΠ½ΠΎ Π΄Π΅Π»Π°ΡΡ Π΄Π°Π»ΡΡΠ΅:
πΈ Π‘ΠΎΠΊΡΠ°ΡΠΈΡΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ BF16-Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΉ ΡΠ°ΠΌ, Π³Π΄Π΅ ΡΡΠΎ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π±Π΅Π· ΠΏΠΎΡΠ΅ΡΠΈ ΠΊΠ°ΡΠ΅ΡΡΠ²Π°
πΈ ΠΠ΅ΡΠ΅Π²ΠΎΠ΄ΠΈΡΡ ΠΌΠ΅ΠΆΡΠ·Π»ΠΎΠ²ΡΠ΅ ΠΊΠΎΠΌΠΌΡΠ½ΠΈΠΊΠ°ΡΠΈΠΈ Π½Π° FP8
β‘οΈΠΡΠ΄Π΅ΠΌ Π΄Π΅ΡΠΆΠ°ΡΡ Π²Π°Ρ Π² ΠΊΡΡΡΠ΅ ΡΠ»Π΅Π΄ΡΡΡΠΈΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ! Stay tuned
P.S. ΠΠΎΠ»ΡΡΠΎΠ΅ ΡΠΏΠ°ΡΠΈΠ±ΠΎ GigaChat Max 2.0 Π·Π° Π°Π½ΠΈΠΌΠ°ΡΠΈΡ!
ΠΠΎΠ³Π΄Π°-ΡΠΎ ΠΏΠ΅ΡΠ΅Ρ ΠΎΠ΄ Π½Π° FP16 Π² ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠΌ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠΈ Π±ΡΠ» Π½Π°ΡΡΠΎΡΡΠΈΠΌ Π²ΡΠ·ΠΎΠ²ΠΎΠΌ β ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΠ»ΠΎΡΡ Π±ΠΎΡΠΎΡΡΡΡ Ρ ΠΏΠ΅ΡΠ΅ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ΠΌ ΡΠΈΡΠ΅Π», ΠΏΠΎΡΠ΅ΡΠ΅ΠΉ ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΈ Π½Π΅ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎΡΡΡΡ ΡΡΠ΅Π½ΠΈΡΠΎΠ²ΠΊΠΈ. Π‘ΠΎ Π²ΡΠ΅ΠΌΠ΅Π½Π΅ΠΌ ΠΏΠΎΡΠ²ΠΈΠ»ΡΡ BF16, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠΎΠ²ΠΌΠ΅ΡΡΠΈΠ» Π² ΡΠ΅Π±Π΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ FP32 ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΠΎΡΡΡ FP16, ΡΠΈΠ»ΡΠ½ΠΎ ΡΠΏΡΠΎΡΡΠΈΠ² ΡΠ°Π±ΠΎΡΡ ΠΈ ΡΠ΄Π΅ΡΠ΅Π²ΠΈΠ² ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.
ΠΠΎ ΠΏΡΠΎΠ³ΡΠ΅ΡΡ Π½Π΅ ΡΡΠΎΠΈΡ Π½Π° ΠΌΠ΅ΡΡΠ΅: Ρ ΠΎΡΠ΅ΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π΅ΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΡΠΉ ΡΠΈΠΏ FP8, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ΅Ρ ΡΡΠΊΠΎΡΠΈΡΡ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ ΡΠ΅ΠΎΡΠ΅ΡΠΈΡΠ΅ΡΠΊΠΈ Π°ΠΆ Π² 4 ΡΠ°Π·Π° ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ Ρ FP32.
ΠΠ²ΡΡΠΈΡ ΠΊΡΡΡΠΎ, Π½ΠΎ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅ Π΅ΡΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ: FP8 Π±ΡΠ²Π°Π΅Ρ ΡΠ°Π·Π½ΡΠΌ. Π‘Π°ΠΌΡΠ΅ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ½Π½ΡΠ΅ ΡΠΎΡΠΌΠ°ΡΡ:
πΈ E4M3 β ΡΠΈΡΠ΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ ΡΠΈΡΠ΅Π», Π½ΠΈΠΆΠ΅ ΡΠΎΡΠ½ΠΎΡΡΡ (ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΠΈΡ Π΄Π»Ρ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΉ)
πΈ E5M2 β ΡΠΎΡΠ½Π΅Π΅ ΡΠΈΡΠ»Π°, Π½ΠΎ ΡΠΆΠ΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ (Π»ΡΡΡΠ΅ Π΄Π»Ρ Π²Π΅ΡΠΎΠ²)
ΠΠ·-Π·Π° ΡΠΎΠ³ΠΎ, ΡΡΠΎ Π² FP8 Π²ΡΠ΅Π³ΠΎ 8 Π±ΠΈΡ Π½Π° ΡΠΈΡΠ»ΠΎ, Π±ΡΡΡΡΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΠΏΠ΅ΡΠ΅ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΈΠ»ΠΈ, Π½Π°ΠΎΠ±ΠΎΡΠΎΡ, ΡΠ»ΠΈΡΠΊΠΎΠΌ ΡΠΈΠ»ΡΠ½ΠΎΠ³ΠΎ ΠΎΠΊΡΡΠ³Π»Π΅Π½ΠΈΡ. ΠΠΎΡΡΠΎΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ FP8 Π½Π°ΠΏΡΡΠΌΡΡ Π΄Π»Ρ Π²ΡΠ΅Ρ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΉ ΠΏΠΎΠΊΠ° Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ. ΠΡΠΆΠ½ΠΎ Ρ ΠΈΡΡΠΎ ΠΏΠΎΠ΄Π±ΠΈΡΠ°ΡΡ ΡΠΎΡΠΌΠ°ΡΡ ΠΈ Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΠΎΠ²Π°ΡΡ ΠΌΠ°ΡΡΡΠ°Π± Π΄Π°Π½Π½ΡΡ .
Π GigaChat ΠΌΡ Π½Π°ΡΠ°Π»ΠΈ Π²Π½Π΅Π΄ΡΡΡΡ FP8 ΠΏΠΎΡΡΠ΅ΠΏΠ΅Π½Π½ΠΎ, ΡΡΠΎΠΊΡΡΠΈΡΠΎΠ²Π°Π²ΡΠΈΡΡ ΡΠ½Π°ΡΠ°Π»Π° Π½Π° Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΡΡΠ΅ΠΉ Π΄Π»Ρ Π½Π΅Π³ΠΎ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ β ΠΏΠ΅ΡΠ΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠΈ ΠΌΠ°ΡΡΠΈΡ (GEMM). ΠΠΎ Π΄Π°ΠΆΠ΅ Π·Π΄Π΅ΡΡ Π²ΠΎΠ·Π½ΠΈΠΊΠ»ΠΈ ΡΠ²ΠΎΠΈ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ: Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ ΠΈ Π²Π΅ΡΠ° Π²ΡΡ Π΅ΡΡ Ρ ΡΠ°Π½ΡΡΡΡ Π² BF16, Π° Π·Π½Π°ΡΠΈΡ, ΠΊΠ°ΠΆΠ΄ΡΡ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΡ Π½ΡΠΆΠ½ΠΎ ΠΏΡΠ΅Π΄Π²Π°ΡΡΡΡ ΠΊΠΎΠ½Π²Π΅ΡΡΠ°ΡΠΈΠ΅ΠΉ ΡΠΈΠΏΠΎΠ²:
Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ (BF16) β FP8
Π²Π΅ΡΠ° (BF16) β FP8
ΠΏΠ΅ΡΠ΅ΠΌΠ½ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠ°ΡΡΠΈΡ Π² FP8
ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ (FP8) β ΠΎΠ±ΡΠ°ΡΠ½ΠΎ Π² BF16
ΠΠ΅Π· ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ ΡΡΠΈ ΠΏΠΎΡΡΠΎΡΠ½Π½ΡΠ΅ ΠΏΡΠ΅ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ ΠΏΡΠΈΠ²ΠΎΠ΄ΡΡ ΠΊ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ Π½Π°ΠΊΠ»Π°Π΄Π½ΡΠΌ ΡΠ°ΡΡ ΠΎΠ΄Π°ΠΌ. Π ΠΈΠΌΠ΅Π½Π½ΠΎ Π·Π΄Π΅ΡΡ ΠΊΡΠΈΡΠΈΡΠ΅ΡΠΊΠΈ Π²Π°ΠΆΠ΅Π½
torch.compile
: ΠΎΠ½ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΎΠ±ΡΠ΅Π΄ΠΈΠ½ΡΠ΅Ρ ΡΠ΅ΠΏΠΎΡΠΊΠΈ ΡΠ°ΠΊΠΈΡ
ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΉ, ΠΈΠ·Π±Π°Π²Π»ΡΡΡΡ ΠΎΡ Π½Π΅Π½ΡΠΆΠ½ΡΡ
ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΡΡ
ΡΠ°Π³ΠΎΠ² ΠΈ ΡΠ΅Π·ΠΊΠΎ ΡΠ½ΠΈΠΆΠ°Ρ Π·Π°Π΄Π΅ΡΠΆΠΊΠΈ ΠΈ ΠΊΠΎΠΏΠΈΡΠΎΠ²Π°Π½ΠΈΡ.ΠΠ΅ΡΠΌΠΎΡΡΡ Π½Π° ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ, ΠΌΡ ΡΠΆΠ΅ ΡΠΌΠΎΠ³Π»ΠΈ ΡΡΠΊΠΎΡΠΈΡΡ ΡΡΠ΅Π½ΠΈΡΠΎΠ²ΠΊΡ Π½Π° Π²ΠΏΠ΅ΡΠ°ΡΠ»ΡΡΡΠΈΠ΅ 27%, ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΡΠΎΡ ΡΠ°Π½ΠΈΠ² ΡΠΎΡΠ½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ π
Π§ΡΠΎ ΠΌΠΎΠΆΠ½ΠΎ Π΄Π΅Π»Π°ΡΡ Π΄Π°Π»ΡΡΠ΅:
πΈ Π‘ΠΎΠΊΡΠ°ΡΠΈΡΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ BF16-Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΉ ΡΠ°ΠΌ, Π³Π΄Π΅ ΡΡΠΎ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π±Π΅Π· ΠΏΠΎΡΠ΅ΡΠΈ ΠΊΠ°ΡΠ΅ΡΡΠ²Π°
πΈ ΠΠ΅ΡΠ΅Π²ΠΎΠ΄ΠΈΡΡ ΠΌΠ΅ΠΆΡΠ·Π»ΠΎΠ²ΡΠ΅ ΠΊΠΎΠΌΠΌΡΠ½ΠΈΠΊΠ°ΡΠΈΠΈ Π½Π° FP8
β‘οΈΠΡΠ΄Π΅ΠΌ Π΄Π΅ΡΠΆΠ°ΡΡ Π²Π°Ρ Π² ΠΊΡΡΡΠ΅ ΡΠ»Π΅Π΄ΡΡΡΠΈΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ! Stay tuned
P.S. ΠΠΎΠ»ΡΡΠΎΠ΅ ΡΠΏΠ°ΡΠΈΠ±ΠΎ GigaChat Max 2.0 Π·Π° Π°Π½ΠΈΠΌΠ°ΡΠΈΡ!
Forwarded from Kier from TOP
Dubai Prompt Engineering Championship
Discovered that there is going to be a prompting championship in the end of April held in Dubai with a registration deadline of tomorrow.
There will be 4 tracks:
1. Art
2. Video
3. Gaming
4. Coding
I liked how the team set up the competition itself, looks like they care for the work they do. Hope my submission will be accepted and Iβll get to meet them in person.
Enquiring more I also discovered a One Million Prompters initiative with a course by Dubai Centre for Artificial Intelligence.
Besides this initiative being extremely good is in terms of education and making sure people have an access to the emerging professions, it got me thinking⦠One Million Prompters can become One Million AI-preneurs spinning up their businesses in TMAs for 1B of Telegram users one day, so this is nothing short of inspiring.
Come join the event if you are around Dubai, letβs talk.
Website: https://challenge.dub.ai/en/
Course: https://dub.ai/en/omp/
#TMA #AIpreneurship #Dubai
Discovered that there is going to be a prompting championship in the end of April held in Dubai with a registration deadline of tomorrow.
There will be 4 tracks:
1. Art
2. Video
3. Gaming
4. Coding
I liked how the team set up the competition itself, looks like they care for the work they do. Hope my submission will be accepted and Iβll get to meet them in person.
Enquiring more I also discovered a One Million Prompters initiative with a course by Dubai Centre for Artificial Intelligence.
Besides this initiative being extremely good is in terms of education and making sure people have an access to the emerging professions, it got me thinking⦠One Million Prompters can become One Million AI-preneurs spinning up their businesses in TMAs for 1B of Telegram users one day, so this is nothing short of inspiring.
Come join the event if you are around Dubai, letβs talk.
Website: https://challenge.dub.ai/en/
Course: https://dub.ai/en/omp/
#TMA #AIpreneurship #Dubai
Forwarded from AbstractDL
M-Attack: ΠΊΠ°ΠΊ ΠΎΠ±ΠΌΠ°Π½ΡΡΡ GPT-4.5 ΠΈ Gemini
ΠΡΠ΅ ΠΏΡΠΈΠ²ΡΠΊΠ»ΠΈ, ΡΡΠΎ Π°ΡΠ°ΠΊΠΎΠ²Π°ΡΡ ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΠ΅ ΠΌΡΠ»ΡΡΠΈΠΌΠΎΠ΄Π°Π»ΡΠ½ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (ΡΠΈΠΏΠ° GPT-4o, Claude, Gemini ΠΈ Ρ.ΠΏ.) ΠΊΡΠ°ΠΉΠ½Π΅ ΡΠ»ΠΎΠΆΠ½ΠΎ β ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ, Π΅ΡΠ»ΠΈ ΡΡΠΎ black-box ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π³Π΄Π΅ Π½Π΅Ρ Π΄ΠΎΡΡΡΠΏΠ° ΠΊ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠ°ΠΌ ΠΈ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ΅. Π‘ΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠ΅ ΠΏΠΎΠ΄Ρ ΠΎΠ΄Ρ Π°ΡΠ°ΠΊ ΡΠΈΠΏΠ° "Π²ΡΠ΄Π°ΡΡ ΠΎΠ΄Π½Ρ ΠΊΠ°ΡΡΠΈΠ½ΠΊΡ Π·Π° Π΄ΡΡΠ³ΡΡ" ΡΠ°ΡΡΠΎ Π³Π΅Π½Π΅ΡΠΈΡΡΡΡ ΠΊΠ°ΠΊΠΈΠ΅-ΡΠΎ Π½Π΅Π²Π½ΡΡΠ½ΡΠ΅ ΡΡΠΌΡ, ΠΊΠΎΡΠΎΡΡΠ΅ Π»ΠΈΠ±ΠΎ ΠΈΠ³Π½ΠΎΡΠΈΡΡΡΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΡΡ, Π»ΠΈΠ±ΠΎ ΠΏΡΠΈΠ²ΠΎΠ΄ΡΡ ΠΊ Π°Π±ΡΡΡΠ°ΠΊΡΠ½ΡΠΌ ΠΎΡΠ²Π΅ΡΠ°ΠΌ ΡΠΈΠΏΠ° "ΡΠ°Π·ΠΌΡΡΠΎΠ΅ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠ΅".
ΠΠΎ ΠΎΠΊΠ°Π·Π°Π»ΠΎΡΡ, ΡΡΠΎ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° Π±ΡΠ»Π° Π½Π΅ Π² ΡΠ°ΠΌΠΈΡ ΠΌΠΎΠ΄Π΅Π»ΡΡ , Π° Π² ΠΏΠΎΠ΄Ρ ΠΎΠ΄Π΅ ΠΊ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ Π²ΠΎΠ·ΠΌΡΡΠ΅Π½ΠΈΠΉ. Π ΡΠ²Π΅ΠΆΠ΅ΠΉ ΡΡΠ°ΡΡΠ΅ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠΈΠ»ΠΈ ΠΎΡΠ΅Π½Ρ ΠΏΡΠΎΡΡΠΎΠΉ, Π½ΠΎ ΠΌΠΎΡΠ½ΡΠΉ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ β M-Attack:
1. ΠΠ΅ΡΡΠΌ ΠΈΡΡ ΠΎΠ΄Π½ΡΡ ΠΈ ΡΠ΅Π»Π΅Π²ΡΡ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ.
2. ΠΠ° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΡΠ°Π³Π΅ ΡΠ°Π½Π΄ΠΎΠΌΠ½ΠΎ crop'Π°Π΅ΠΌ ΠΊΡΡΠΎΠΊ ΠΈΡΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ (50-100% ΠΏΠ»ΠΎΡΠ°Π΄ΠΈ) ΠΈ Π·Π°ΡΠ΅ΠΌ ΡΠ΅ΡΠ°ΠΉΠ·ΠΈΠΌ ΠΎΠ±ΡΠ°ΡΠ½ΠΎ Π΄ΠΎ ΠΈΡΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ°.
3. ΠΠ°ΡΡΠ°Π²Π»ΡΠ΅ΠΌ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³ΠΈ ΡΡΠΎΠ³ΠΎ ΠΊΡΡΠΎΡΠΊΠ° ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎ ΠΏΡΠΈΠ±Π»ΠΈΠ·ΠΈΡΡΡΡ ΠΊ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³Π°ΠΌ ΡΠ΅Π»Π΅Π²ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΡΡΡΡ Π² white-box ΡΠ΅ΠΆΠΈΠΌΠ΅ ΠΏΠΎ Π°Π½ΡΠ°ΠΌΠ±Π»Ρ ΠΎΡΠΊΡΡΡΡΡ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, CLIP, ViT ΠΈ ΡΠΏ).
Π Π²ΡΡ! ΠΠΎΡΠ»Π΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ ΠΈΡΠ΅ΡΠ°ΡΠΈΠΉ Π² ΡΠ΅Π½ΡΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ "ΠΏΡΠΎΡΠ²Π»ΡΠ΅ΡΡΡ" ΡΠ΅Π»Π΅Π²Π°Ρ ΡΠ΅ΠΌΠ°Π½ΡΠΈΠΊΠ°, ΠΏΡΠΈ ΡΡΠΎΠΌ Π²ΠΎΠ·ΠΌΡΡΠ΅Π½ΠΈΡ Π²ΡΠ³Π»ΡΠ΄ΡΡ ΠΊΡΠ°ΠΉΠ½Π΅ Π½Π΅Π·Π°ΠΌΠ΅ΡΠ½ΠΎ ΠΈ Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ (Π² ΠΎΡΠ»ΠΈΡΠΈΠ΅ ΠΎΡ Π΄ΡΡΠ³ΠΈΡ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΠΎΠ²).
ΠΠ²ΡΠΎΡΡ Π΄ΠΎΠ±ΠΈΠ»ΠΈΡΡ ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π²ΠΏΠ΅ΡΠ°ΡΠ»ΡΡΡΠΈΡ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠΎΠ²: ΡΡΠΏΠ΅Ρ Π°ΡΠ°ΠΊΠΈ (ASR) ΠΏΡΠ΅Π²ΡΡΠ°Π΅Ρ 90% (!) Π΄Π»Ρ GPT-4.5, GPT-4o ΠΈ Π΄Π°ΠΆΠ΅ Π΄Π»Ρ o1 ΠΈ Gemini. ΠΠΎΠ΄ ΠΈ Π΄Π°ΡΠ°ΡΠ΅Ρ ΠΈΠ· 100 Π°ΡΠ°ΠΊΠΎΠ²Π°Π½Π½ΡΡ ΠΊΠ°ΡΡΠΈΠ½ΠΎΠΊ Π²ΡΠ»ΠΎΠΆΠΈΠ»ΠΈ Π² ΠΎΡΠΊΡΡΡΡΠΉ Π΄ΠΎΡΡΡΠΏ.
Π‘ΡΠ°ΡΡΡ, GitHub, dataset
ΠΡΠ΅ ΠΏΡΠΈΠ²ΡΠΊΠ»ΠΈ, ΡΡΠΎ Π°ΡΠ°ΠΊΠΎΠ²Π°ΡΡ ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΠ΅ ΠΌΡΠ»ΡΡΠΈΠΌΠΎΠ΄Π°Π»ΡΠ½ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (ΡΠΈΠΏΠ° GPT-4o, Claude, Gemini ΠΈ Ρ.ΠΏ.) ΠΊΡΠ°ΠΉΠ½Π΅ ΡΠ»ΠΎΠΆΠ½ΠΎ β ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ, Π΅ΡΠ»ΠΈ ΡΡΠΎ black-box ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π³Π΄Π΅ Π½Π΅Ρ Π΄ΠΎΡΡΡΠΏΠ° ΠΊ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠ°ΠΌ ΠΈ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ΅. Π‘ΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠ΅ ΠΏΠΎΠ΄Ρ ΠΎΠ΄Ρ Π°ΡΠ°ΠΊ ΡΠΈΠΏΠ° "Π²ΡΠ΄Π°ΡΡ ΠΎΠ΄Π½Ρ ΠΊΠ°ΡΡΠΈΠ½ΠΊΡ Π·Π° Π΄ΡΡΠ³ΡΡ" ΡΠ°ΡΡΠΎ Π³Π΅Π½Π΅ΡΠΈΡΡΡΡ ΠΊΠ°ΠΊΠΈΠ΅-ΡΠΎ Π½Π΅Π²Π½ΡΡΠ½ΡΠ΅ ΡΡΠΌΡ, ΠΊΠΎΡΠΎΡΡΠ΅ Π»ΠΈΠ±ΠΎ ΠΈΠ³Π½ΠΎΡΠΈΡΡΡΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΡΡ, Π»ΠΈΠ±ΠΎ ΠΏΡΠΈΠ²ΠΎΠ΄ΡΡ ΠΊ Π°Π±ΡΡΡΠ°ΠΊΡΠ½ΡΠΌ ΠΎΡΠ²Π΅ΡΠ°ΠΌ ΡΠΈΠΏΠ° "ΡΠ°Π·ΠΌΡΡΠΎΠ΅ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠ΅".
ΠΠΎ ΠΎΠΊΠ°Π·Π°Π»ΠΎΡΡ, ΡΡΠΎ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° Π±ΡΠ»Π° Π½Π΅ Π² ΡΠ°ΠΌΠΈΡ ΠΌΠΎΠ΄Π΅Π»ΡΡ , Π° Π² ΠΏΠΎΠ΄Ρ ΠΎΠ΄Π΅ ΠΊ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ Π²ΠΎΠ·ΠΌΡΡΠ΅Π½ΠΈΠΉ. Π ΡΠ²Π΅ΠΆΠ΅ΠΉ ΡΡΠ°ΡΡΠ΅ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠΈΠ»ΠΈ ΠΎΡΠ΅Π½Ρ ΠΏΡΠΎΡΡΠΎΠΉ, Π½ΠΎ ΠΌΠΎΡΠ½ΡΠΉ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ β M-Attack:
1. ΠΠ΅ΡΡΠΌ ΠΈΡΡ ΠΎΠ΄Π½ΡΡ ΠΈ ΡΠ΅Π»Π΅Π²ΡΡ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ.
2. ΠΠ° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΡΠ°Π³Π΅ ΡΠ°Π½Π΄ΠΎΠΌΠ½ΠΎ crop'Π°Π΅ΠΌ ΠΊΡΡΠΎΠΊ ΠΈΡΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ (50-100% ΠΏΠ»ΠΎΡΠ°Π΄ΠΈ) ΠΈ Π·Π°ΡΠ΅ΠΌ ΡΠ΅ΡΠ°ΠΉΠ·ΠΈΠΌ ΠΎΠ±ΡΠ°ΡΠ½ΠΎ Π΄ΠΎ ΠΈΡΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ°.
3. ΠΠ°ΡΡΠ°Π²Π»ΡΠ΅ΠΌ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³ΠΈ ΡΡΠΎΠ³ΠΎ ΠΊΡΡΠΎΡΠΊΠ° ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎ ΠΏΡΠΈΠ±Π»ΠΈΠ·ΠΈΡΡΡΡ ΠΊ ΡΠΌΠ±Π΅Π΄Π΄ΠΈΠ½Π³Π°ΠΌ ΡΠ΅Π»Π΅Π²ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΡΡΡΡ Π² white-box ΡΠ΅ΠΆΠΈΠΌΠ΅ ΠΏΠΎ Π°Π½ΡΠ°ΠΌΠ±Π»Ρ ΠΎΡΠΊΡΡΡΡΡ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, CLIP, ViT ΠΈ ΡΠΏ).
Π Π²ΡΡ! ΠΠΎΡΠ»Π΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ ΠΈΡΠ΅ΡΠ°ΡΠΈΠΉ Π² ΡΠ΅Π½ΡΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ "ΠΏΡΠΎΡΠ²Π»ΡΠ΅ΡΡΡ" ΡΠ΅Π»Π΅Π²Π°Ρ ΡΠ΅ΠΌΠ°Π½ΡΠΈΠΊΠ°, ΠΏΡΠΈ ΡΡΠΎΠΌ Π²ΠΎΠ·ΠΌΡΡΠ΅Π½ΠΈΡ Π²ΡΠ³Π»ΡΠ΄ΡΡ ΠΊΡΠ°ΠΉΠ½Π΅ Π½Π΅Π·Π°ΠΌΠ΅ΡΠ½ΠΎ ΠΈ Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ (Π² ΠΎΡΠ»ΠΈΡΠΈΠ΅ ΠΎΡ Π΄ΡΡΠ³ΠΈΡ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΠΎΠ²).
ΠΠ²ΡΠΎΡΡ Π΄ΠΎΠ±ΠΈΠ»ΠΈΡΡ ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π²ΠΏΠ΅ΡΠ°ΡΠ»ΡΡΡΠΈΡ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠΎΠ²: ΡΡΠΏΠ΅Ρ Π°ΡΠ°ΠΊΠΈ (ASR) ΠΏΡΠ΅Π²ΡΡΠ°Π΅Ρ 90% (!) Π΄Π»Ρ GPT-4.5, GPT-4o ΠΈ Π΄Π°ΠΆΠ΅ Π΄Π»Ρ o1 ΠΈ Gemini. ΠΠΎΠ΄ ΠΈ Π΄Π°ΡΠ°ΡΠ΅Ρ ΠΈΠ· 100 Π°ΡΠ°ΠΊΠΎΠ²Π°Π½Π½ΡΡ ΠΊΠ°ΡΡΠΈΠ½ΠΎΠΊ Π²ΡΠ»ΠΎΠΆΠΈΠ»ΠΈ Π² ΠΎΡΠΊΡΡΡΡΠΉ Π΄ΠΎΡΡΡΠΏ.
Π‘ΡΠ°ΡΡΡ, GitHub, dataset
This media is not supported in your browser
VIEW IN TELEGRAM
Jointly announcing EAGLE-3 with SGLang: Setting a new record in LLM inference acceleration!
- 5xπthan vanilla (on HF)
- 1.4xπthan EAGLE-2 (on HF)
- A record of ~400 TPS on LLama 3.1 8B with a single H100 (on SGLang)
- 1.65xπin latency even for large bs=64 (on SGLang)
- A new scaling law: more training data, better speedup
- Apache 2.0
Paper: https://arxiv.org/abs/2503.01840
Code: https://github.com/SafeAILab/EAGLE
SGLang version: https://github.com/sgl-project/sglang/pull/4247
@opendatascience
- 5xπthan vanilla (on HF)
- 1.4xπthan EAGLE-2 (on HF)
- A record of ~400 TPS on LLama 3.1 8B with a single H100 (on SGLang)
- 1.65xπin latency even for large bs=64 (on SGLang)
- A new scaling law: more training data, better speedup
- Apache 2.0
Paper: https://arxiv.org/abs/2503.01840
Code: https://github.com/SafeAILab/EAGLE
SGLang version: https://github.com/sgl-project/sglang/pull/4247
@opendatascience