Machine learning Interview
36.6K subscribers
1.17K photos
87 videos
14 files
802 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
加入频道
🦠 Как писать код так, чтобы open-source проект рос сам по себе (как колония бактерий)

Неожиданный, но полезный принцип: код стоит писать как бактерии пишут ДНК.
Звучит странно, но у природы за миллиарды лет выработался стиль, который идеально подходит для быстрого роста и масштабирования. И он отлично ложится на open-source.

Что делает "бактериальный код" особенным:

– Он маленький — потому что каждая строка «стоит энергии»
– Он модульный — код разбит на независимые блоки (как опероны в генах)
– Он самодостаточный — кусок кода можно просто скопировать и вставить в другой проект, без зависимостей

Теперь представьте, что ваш код читают как библиотеку сниппетов.
Можно ли выдернуть одну функцию — и она сразу принесёт пользу?
Можно ли вставить ваш класс в чужой проект — и он просто заработает?

Если да, значит код "бактериальный" — и это хорошо.

Почему это работает:
Такой код легко распространяется, переиспользуется, адаптируется. Люди могут взять только нужное, не вникая в архитектуру всего проекта. И это ключ к живому open-source: когда код «живет отдельно от автора».

Теперь про монорепы.
Сложные проекты всё равно требуют структуры — как организм требует согласованной работы органов.
Это уже стиль "эукариот" — более крупный, связанный, менее гибкий, но подходящий для системного масштаба.

Вывод:
Хочешь сложную платформу — строй "монорепу".
Хочешь, чтобы твой open-source проект рос, развивался и жил без тебя — пиши код как бактерии:
маленько, модульно, автономно, копируемо.

Это стиль, который колонизировал всё: от термальных источников до вакуума в космосе. И он работает.

▶️ Оригинал пост от Karpathy

#opensource #кодстиль #cleanCode #dev #community #softwaredesign
Please open Telegram to view this post
VIEW IN TELEGRAM
16👍3🔥3
Forwarded from Machinelearning
🔥 Новые модели OpenAI нашли в релизе Transformers 4.55

GPT-OSS — опенсорс модели для продвинутого reasoning и агентных задач.

🧠 Представлено два варианта:
GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)

💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4

✔️ Особенности:
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Модель заточена на CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o

Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-девайсов

🧠 GPT‑OSS‑120B — запускается на одной 80GB GPU
GPT‑OSS‑20B — запускается на 16GB GPU

🏴‍☠️Лицензирование: Apache 2.0

https://github.com/huggingface/transformers/releases/tag/v4.55.0

💥 Официальный релиз: http://openai.com/open-models

@ai_machinelearning_big_data


#openai #opensource #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
👍289🔥5👨‍💻2
🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска

SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, без GPU — и всё это без потери качества.

🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью

⚙️ Производительность (CPU-only, Q4_0):
🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти

🏃‍♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.

#LLM #SmallThinker #AI #LocalLLM #OpenSource

HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
🔥22👍13🥰103👨‍💻1