💬Слышали ли вы про новый язык программирования Mojo? А про Julia?
Их описывают как альтернативы Python, и некоторые разработчики уже активно используют новые языки в проектах. А вы разделяете энтузиазм по поводу «пайтонзаменителей»?

❤️ — про Mojo/Julia слышал, но не заинтересовался и не изучил
👍 — про Mojo/Julia слышал, заинтересовался и планирую изучить
👾 — не слышал про такое/неинтересно

#интерактив

🧠Чему вы бы хотели научиться?

Расскажите нам о ваших пожеланиях: какие навыки вы хотели бы прокачать в ближайшее время или какую профессию хотели бы приобрести?

За прохождение опроса вы получите промокод на скидку 15% на все наши курсы до конца 2024 года.

👉Опрос по ссылке👈

🔥 «Для дома»: вышла опенсорсная языковая модель Mixtral с производительностью уровня GPT-3.5

Особенность новой Mixtral 8x7B в том, что она использует подход sparse mixture of experts (SMoE). Эта нейросеть состоит только из декодеров, в каждом из которых блок feedforward выбирает из восьми различных групп параметров. На каждом слое для каждого токена сеть использует две из этих групп («экспертов»), чтобы получить выход. Это позволяет модели не задействовать все параметры сразу, что ускоряет работу. Всего у Mixtral 46.7 млрд параметров, но используются 12.9 млрд на токен.

🏃‍♂️Авторы утверждают, что их модель превосходит Llama 2 70B в большинстве бенчмарков — показывает скорость работы 6x.

Вот ещё возможности Mixtral:
🔸Позволяет работать с контекстным окном в 32 тысяч токенов.
🔸Показывает хорошую производительность при генерации кода.
🔸Её можно дообучить до хорошей instruct-модели (будет следовать вашим инструкциям).

📖 Подробный блогпост Mistral AI

👀 Небольшой обзор функций активации в машинном обучении

Функция активации — это, по сути, нелинейное преобразование, которое применяется к пришедшим на вход данным.

✔️Sigmoid, сигмоида
Исторически была одной из первых. Её область значений лежит в промежутке от 0 до 1. Требует ресурсозатратного вычисления экспоненты, может привести к затуханию градиента.
✔️Tanh, гиперболический тангенс
Область значений у неё в отличие от сигмоиды симметрична; лежит в диапазоне от -1 до 1. В остальном имеет те же проблемы.
✔️ReLU, Rectified linear unit
Эта простая кусочно-линейная функция довольно популярна. Её область значений смещена относительно нуля, при использовании возможно затухание градиента. Зато ReLU легко вычисляется.
✔️Leaky ReLU
Благодаря дополнительному гиперпараметру ϵ имеет более симметричную относительно нуля область значений. Меньше провоцирует затухание градиента.

Есть также популярная GELU, в которой используется функция распределения стандартной нормальной случайной величины.

🧠 Google Colaboratory стал умнее

🔸Во-первых, в колаб добавили встроенный ИИ-помощник. Теперь при нажатии на ячейку можно выбрать generate и появится поле для ввода промпта. Можно, например, ввести «write a simple linear regression model» и в ячейке тут же сгенерируется простой код с использованием библиотеки scikit-learn.
🔸Во-вторых, для всех, кто использует экспериментальные функции в Chrome, стала доступна фишка с прямым экспортом результатов поискового запроса в Colaboratory. Это касается запросов, связанных с Python. Нужно, чтобы был активирован Search Generative Experiences (SGE).

🐍🤖✍️ Документирование кода и проектов на Python с помощью ChatGPT

Научимся создавать документацию к коду, комментарии, руководства к библиотекам и README-файлы с помощью популярного чат-бота.

👉Читать статью

🔢 LLM-ки DeepMind превзошли людей в решении математических проблем

Команда Google представила новый метод поиска решений FunSearch. Он объединяет разные большие языковые модели (в частности, PaLM 2), чтобы получать решения в форме кода. В системе также есть компонент, которые борется с галлюцинациями LLM.

⭐ В DeepMind заявляют, что это первый раз, когда языковые модели сделали открытие в области науки или математики. FunSearch предложил новые решения для cap set problem, а также нашёл более эффективные алгоритмы для задачи об упаковке в контейнеры (bin packing problem).

📖Исследовательская статья DeepMind

Вышел новый arXiv Report с самыми цитируемыми статьями по ИИ за Q1-Q3 2023 г.

1️⃣GPT-4 Technical Report
На первом месте по цитированиям, конечно, статья OpenAI про GPT-4, вышедшая в марте.
2️⃣Llama 2: Open Foundation and Fine-Tuned Chat Models
На втором месте июльская статья про одну из крупнейших опенсорсных языковых моделей LLaMa-2.
3️⃣LLaMA: Open and Efficient Foundation Language Models
А на третьем более старая LLaMA, вышедшая в феврале.
4️⃣Sparks of Artificial General Intelligence: Early experiments with GPT-4
Далее снова работа про GPT-4 (всё-таки самая важная модель для сообщества). Авторы статьи показали, что LLM способна решать новые и сложные задачи, касающиеся математики, программирования и др.
5️⃣Judging LLM-as-a-Judge with MTBench and Chatbot Arena
Авторы изучали, могут ли языковые модели служить для оценки производительности чат-ботов.

👉Весь arXiv Report можно прочесть по этой ссылке

🐍📋 F-строки в Python для интерполяции и форматирования строк

Из статьи вы узнаете, как использовать f-строки — инструмент для быстрой интерполяции и форматирования строк, который превосходит по эффективности и читабельности классические подходы с применением оператора % и метода .format().

🔗Читать статью

✏️Шпаргалка по основам машинного обучения с формулами и графиками

В шпаргалке собраны:
▫️основные алгоритмы (от линейной регрессии до нейросетей);
▫️метрики;
▫️способы валидации и регуляризации;
▫️базовые понятия из теории вероятностей и комбинаторики;
▫️матричные операции.

Всё на 16 страницах. Подойдёт, чтобы освежить память перед собеседованием.

🔗Шпаргалка находится по этой ссылке

📁💡Где программисту взять идеи для портфолио

Портфолио — это классный способ впечатлить работодателей. Поэтому оно должно состоять не только из интересных проектов, но и отражать весь стек технологий, которым вы обладаете.

Однако у большинства айтишников портфолио состоит из похожих проектов, которыми мало кого можно впечатлить. Под катом разбираемся, как собрать классное портфолио, а главное — где взять интересные идеи для пет-проектов.

🔗 Читать статью
🔗 Зеркало

⚪ Pearl — библиотека для обучения с подкреплением

На днях исследователи Meta AI* представили библиотеку, которая позволяет разрабатывать агентов. Обучаемые агенты отдают приоритет долгосрочной обратной связи над немедленной и могут адаптироваться к средам с ограниченной наблюдаемостью, редкой обратной связью и высокой стохастичностью.

Чтобы воспользоваться Pearl, нужно просто склонировать себе репозиторий и установить зависимости:

git clone https://github.com/facebookresearch/Pearl.git
cd Pearl
pip install -e .

🔗Прочесть о библиотеке подробнее можно здесь

*организация, деятельность которой запрещена на территории РФ