Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.8K subscribers
2.23K photos
111 videos
64 files
4.64K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
加入频道
🧠 Придумали новый язык для параллельных вычислений

Его назвали Bend, и как пишут создатели, он очень похож на Python. С помощью Bend можно писать код для выполнения на многоядерных CPU/GPU без необходимости быть экспертом в C/CUDA и параллельных вычислениях.

В Bend есть такие штуки как неограниченная рекурсия, ветвления, алгебраические типы данных и пр.

🔗 Прочесть о языке подробнее можно на страничке проекта в GitHub
🤔54🥱2
📊 Где изучать Data Science в 2024 году?

Занимаясь наукой о данных, приходится постоянно учиться. Предлагаем вашему вниманию актуальный обзор из 25 новых книг, курсов, видеолекций и блогов для оттачивания мастерства в Data Science.

🔗 Читать статью
🔗 Зеркало
8🔥2😁2👍1
⚡️Proglib запускает канал про ИИ для генерации звука

Там мы будем рассказывать про все существующие нейросети, которые генерируют музыку и голос — с пошаговыми инструкциями, инструментами и лайфхаками.

⭐️генерация голоса и музыки
⭐️замена и перевод речи
⭐️распознавание звуков

👉Подписывайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👏1
💬 Как вы считаете: нужно ли уметь писать алгоритмы машинного обучения с нуля, чтобы считаться хорошим дата-сайентистом?

👾 — да
❤️ — необязательно

#интерактив
61👾53👏3🥰2
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
🖥 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали новый выпуск на 📰.

Ниже — небольшая часть выпуска, а целиком читайте здесь 👈

🏛Паттерн проектирования Unit of Work

Новый видеоролик рассказывает о паттерне Unit of Work, который используется для обеспечения согласованности данных при выполнении операций с базами данных.

🎸Как использовать PostgreSQL для управления очередями задач в Django

В этом видео подробно показан процесс настройки Django, создания класса Task и написания воркера.

📨Как отправлять зашифрованные имейлы с помощью собственного SMTP-сервера

Для отправки писем из Python-приложений можно использовать сторонние API или напрямую подключаться к SMTP-серверу. Второй метод пошагово разобран в этой статье.

Вы можете подписаться на email-рассылку здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии

Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью.

В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа.

🔗 Читать статью
🔗 Зеркало
👍21
🖥️🔤 Транскрибация видео и создание субтитров с помощью Whisper, FFmpeg и Python

Следуя нашему пошаговому руководству, вы сможете автоматически транскрибировать аудио и добавлять субтитры к своим видео всего за несколько минут.

🔗 Читать руководство
🔗 Зеркало
👍6👏4🔥3
🧡💛 Туториал по продвинутому использованию Google Colab

Автор туториала — один из инженеров машинного обучения Google. Он расскажет, как использовать:
▪️секреты;
▪️кастомные сниппеты;
▪️Colab AI;
▪️кастомные VM;
▪️kitty mode.

🔗 Ссылка на туториал
👍4🔥3
📊 SQL в Jupyter-ноутбуках

Инструмент JupySQL предлагает расширения к магической команде %%sql. Он позволяет:

▫️выполнять SQL-запросы непосредственно в Jupyter-ноутбуке;
▫️легко конвертировать результаты в датафреймы Pandas;
▫️удобно организовать большие SQL-запросы, разбивая их на управляемые части;
▫️строить графики из больших наборов данных с эффективным управлением памятью.

🔗 Ссылка на GitHub-репозиторий JupySQL
🔗 Ссылка на документацию
👍171👾1
📈 Стать аналитиком Big Data: пошаговое руководство 2024

Big Data — это наборы данных очень больших размеров, которые также характеризуются многообразием и высокой скоростью обновления. Аналитики больших данных находят и исследуют в них закономерности с помощью специальных программных средств.

В нашей обновлённой статье рассказываем, какие знания, онлайн-курсы, подкасты и книги помогут начать карьеру в сфере Big Data без специального образования🧑‍🎓

🔗 Читать статью
🔗 Зеркало
4
🎯 Как изменились бенчмарки в 2024 году

Автор Telegram-канала Kali Novskaya поделилась своими мыслями по поводу того, как изменилась процедура оценки языковых моделей. Она считает, что 5 привычных заповедей бенчмарков больше не соблюдаются. Это:

▫️Датасеты и бенчмарки всегда живут дольше, чем модели.
Теперь бенчмарки устаревают за месяц, нередко тесты оказываются в обучающей выборке.

▫️Тестовые сеты можно спокойно выкладывать в открытый доступ.
На самом деле, любые датасеты легко попадают в обучающую выборку, в том числе из-за массового сбора данных по сети.

▫️Новый датасет даёт более надёжный результат.
Это правило теперь работает не всегда — только в тех случаях, когда новый датасет составляется людьми с нуля.

▫️Разработчики моделей сами прогоняют свою модель и подбирают лучшие параметры.
Теперь разработчики, скорее, отдают контейнер организаторам лидерборда, чтобы те его его запустили и сравнили с другими. Поэтому перебор гиперпараметров сделать нельзя.

▫️Однократной оценки достаточно.
Современные модели стоит проверять чаще, так как они постоянно обновляются, а некоторые и вовсе используют информацию из сторонних источников.
👍2😢1
💻🚀💊 «Доктор Хаус»: ИИ-диагност в вашем телефоне. Передаём стартап в хорошие руки

В предыдущей части статьи инженер ПО рассказывал о том, как поучаствовал в хакатоне по созданию ИИ-стартапа. В новой части автор уделяет больше внимания итоговому продукту, а не процессу соревнования.

Продукт — это мобильное приложение Dr. House, ИИ-диагност, который может поставить предварительный диагноз. Внутри статьи также есть полная информация о проекте и ссылка на его исходный код.

🔗 Читать статью
🔗 Зеркало
😁4🔥3👍2👏1