Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.8K subscribers
2.23K photos
111 videos
64 files
4.64K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
加入频道
Создание изображения в Python

Чтобы создать новое изображение с помощью библиотеки Python Pillow PIL, используйте метод Image.nеw().

В этом примере мы создаем новое изображение в режиме RGB с размером (200, 200).

Мы не будем указывать цвет, поэтому методы new() считают значение цвета по умолчанию 0 – для каналов RGB будет черным цветом.

Подробнее с методом можно ознакомиться здесь.
#код
👍3
Очередной #дайджест по Python:

✍️ Как мы заинжектили кнопку на Behance
Как появился python‑модуль behance‑py, который, если верить статистике с pepy.tech, имеет более 5 тысяч установок и расширение для Chrome, о котором более подробно в статье.

✍️ “Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python
В статье раскрыли тему обработки пространственных данных средствами Python библиотеки estaty.

✍️ Борьба с несбалансированными данными
Почему несбалансированные данные — это такая большая проблема?

✍️ Головоломки на Python: Увлекательный Путь к Мастерству в Программировании
В этой статье автор представляет серию увлекательных головоломок, разработанных для развития навыков программирования на Python.
👍1
Что должен знать каждый разработчик о вычислениях на графическом процессоре

Большинство программистов хорошо разбираются в процессорах и последовательном программировании, поскольку пишут код для процессоров, но многие из них менее знакомы с внутренней работой графических процессоров и с тем, что делает их такими особенными.

Читать статью
🔥2
Китайский стартап в области искусственного интеллекта Zhipu привлекает финансирование в размере 300 миллионов долларов

Китайский разработчик искусственного интеллекта Zhipu с начала года привлек от инвесторов более 2,5 млрд юаней, или 342 млн долларов.

Читать статью
👍3🤯3
Как разработать модель машинного обучения для прогнозирования того, купит ли клиент продукт или нет?

Для разработки модели машинного обучения, которая прогнозирует вероятность покупки продукта клиентом, необходимо обучить модель на данных, содержащих информацию о клиентах, которые уже совершили покупку. После успешного обучения модель можно применять для предсказания поведения новых клиентов в отношении данного продукта.
#вопросы_с_собеседований
👍1
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
👍1👏1
Должен ли дата-инженер использовать Pandas в своем рабочем коде? [Реддит]

Pandas — фантастическая библиотека для чтения наборов данных на ходу и выполнения ежедневных задач по анализу данных. Однако целесообразно ли использовать его в нашем рабочем коде на Python?

Читать статью
👍2
Подрядчики, которых называют специалистами по данным, но которые не могут сделать то, что я от них ожидаю [Reddit]

Меня наняли в качестве старшего члена уже существовавшей команды по анализу данных. Сейчас я руковожу еще несколькими членами команды (которые были там до меня). Все они являются подрядчиками, и их дневная ставка ВЫСОКАЯ. Все они являются учеными-данными и имеют высшее образование. Я старше. Я выполнял множество технических ролей и не совсем уверен, какова моя официальная должность. Я могу заниматься наукой о данных, но на самом деле я просто создаю вещи. В прошлом я занимался разработкой данных, MLOps, DevOps, Cloud и т. д. Я мастер на все руки, но не мастер ни в чем. ...

Читать далее
👍3😁2
🍏Представлены процессоры Apple M3. На что они способны в работе с ИИ?

Презентация прошла сегодня ночью. Обычно Apple не говорит много об искусственном интеллекте, но на этот раз сообщила кое-что интересное. Так, мы узнали, что новый нейронный процессор (Neural Engine) внутри чипсетов M3 стал на 60% быстрее, чем в линейке M1, а данные при обработке хранятся на девайсе, что обеспечивает их защиту. Также Apple подчеркнула, что MacBook теперь оснащены 128 ГБ унифицированной памяти, и это позволяет работать с ещё более крупными Transformer-моделями, содержащими миллиарды параметров.

Цены на новые MacBook Pro с процессорами M3 начинаются с $1600.
🔥102👍2
🤖 25 бесплатных AI-инструментов для разработчиков
ИИ-помощники способны заменить GitHub Copilot, проверить код и даже сделать UX/UI-дизайн. Мы сделали подборку.

🟣 Codeuim
Помогает писать код. Можно опробовать в браузере или установить в качестве расширения в популярные IDE. Поддерживает более 70 языков программирования.
🟣 Codiga
Проверит, проанализирует и отрефакторит ваш код.
🟣 GPT Pilot
Создатели инструмента утверждают, что он позволит ускорить процесс разработки в 20 раз. С помощью GPT Pilot можно пошагово разработать собственное приложение.
🟣 Open Interpreter
Альтернатива официальному плагину Code Interpreter от Open AI. Может управлять браузером Chrome для поиска в интернете.
🟣 GPT-Code-Clippy
А это опенсорсный аналог GitHub Copilot на базе GPT-3.

Ещё 20 инструментов можно найти здесь

О других классных новых инструментах мы писали тут
#дайджест
👍11🔥2👾1
Президент США Джо Байден подписал указ о новых стандартах безопасности искусственного интеллекта. Документ требует, чтобы «разработчики самых мощных систем искусственного интеллекта делились результатами испытаний на безопасность и другой важной информацией с правительством США». Как вы думаете, должно ли государство вмешиваться в область разработки ИИ? Чем это может быть чревато?
😁8👾7👍4
🧠 Мозг может изучать окружающий мир таким же образом, как это делают вычислительные модели

Два исследования привели доказательства этому. Учёные сравнили процесс обучения мозга с машинным самообучением (self-supervised learning). Последнее используется в компьютерном зрении и позволяет моделям учиться различать визуальные сцены, не размеченные людьми заранее.

Исследователи обнаружили, что при обучении нейросетей с помощью self-supervised learning полученные модели генерируют паттерны активности, очень похожие на те, которые наблюдаются в мозге животных. В частности, паттерны активации узлов у модели образовали несколько решётчатых узоров с различными периодами, очень похожие на те, которые формируются решётчатыми нейронами в мозге. «Мы не можем сказать, относится ли это ко всему мозгу, но на разных уровнях и в различных областях мозга наши результаты, похоже, указывают на наличие некоего организующего принципа», — отметили учёные.

MIT News
🔥10🤔3👍21👏1
Как использовать алгоритмы бинарной классификации для многоклассовой классификации

Зачем? Ради разнообразия (или когда мы не знаем других способов решения задачи).

Допустим, нам нужно классифицировать фрукты: яблоки, бананы и апельсины. Тогда мы решаем несколько задач с двумя классами: сначала яблоки и не яблоки (бананы + апельсины), затем бананы и не бананы (яблоки + апельсины) и в конце концов апельсины и не апельсины (бананы + яблоки). Это метод One vs All.

В результате мы получаем три модели. Каждая из них пытается отнести новый объект (например, 🍎) к своей категории. Так, у нас есть три выхода: «Я на 92% уверена, что это яблоко» от первой модели; «Я на 5% уверена, что это банан» от второй модели; «Я на 9% уверена, что это апельсин» от третьей модели. Выбираем вариант «яблоко».

Источник
👍13👏4
🌦️Теперь модель Google MetNet-3 может предсказать погоду за сутки

MetNet-3 даёт прогнозы с высоким разрешением на срок до 24 часов вперёд для таких параметров, как осадки, температура поверхности, скорость и направление ветра, а также точка росы. Предыдущая версия модели MetNet-2 могла прогнозировать осадки только на 12 часов вперёд.

MetNet-3 создаёт детализированный прогноз с интервалом времени в 2 минуты и пространственным разрешением от 1 до 4 километров. Google утверждает, что новая модель превосходит традиционные методы прогнозирования, в том числе Numerical Weather Prediction (NWP). MetNet-3 использует данные прямых наблюдений за атмосферой, в частности точечные измерения с метеостанций.

На иллюстрации вверху — прогноз скорости ветра MetNet-3 на каждые 2 минуты в течение грядущих 24 часов с пространственным разрешением 4 км. Внизу — почасовой прогноз ENS с пространственным разрешением 18 км.

Google уже начала внедрять новую модель в свои продукты и сервисы.
👍14🤩21👾1
👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью
👍5
Раздражает ли вас, что все вокруг называют любые нейросети и другие модели машинного обучения искусственным интеллектом? Как вы думаете, искажает ли это представление о реальных возможностях современных моделей?
😁14🤔4👾2
This media is not supported in your browser
VIEW IN TELEGRAM
Это уже телепатия или ещё нет? ИИ научился реконструировать по активности мозга картинки, которые видел человек. Почти в режиме реального времени.

О новой системе искусственного интеллекта, способной на это, недавно рассказали исследователи Meta*. Для обучения использовали данные магнитоэнцефалографии (МЭГ). Система ИИ состоит из трёх частей:

- энкодера изображений,
- энкодера активности мозга,
- декодера изображений.

Первый энкодер создаёт векторные представления картинок как таковых, второй — обучается сопоставлять сигналы МЭГ с этими векторными представлениями, а третий декодер способен генерировать непрерывный поток изображений на основе активности мозга.

Пока реконструированные картинки получаются неточными и иногда даже смешными. Но, согласитесь, и это впечатляет.

Читать статью

*организация, деятельность которой запрещена на территории РФ
🤔9🤯42🔥2
💌 А у нас есть еженедельная email-рассылка, и в ней мы пишем о самом интересном в индустрии ИИ

Например, о том, как:
28 стран подписали соглашение о безопасности ИИ на саммите в Великобритании
Google DeepMind научила AlphaFold предсказывать 3D-структуры практически всех каталогизированных молекул в биологии, включая ДНК
В ChatGPT Plus появилась возможность анализировать и визуализировать данные из PDF-файлов и документов

Ещё мы рассказываем про полезные инструменты:
🔧 Palette — превращает чёрно-белые изображения в цветные
🔧 MagicPost — пишет первоклассные посты для LinkedIn
🔧 Speak — транскрибирует любые аудио- и видеоматериалы

Делаем подборки бесплатных книг:
📖 Machine Learning For Absolute Beginners
📖 Mathematics for Machine Learning

А также собираем полезные гайды и курсы. В тексте поста — часть, а если хотите всё, то подпишитесь на рассылку сегодня, чтобы получить письмо завтра.

#ИИproglib
👍4
🤖Соглашение между странами и пророчество: в Великобритании прошёл первый глобальный саммит об искусственном интеллекте

Саммит стартовал 1 ноября в Блетчли-парке и продлился два дня. В первый же день участники подписали «первое в мире соглашение» об управлении рискованными формами искусственного интеллекта (это касается и больших языковых моделей). Участвовали представители 28 стран, в том числе Китая и США.

👨‍💻Саммит не обошёлся без Илона Маска, который побеседовал с самим премьер-министром Великобритании Риши Сунаком. Предприниматель заявил, что рано или поздно настанет момент, когда необходимость работать исчезнет — всю работу сможет делать ИИ. Маск отметил, что это и хорошо, и плохо одновременно.

👑На саммите также прозвучало записанное заявление британского короля Карла III о том, что развитие искусственного интеллекта является «не менее важным, чем открытие электричества».

💷Помимо этого, Великобритания объявила, что инвестирует 225 миллионов фунтов стерлингов в новый суперкомпьютер для искусственного интеллекта Isambard-AI.
🥰4
Свежий #дайджест по DS

✍️ Чем может быть полезно хеширование в рекомендательных системах
У простой модели рекомендательной системы при использовании может возникнуть проблема масштабирования. Справиться с этим позволяет следующий трюк — множество пользователей сопоставляется с одним скрытым (latent) представлением с помощью хеш-функции.
✍️ Риски и перспективы использования LLM для проверки фактов
Авторы новой статьи проверили, как большие языковые модели справляются с фактчекингом. Оказалось, что хорошо, когда у них есть контекстуальная информация. При этом GPT-4 превосходит GPT-3.
✍️ Управление рисками искусственного интеллекта в эпоху быстрого прогресса
Авторы статьи предлагают серьёзно отнестись к возможности того, что универсальные системы ИИ превзойдут способности человека во многих критически важных областях в течение этого десятилетия или следующего.
✍️ 6 способов уменьшить галлюцинации ChatGPT
Про улучшение ответов модели с помощью промптов.
👍6🔥2