Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
🤖🛠️ 4 полезных инструмента для работы с ИИ: RAGFlow, The Pipe, UFO и SWE-agent
В новой статье рассматриваем 4 инструмента, которые расширяют возможности разработчика: от платформ для работы с документами до агентов, способных исправлять ошибки в коде.
🔗 Читать статью
🔗 Зеркало
В новой статье рассматриваем 4 инструмента, которые расширяют возможности разработчика: от платформ для работы с документами до агентов, способных исправлять ошибки в коде.
🔗 Читать статью
🔗 Зеркало
Если базовый классификатор в AdaBoost показывает крайне плохие результаты, то каким будет его вес?
Anonymous Quiz
27%
Очень высоким
35%
Очень низким
16%
Нулевым
23%
Зависит от данных
✍️ Разбор сложных задач
1️⃣ AdaBoost — это классический алгоритм бустинга, то есть комбинирует слабые модели в одну сильную. В данном случае алгоритм усиливает классификаторы, объединяя их в комитет. Работает он так:
▫️Вызывает слабые классификаторы в цикле. Каждый классификатор делает своё предсказание;
▫️После каждого вызова обновляется распределение весов, которые отвечают за важность каждого из объектов для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах.
▫️В завершение каждой итерации эффективность каждого классификатора оценивается, и на основе этой оценки определяется его вес в окончательном решении. Если эффективность классификатора низкая, то и вес будет низким: его вклад в итоговую модель будет минимален.
2️⃣ Начиная с Python 3.7 словари в Python стали упорядоченными. Это означает, что они сохраняют порядок вставки элементов. Если вы добавите элементы в словарь, они будут возвращены в том порядке, в каком были добавлены, при итерации по словарю или его выводе.
3️⃣ Вот как происходит вычисление этого выражения:
▫️None and False выведет None. Если в цепочке and все операнды являются истиной, то результатом будет последнее значение. А если какой-либо из операндов является False, результатом будет первое ложное значение. None считается ложным значением. None and False выведет None.
▫️Если какой либо операнд в цепочке or является истиной, немедленно возвращается первое истинное значение. Таким образом, None or True выведет True.
#разбор_задач
1️⃣ AdaBoost — это классический алгоритм бустинга, то есть комбинирует слабые модели в одну сильную. В данном случае алгоритм усиливает классификаторы, объединяя их в комитет. Работает он так:
▫️Вызывает слабые классификаторы в цикле. Каждый классификатор делает своё предсказание;
▫️После каждого вызова обновляется распределение весов, которые отвечают за важность каждого из объектов для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах.
▫️В завершение каждой итерации эффективность каждого классификатора оценивается, и на основе этой оценки определяется его вес в окончательном решении. Если эффективность классификатора низкая, то и вес будет низким: его вклад в итоговую модель будет минимален.
2️⃣ Начиная с Python 3.7 словари в Python стали упорядоченными. Это означает, что они сохраняют порядок вставки элементов. Если вы добавите элементы в словарь, они будут возвращены в том порядке, в каком были добавлены, при итерации по словарю или его выводе.
3️⃣ Вот как происходит вычисление этого выражения:
▫️None and False выведет None. Если в цепочке and все операнды являются истиной, то результатом будет последнее значение. А если какой-либо из операндов является False, результатом будет первое ложное значение. None считается ложным значением. None and False выведет None.
▫️Если какой либо операнд в цепочке or является истиной, немедленно возвращается первое истинное значение. Таким образом, None or True выведет True.
#разбор_задач
Самые полезные каналы для программистов в одной подборке!
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
Что выведет код с картинки выше?
Anonymous Quiz
12%
[1 2 3 3]
22%
[1 0 1]
58%
[0 0 1 2 3 1 1 1]
8%
[2 3 3]
Что такое Out-of-bag (OOB) ошибка в Случайном лесе?
Anonymous Quiz
8%
Ошибка, вычисленная на обучающем наборе данных
28%
Ошибка, вычисленная на решающих деревьях, которые не были выбраны в ансамбль
56%
Ошибка, вычисленная на данных, не включённых в бутстрэп-выборку
7%
Ошибка, возникшая из-за переобучения
✏️ Снова разбираем задачу с экзамена ШАД
Условие: Вова загадал не нормальный случайный вектор X с математическим ожиданием α 1️⃣ и матрицей ковариации Φ 2️⃣. Лёша загадал другой не нормальный случайный вектор Y с матожиданием β 3️⃣ и матрицей ковариации Ω 4️⃣.
Найдите среднее значение квадрата расстояния между этими векторами в евклидовом пространстве со стандартным скалярным произведением, если известно, что загаданные векторы независимы.
Решение: Пусть 5️⃣ и 6️⃣. Тогда 7️⃣. Символ ⊥ используется для обозначения независимости данных векторов, что влечёт за собой независимость их компонент. Это приводит к равенству произведения их математических ожиданий и математического ожидания их произведения.
Воспользуемся равенством 8️⃣ и линейностью математического ожидания. Получаем 9️⃣. Ответ равен 6.
#задачи_шад
Условие: Вова загадал не нормальный случайный вектор X с математическим ожиданием α 1️⃣ и матрицей ковариации Φ 2️⃣. Лёша загадал другой не нормальный случайный вектор Y с матожиданием β 3️⃣ и матрицей ковариации Ω 4️⃣.
Найдите среднее значение квадрата расстояния между этими векторами в евклидовом пространстве со стандартным скалярным произведением, если известно, что загаданные векторы независимы.
Решение: Пусть 5️⃣ и 6️⃣. Тогда 7️⃣. Символ ⊥ используется для обозначения независимости данных векторов, что влечёт за собой независимость их компонент. Это приводит к равенству произведения их математических ожиданий и математического ожидания их произведения.
Воспользуемся равенством 8️⃣ и линейностью математического ожидания. Получаем 9️⃣. Ответ равен 6.
#задачи_шад
Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
🤖💣 ИИ-ассистенты разработчика: скрытая угроза
Внедрение ИИ в процессы разработки и отладки неизменно сопровождается изматывающими обсуждениями с участием юристов, комплаенс-менеджеров и специалистов по кибербезопасности. И это понятно — никому не хочется нести ответственность за риски, связанные с безопасностью данных, конфиденциальностью и соблюдением авторских прав.
Однако самый важный вопрос — как использование ИИ повлияет на качество готового продукта — обычно остается без внимания. Именно эту проблему мы и обсудим.
🔗 Читать статью
🔗 Зеркало
Внедрение ИИ в процессы разработки и отладки неизменно сопровождается изматывающими обсуждениями с участием юристов, комплаенс-менеджеров и специалистов по кибербезопасности. И это понятно — никому не хочется нести ответственность за риски, связанные с безопасностью данных, конфиденциальностью и соблюдением авторских прав.
Однако самый важный вопрос — как использование ИИ повлияет на качество готового продукта — обычно остается без внимания. Именно эту проблему мы и обсудим.
🔗 Читать статью
🔗 Зеркало
Хардкорный курс по математике для тех, кто правда любит математику!
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/7a0a51af
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/7a0a51af
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/7a0a51af
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Какая из следующих матриц оставит изображение без изменений после операции свёртки?
Anonymous Quiz
36%
1
48%
2
10%
3
6%
4
Forwarded from Proglib.academy | IT-курсы
Очень кратко пересказываем историю одного специалиста, который устроился в Data Science после работы в авиационной промышленности. В карточках — его путь и одна из рекомендаций, а в статье по ссылке — большая подборка полезных ресурсов!
А чтобы следовать совету и окружить себя подходящим информационным фоном, изучайте другие классные статьи про Data Science:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍️ Воскресный разбор задач
Сегодня рассмотрим одну задачу по свёртке.
При свёртке у нас есть ядро (kernel) — небольшая матрица весов. Это ядро «скользит» по входным данным, выполняя поэлементное умножение для той части данных, которую сейчас покрывает. Результаты перемножений ячеек суммируются в одном выходном пикселе.
В этой задаче хоть и не было прямо указано, но предполагалось, что размер выходного изображения (матрицы) должен остаться таким же, что и размер входного изображения. Для этого исходную матрицу можно дополнить «поддельными» пикселями вокруг. Тогда:
🟡 Ядро размещается поверх изображения так, чтобы его центр находился над текущим пикселем.
🟡 Элементы ядра умножаются на соответствующие элементы изображения под ними.
🟡 Результаты умножения суммируются, формируя новое значение для текущего пикселя.
Процесс повторяется для каждого пикселя изображения. Ядро последовательно «скользит» по всему изображению. Если используется ядро, которое в основном состоит из нулей с единицей по центру, как [[0, 0, 0], [0, 1, 0], [0, 0, 0]], каждый пиксель остаётся неизменным, поскольку только центральный пиксель умножается на 1, а все окружающие на 0. Это оставляет изображение без изменений после свёртки.
Мы можем проверить все ядра на изображении с помощью функции Filter2D() из OpenCV:
#разбор_задач
Сегодня рассмотрим одну задачу по свёртке.
При свёртке у нас есть ядро (kernel) — небольшая матрица весов. Это ядро «скользит» по входным данным, выполняя поэлементное умножение для той части данных, которую сейчас покрывает. Результаты перемножений ячеек суммируются в одном выходном пикселе.
В этой задаче хоть и не было прямо указано, но предполагалось, что размер выходного изображения (матрицы) должен остаться таким же, что и размер входного изображения. Для этого исходную матрицу можно дополнить «поддельными» пикселями вокруг. Тогда:
Процесс повторяется для каждого пикселя изображения. Ядро последовательно «скользит» по всему изображению. Если используется ядро, которое в основном состоит из нулей с единицей по центру, как [[0, 0, 0], [0, 1, 0], [0, 0, 0]], каждый пиксель остаётся неизменным, поскольку только центральный пиксель умножается на 1, а все окружающие на 0. Это оставляет изображение без изменений после свёртки.
Мы можем проверить все ядра на изображении с помощью функции Filter2D() из OpenCV:
from google.colab.patches import cv2_imshow
import cv2
import numpy as np
image = cv2.imread("dog.jpeg")
kernels = {
"1 kernel": np.array([[0, 0, 0], [0, 1, 0], [0, 0, 0]]),
"2 kernel": np.array([[1, 1, 1], [1, 1, 1], [1, 1, 1]]),
"3 kernel": np.array([[1, 1, 1], [1, 0, 1], [1, 1, 1]]),
"4 kernel": np.array([[1, 0, 0], [1, 0, 0], [1, 1, 1]])
}
for kernel in kernels.values():
convolved_image = cv2.filter2D(image, -1, kernel)
cv2_imshow(image)
cv2_imshow(convolved_image)
#разбор_задач
Please open Telegram to view this post
VIEW IN TELEGRAM