🧮Расчет косинусного сходства в Python

Косинусное сходство — это мера сходства между двумя векторами пространства внутреннего произведения.
Для двух векторов, A и B, косинусное сходство вычисляется как:

Подобие косинуса = ΣA i B i / (√ΣA i 2 √ΣB i 2 )

Объясним как вычислить косинусное сходство между векторами в Python с использованием функций из библиотеки NumPy.

Косинусное сходство между двумя векторами в Python

Данный код показывает, как вычислить косинусное сходство между двумя массивами в Python:
from numpy import dot
from numpy. linalg import norm

#define arrays
a = [23, 34, 44, 45, 42, 27, 33, 34]
b = [17, 18, 22, 26, 26, 29, 31, 30]

#calculate Cosine Similarity
cos_sim = dot (a, b)/( norm (a)\* norm (b))

cos_sim

0.965195008357566

Косинусное сходство между двумя массивами оказывается равным 0,965195 .

▪Обратите внимание, что этот метод будет работать с двумя массивами любой длины:
import numpy as np
from numpy import dot
from numpy. linalg import norm

#define arrays
a = np.random.randint(10, size= 100 )
b = np.random.randint(10, size= 100 )

#calculate Cosine Similarity
cos_sim = dot (a, b)/( norm (a)\* norm (b))

cos_sim

0.7340201613960431

▪Однако это работает только в том случае, если два массива имеют одинаковую длину:
import numpy as np
from numpy import dot
from numpy. linalg import norm

#define arrays
a = np.random.randint(10, size= 90 ) #length=90
b = np.random.randint(10, size= 100 ) #length=100

#calculate Cosine Similarity
cos_sim = dot (a, b)/( norm (a)\* norm (b))

cos_sim

ValueError : shapes (90,) and (100,) not aligned: 90 (dim 0) != 100 (dim 0)

@data_math

📌 Изучение линейной алгебры и матричных методов от MIT.

Курс покрывает все необходимые основы для работы с матрицами, включая SVD-разложение, backpropagation, градиентный спуск и даже первоначальные модели нейронных сетей, которые могут быть спрошены на собеседовании. В конце курса также представлены некоторые примеры работы с сигналами. Хотя курсы пересекаются в некоторых местах, это не является проблемой.


Посмотреть (линейная алгебра):
https://www.youtube.com/playlist?list=PL221E2BBF13BECF6C

Посмотреть (матричные методы):
https://www.youtube.com/playlist?list=PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k

#линейнаяалгебра #база

@data_math

Project Euler — платформа с математическими задачами для развития навыков программирования

Здесь вы найдёте более 700 математических задачек, требующих творческого подхода и использования программирования для успешного решения

Сервис отличается от многих других (таких как Codewars) тем, что здесь встречаются математическое мышление и кодинг

Стоимость: #бесплатно

#code #алгоритмы #математика

📎 Руководство по модулю Math Python (22 примера и 18 функций)

math - это встроенный модуль стандартной библиотеки Python 3, который предоставляет стандартные математические константы и функции. Модуль math можно использовать для выполнения различных математических вычислений, таких как числовые, тригонометрические, логарифмические и экспоненциальные вычисления.

В этой статье рассмотрены константы и функции, реализованные в модуле math с примерами кода

https://www.dataquest.io/blog/python-math-module-and-functions/

@data_math

Предварительная подготовка данных в Python [2 тома] [2023]

В двухтомнике представлены материалы по применению классических методов машинного обучения в различных промышленных задачах. Первый том посвящен инструментам Python – основным библиотекам, классам и функциям, необходимым для предварительной подготовки данных, построения моделей машинного обучения, выполнения различных стратегий валидации. В конце первого тома разбираются задачи с собеседований по SQL, Python, математической статистике и теории вероятностей. Во втором томе рассматривается сам процесс предварительной подготовки данных, а также некоторые метрики качества и ряд полезных библиотек и фреймворков (H2O, Dask, Docker, Google Colab).

Издание рассчитано на специалистов по анализу данных, а также может быть полезно широкому кругу специалистов, интересующихся машинным обучением.

📚 Книги

@data_math

Математика для Data Science: где и как учить?

В этом ролике автор поделится бесплатными ресурсами для изучения математики, необходимой для Data Science, и сделает их разбор.

00:00 Введение
00:34 Школьная математика
02:00 Статистика
03:00 Теория вероятностей
03:20 Линейная алгебра
04:07 Матанализ
05:00 Лучшие ресурсы
05:30 Создаем базу ресурсов вместе

Смотреть это видео на youtube: youtu.be/6ajAbghWzrs

Изучение красоты чистой математики новыми способами.

https://www.deepmind.com/blog/exploring-the-beauty-of-pure-mathematics-in-novel-ways

🔥 Бесплатный курс: Прикладная математика для машинного обучения

Курс направлен на студентов без математического бэкграунда. Будут изложены основные понятия необходимые для понимания методов, на которых строится машинное обучение и модели нейронных сетей. Также целью курса является разъяснить как могут быть преобразованы и представлены данные для последующего обучения моделей на них.

Курс состоит из 13 лекций и 13 семинаров. На лекциях излагаются теоретические основы перечисленных тем, с простыми примерами. На семинарах планируется разбор, демонстрация и практика применения программных реализаций и алгоритмов обозначенных теоретических объектов.

После освоения курса от слушателя ожидается в первую очередь понимание того, что из себя представляют как представлять свои данные численно, и как они обрабатываются моделями машинного обучения численно. Одновременно с этим, курс не ставит перед собой цель, обучить всех строгому выводу каждой формулы и каждой теоремы, только понимание требующееся для прикладного использования.

https://teach-in.ru/course/applied-mathematics-for-machine-learning/about

@data_math

Для обучения компьютерной математике исследователи объединяют подходы искусственного интеллекта



«Они будут говорить о единорогах, но забудут, что у них один рог, или расскажут вам историю, а после изменят детали», — рассказывает о больших языковых моделях (LLM — Large Language Model) Джейсон Рут из IBM Research.

Это больше, чем просто ошибки — LLM изо всех сил пытаются распознать свои ошибки, что ограничивает их производительность. Эта проблема не присуща системам искусственного интеллекта.

Модели машинного обучения, основанные на методе обучения с подкреплением, позволяют компьютерам учиться на своих ошибках и становиться вундеркиндами в таких играх, как шахматы и го. Хотя эти модели, как правило, более ограничены в своих возможностях, они представляют собой обучение такого рода, которого LLM еще не освоили.

«Не хочется создавать языковую модель, которая просто говорит как человек», — сказал Юхуай (Тони) Ву из Google AI. «Мы хотим, чтобы она понимала, о чем говорит».


Ву — соавтор двух недавних статей, где предлагается способ достижения этой цели. На первый взгляд, речь идет об очень конкретном приложении: обучении систем ИИ выполнять математические операции. В первой статье описывается обучение LLM переводу обычных математических выражений в формальный код, который компьютер может запускать и проверять. Во второй статье LLM обучили не только понимать математические задачи на естественном языке, но и решать их с помощью системы под названием Minerva.

В совокупности статьи предлагают форму будущей архитектуры ИИ, где LLM могут учиться рассуждать с помощью математического мышления.

«Есть глубокое обучение, обучение с подкреплением, AlphaGo, а теперь и языковые модели, — говорит об этом Сиддхартха Гэдгил, математик из Индийского института науки в Бангалоре, работающий с математическими системами ИИ. — Технология развивается во многих разных направлениях, и все они могут работать вместе».

📌 Читать дальше