#nlp #про_nlp #gpt4

🌸Ресурсы для prompt engineering🌸

Набор библиотек и инструментов, которые помогут быстрее подобрать лучшие затравки для языковых моделей и запустить новое приложение.

🟣Платформы:

Dust.tt
Dust.tt — платформа, которая помогает создавать приложения с большими языковыми моделями на базе запросов к API. Есть простой в использовании веб-интерфейс для создания цепочек подсказок и бизнес-логики, а также набор стандартных блоков и настраиваемый язык программирования для анализа и контроля выходных данных языковой модели. Есть также интерактивный помощник в форме Chrome extension и поддержка разных API

Human Loop
Human Loop — платформа с демо GPT-4 и другими LLM, похожая на демо OpenAI, но с некоторыми дополнительными функциями. Можно получать метрики качества работы моделей от людей-разметчиков.

Promptify
Библиотека и маркетплейс затравок и готовых приложений на них. Под капотом — уже отточенные методы подбора затравок и промпт-тюнинга.

🟣Python-библиотеки:

LangChain
LangChain — библиотека с поддержкой различных LLM, методов контроля результатов, шаблонов для создания затравок под самые разные приложения, включая чат-боты, суммаризацию, внешние базы знаний.

BetterPrompt
BetterPrompt — библиотека для тестирования затравок для LLM перед отправкой в PROD

PromptSource
PromptSourceбиблиотека для контроля версий затравок, и подбора готовых затравок для различных задач и датасетов. Можно оценивать свою языковую модель ровно в тех же условиях, что и все остальные на таких бенчмарках, как SuperGLUE, есть интеграция с HuggingFace.

OpenPrompt
OpenPrompt — библиотека для промт-тюнинга и подбора оптимальных затравок под задачу. Есть интеграция с моделями HuggingFace

TextBox
TextBox 2.0 — фреймворк для работы с LLM и их оценкой. Поддерживаются 47 разных языковых моделей и различные методы подбора затравок, few-shot, zero-shot, автоматические метрики оценки качества

🟣Другие инструменты:
ThoughtSource
ThoughtSource открытая библиотека для сбора самых разных методов работы с chain-of-thought reasoning у LLM. Поддерживает множество моделей, датасетов, метрик и стилей формулировок для ризонинга.

GPT Index / LlamaIndex 🦙
GPT Index библиотека с инструментами для оптимальной работы с внешними данными, базами знаний в различных форматах и их интеграции с LLM.

Interactive Composition Explorer
ICE — библиотека для дебага chain-of-thougths, есть визуализация цепочек затравок для дебага LLM.

🌸Все данные для тестов LLM скомпрометированы? 🌸
#nlp #про_nlp #nlp_papers

Часто можно услышать критику о том, что результатам оценки LLM не стоит доверять, так как многие бенчмарки и датасеты уже давно лежат на гитхабе, а значит, наверняка попали в обучение моделей.

Как надежно тестировать языковые модели, если у нас часто нет доступа к их обучающим данным, а некоторые так и полностью от нас закрыты? Что, если данные были скомпрометированы?

Авторы Alpaca представили новый метод, позволяющий оценить риск утечки (контаминации) датасета, т.е. его ненамеренное/намеренное попадание в обучающую выборку у языковых моделей.

Идея простая: будем считать, что модель "запоминает" задания и ответы на них в той же последовательности, как они идут в датасете. Давайте проверим, сможем ли мы установить статистически значимую разницу в качестве решений задачи, если будем показывать моделям набор тестов задачи в том порядке, как он идут в самом датасете, или же в перемешанном порядке.
Спойлер: да, можем.

Искусственный эксперимент, при котором небольшой модели (1.4 млрд параметров) при обучении на Википедии "подкладывают" тестовые сеты различных датасетов — один раз, десять раз и т.д. — показывает, что при 10 и более копиях теста в обучении разница в качестве решения устанавливается достаточно надежно, и можно с уверенностью сказать, что можель опирается на запоминание, а не на обобщение или другие "возникающие" интеллектуальные способности.

Авторы протестировали несколько LLM (LLaMA2-7B, Mistral-7B, Pythia-1.4B, GPT-2 XL, BioMedLM) на публичных датасетах — и некоторые из них оказались действительно скомпрометированы. Например, Arc challenge точно попал в обучение Mistral, да еще и 10+ раз!

Выводы:
🟣Мы уже можем тестировать языковые модели, в том числе доступные только по API, на "честность" решения самых разных задач, а также можем проверять, не меняется ли картина во времени.
🟣Реальную сложность представляет обнаружение утечки теста, когда он попал в обучение всего один раз (не удается стат значимо установить разницу в качестве решений)
🟣Нас может ждать глобальный и регулярный пересмотр подхода к тестированию моделей, так как открытые ответы регулярно выкладываются на открытые площадки и, соответственно, компрометируются. Оценка LLM должна быть привязана ко времени?
🟣Остается проверить так все модели OpenAI?

🟣Статья: Proving Test Set Contamination in Black Box Language Models link

🌸Бесплатные курсы по LLM🌸
#nlp #про_nlp

Небольшое обновление поста про бесплатные курсы NLP/LLM, на этот раз добавлю англоязычных материалов. Всё разбила на две группы: посложнее и поприкладнее-попроще.

🌸Для MLE:
Для курсов требуется английский, требуется Python, основы машинного обучения, базовая теория вероятности и статистика, линейная алгебра.

🟣CS224N: Natural Language Processing with Deep Learning
https://web.stanford.edu/class/cs224n/
Крутой стэнфордский курс, идет каждый год с обновлениями. В этом году впервые лекции решили не выкладывать на youtube, хотя остались в публичном доступе все лекции 2023 — их очень советую.

🟣Chris Manning — конспекты
https://web.stanford.edu/class/cs224n/readings/cs224n-self-attention-transformers-2023_draft.pdf
Преподаватель курса выше и один из самых успешных ученых, авторов исследовательских работ без большого компьюта (DPO, Backpack language models), Крис Маннинг все материалы лекций выкладывает в открытый доступ. По датам обновлений видно, что обновленные материалы -- для курса 2024 года, пользуйтесь! https://web.stanford.edu/class/cs224n/readings/

🟣Dan Jurafsky — Speech and Language Processing (3rd ed. draft)
Автор основного за последние 20 лет учебника по NLP, и тоже из Стэнфорда, Дэн Журафски продолжает выкладывать в открытый доступ новые главы учебника, постоянно обновляя старые. Это вообще практически единственная книга, которую можно прочитать целиком и уже иметь ключи к пониманию 80% происходящего в индустрии.
Последнее обновление учебника – 5 января 2024:
https://web.stanford.edu/~jurafsky/slpdraft/

🟣Transformers United
https://web.stanford.edu/class/cs25/prev_years/2023_winter/index.html
Второй по важности курс, чтобы понимать, что происходит — с общей направленностью на NLP, CV и мультимодальные модели.


🌸Курсы попроще
Требуется только английский и Python

🟣HuggingFace NLP Course
https://huggingface.co/learn/nlp-course/
Верхнеуровневый курс прикладной направленности, научит запускать инференс и тюнинг основных моделей, позволит примерно понять, что происходит внутри и какие параметры ставить для каких задач.

🟣Cohere LLM University
https://docs.cohere.com/docs/llmu
Все настроено, конечно, чтобы вас научить работать именно с продуктами Cohere, но сами по себе обзорные материалы неплохие. Из плюсов — есть Discord сообщество курса.

🟣Learn Prompting
https://learnprompting.org/docs/intro
Хороший дополняемый сборник лучших практик по промпт-инжинирингу, построению chain-of-thought, reasoning, построению ансамблей и систем проверки пайплайнов с промптами.