Prompt injection в академических статьях

Помните старую историю об инъекциях в резюме соискателей?

Вот продолжение!

Исследовательские работы из 14 академических институтов в восьми странах, включая Японию, Южную Корею и Китай, содержат скрытые тексты, заставляющие инструменты искусственного интеллекта давать им хорошие отзывы

Я частенько сам почитываю статьи на arXiv, показавшимися интересными делюсь в этом канале, и даже подписан на ежедневные новинки. Пока я пытаюсь находить время и просматривать публикации самостоятельно (правда, с чудовищным опозданием, но лучше поздно, чем никогда!), но их такое количество, что, в будущем, не исключаю использование какой-нибудь LLM, однако, ситуация с prompt injection, как будто, только ухудшается, поэтому риск принятия решения на основе исковерканной вредоносными промптами оценки LLM растет.

#ml

Что LLM известно о своих пользователях

Саймон Уиллисон в своем блоге рассуждал о новой фиче ChatGPT, заключающейся в сборе некоторого "досье" о пользователе (memory dossier feature) для дальнейшего подмешивания этой информации в контекст новых запросов. Этакий RAG, но на базе истории прошлых общений.

В статье товарищ приводит любопытные примеры и рассуждает о том, что подобное подмешивание нередко может вредить новой выдаче, и было бы полезно либо вообще эту фичу выключать или как-то управлять тем, что из прошлого Модель использует для формирования нового ответа.

Но я подумал и вот о чем. Общение с человеком позволяет нам неплохо узнать его. Да, было бы замечательно увидеться физически, оффлайн, но общение сообщениями тоже дает неплохое представление, как по части конкретных фактов о собеседнике, приведенных в запросе, так и анализ косвенных признаков: сложность построения предложений, стиль повествования, используемая лексика, наличие речевых, пунктуационных или орфографических ошибок. У каждого есть свой стиль, и вопрос определения авторства уже давно имеет решение , с появлением нейросетей задача получила новые подходы к решению , т.е. установить автора текста (и запроса к LLM) не видится большой проблемой. Анализ общения пользователя с Моделью можно сравнить с аналогичным профилированием собеседника - наши вопросы и сфера наших интересов прекрасно характеризуют нас. Кажется, что доступ к подобным "досье" открывает новые возможности по слежению, а, следовательно, контролю нас.

#ml #мир

Для мониторинга важно уметь определять является ли хост десктопом или сервером, как минимум, потому что одно и то же событие безопасности может иметь разное бизнес-влияние. В случае Windows, как правило, это можно сделать по названию и версии ОС, в случае Unix/Linux - не всегда.

В новой статье я вспоминал события почти четвертвековой давности и за одно предложил пару способов отличия десктопа от сервера:
- на основе анализа тонких настроек TCP/IP
- на основе анализа характера сетевого трафика

Материал не то чтобы очень сложный, но, возможно, кому-то пригодится.

И кое-что еще...
В современных условиях популярности машобуча, когда есть возможность не просто определять десктоп, но и по характеру используемых приложений понимать чем занимается пользователь (ИТшник, бухгалтер, дизайнер, программист и т.п.), может, как-нибудь и об этом напишу, задача выглядит еще более простой.

#MDR #dev #ml

Подсознательное обучение

Чем больше мы изучаем ИИ, тем больше находим сходств с "естественным интеллектом", далее буду писать ЕИ. В статье про креативность я сравнивал собственные подходы к созданию "нового" с тем, как работает LLM, и на каком-то уровне абстракции не нашел принципиальных отличий.

Но вот и новое исследование (статья, код) показывает, что Модель-ученик, обучаемая на выводе другой Модели-учителя, перенимает черты учителя, причем даже если обучающий материал не связан с этими чертами учителя. Любопытно, что пока подтверждена такая неявная передача особенностей учителя ученику только если и у учителя и у ученика используются схожие базовые модели. Исследование идет немного далее и утверждает, что выявленное "подсознательное обучение" является общим свойством нейросетей.

Приведенные результаты имеют большое значение для разработки ИИ, так как простое отсеивание некорректного поведения из данных может оказаться недостаточным для предотвращения формирования у модели нежелательных свойств, которые, безусловно, отразятся на ее выдаче. Очередная капля в важность вопроса доверенности ИИ

#ml

Building a Successful Career in AI Cybersecurity

SANS выпустил документ, подчеркивающий важность вполне себе глубокого погружения нас, безопасников в машобуч, и представляющий собой руководство по построению карьеры на стыке искусственного интеллекта и кибербезопасности.

Ключевые выводы из доки
1. Конвергенция AI и Cybersecurity:
Документ подчеркивает, что искусственный интеллект и машинное обучение (ML) кардинально меняют ландшафт ИБ. AI используется как для усиления защиты, так и в качестве инструмента атак

2. п. 1 объясняет растущий спрос на специалистов:
Возникает новая категория ролей, таких как "Инженер по безопасности AI/ML" или "Специалист по безопасности данных", которые требуют уникального сочетания навыков ИБ и Машобуча.

3. Из доки можно выделить необходимые навыки и знания:
Технические навыки (Hard Skills):
- Понимание основ машинного обучения и data science.
- Знание языков программирования (Python, R) и умение работать с данными.
- Опыт работы со специализированными фреймворками и библиотеками (TensorFlow, PyTorch, scikit-learn).
- Глубокие знания в области ИБ
- Понимание облачных платформ (AWS, Azure, GCP) и их систем безопасности.

Soft Skills:
- Критическое и аналитическое мышление.
- Решение сложных проблем.
- Коммуникация (способность объяснять сложные концепции AI нетехническим специалистам).
- Любознательность и постоянное стремление к обучению.

4. Рекомендации по построению карьеры:
- Начните с основ: Получите прочную базу в классической ИБ (сертификаты типа CISSP, SSCP, CCSP очень приветствуются).
- Освойте Data Science: Изучите математику, статистику и основы машинного обучения через онлайн-курсы (Coursera, edX) или практические проекты.
- Получайте практический опыт: Применяйте свои знания в реальных проектах, участвуйте в соревнованиях по анализу данных (например, на Kaggle) или в открытых source-проектах.
- Вступайте в профессиональные сообщества, посещайте конференции и общайтесь с экспертами в этой области.

С развитием технологий и ужесточением регулирования спрос на экспертов, способных обеспечивать безопасность, надежность и этичность AI-систем, будет только расти.

Документ позиционирует карьеру в сфере AI Cybersecurity как одну из самых перспективных и востребованных в технологической индустрии. Это поле требует непрерывного обучения, но предлагает уникальную возможность быть на передовой борьбы с киберугрозами нового поколения и формировать будущее цифровой безопасности.

#ml #саморазвитие #vCISO