ИИ как доверенный посредник

Интереснейшая статья попалась (прямая ссылка на PDF). Я уже рассуждал о плохой пригодности ИИ для криптографии, однако в данном конкретном сценарии ИИ выглядит перспективно.

Доверенный посредник - это независимая сторона, которой доверяют все участники взаимодействия. В замечательной книжке "Прикладная криптография" Брюс Шнайер использовал термин TTP (Trusted Third Party), который удобно набирать не переключая язык клавиатуры, им же буду пользоваться и я. TTP может выполнять различные функции: аутентификация, арбитраж, распределение ключей, и др. За примерами далеко ходить не надо: в протоколах цифровой подписи TTP может выступать гарантом подлинности, в криптографии с открытым ключом ТТР - это удостоверяющий центр, в протоколах электронных платежей ТТР не допускает повторное расходование и выполняет общий арбитраж - подтверждает корректность выполнения протокола.

Но вернемся к статье - авторы решают проблемы конфиденциальности при использовании ТТР. Например, если Анна и Борис хотят узнать кто из них живет дальше от Москвы - это можно сделать через ТТР, но одновременно, они не желают раскрывать ТТР свои места жительства - здесь помогут криптографические протоколы, ограничивающие раскрытие данных (например, доказательство с нулевым разглашением). Однако криптографические методы имеют ограничения по масштабируемости при использовании в сложных приложениях. Для решения этой "тяжеловесности" криптографии, авторы вводят Trusted Capable Model Environments (TCME) - ML-модели, работающие с жёсткими ограничениями на ввод/вывод, контролем потоков информации и отсутствием состояния. Использование TCME удобно: Анна и Борис, решив свою проблему через посредника TCME, могут затем ее уничтожить, могут взять TCME к себе в лабораторию и проверить ее там миллион раз, тем самым доказав себе "честность" и "непредвзятость". В статье приведены примеры где ИИ в качестве ТТР реально полезен.

Все это пока смотрится немного как научная фантастика (может, поэтому и привлекает 😁), однако, повторюсь, выглядит перспективно и за этим стоит последить.

#crypto #ml #книги

Что отличает людей от ИИ? Способны ли машины создавать креативные идеи, и что такое креативность вообще? Как-то я рассуждал на тему может ли ИИ уничтожить Человечество, но не уточнял что понимается под "уничтожить". Как вы относитесь к продуктам из вторсырья, будете ли употреблять блюда, приготовленные из отходов (даже если будут все нужные заключения), а должны ли мы считать старые идеи, пережеванные ИИ, новыми? А сами-то мы, люди, как создаем новое, точно ли не переиспользуем что-то созданное ранее? А как вообще мы понимаем окружающий мир, и как выглядит наше непонимание, и почему мы можем не понимать? А почему это же наше непонимание не может распространиться на креативные идеи, ведь чрезвычайно креативная идея может быть не понята и не оценена....

Обо всем этом я рассуждал в новом лонгриде Креативность.

Когда-то мы все вычисления могли сделать в уме, потом - с помощью бумаги и карандаша, позже появились какие-то справочники, типа таблиц Брадиса (и ваш покорный слуга их застал), таблицы были вытеснены калькулятором, затем - компьютером с алгоритмическим ПО. Затем мы попытались развить матстатистику и, перенося прошлое на будущее, получили машинное обучение, а сейчас в качестве инструмента нам доступен генеративный ИИ.

Согласны, не согласны, и любые мнения, как обычно, приветствуются в комментариях. Вопрос сложный, поэтому, не исключаю продолжение рассуждений

#искусство #ml

16 мая в 11:00 (MSK) мой коллега Алексей Пешик из команды SOC Consulting обсудит тему ИИ в кибербезе.

Есть огромный разрыв.... нет не так, систему мало спроектировать, разработать и внедрить, а надо еще внедренную систему оттюнить тонко настроить под конкретную инфраструктуру и запустить операционные процессы вокруг, чтобы в, конечном счете, эта система начала приносить ту самую ценность, на которую рассчитывали до начала всей этой истории с проектированием и разработкой. А чем шире наши потребности, тем сложнее нам нужны системы, а чем сложнее системы мы используем, тем выше трудоемкость и продолжительность их адаптации. Подавляющее большинство случаев непопадания в ожидания связаны как раз с недостаточной кастомизацией и тонкой настройкой, а не с тем, что выбранное решение - плохое, их просто не умеют готовить. Таким приземлением лучших практик и технологий на конкретного заказчика и занимается команда SOC Consulting, а Алексей - архитектор таких проектных решений.

ИИ - это сложное решение, а Алексей - эксперт по доведению сложных решений до получени ценности заказчиком.

Регистрируйтесь!

#ml #vCISO

А помните я как-то, почти год назад писал:

- DLL Hijacking - фактически, непопулярный сценарий загрузки DLL в процесс, напишу об этом чуть более подробно в отдельной заметке

Где-то примерно с того времени мы начали пилотировать модельку в нашем MDR, которая находит аномальные\подозрительные загрузки DLL. Сейчас эта моделька уже давно в проде и, в целом, неплохо справляется со своей задачей. Техника старая, но до сих пор популярная в целевых кампаниях, поэтому никакие возможности по обнаружению нам, конечно же, не чужды.

Подробно написать в отдельной заметке я так и не успел, но вот на PHD будет доклад нашей коллеги, Анны Пиджаковой, из команды машобуча, Разработка ML-модели для детектирования DLL Side-Loading, где, уверен, Аня все подробненько расскажет.

#MDR #ml

Google ADK и MCP - ближе к автономному SOC

Ну действительно, если современные LLM умеют играть в CTF почему они не могут заменить SOC?! И все идет к тому, что могут!

Например, Google предлагает свой Agent Development Kit (ADK) для разработки автономных агентов, не зависимых ни от используемой LLM, ни от инфраструктуры развертывания. Агенты могут быть разными, как работающими по алгоритму, так и c ML/AI внутри, т.е. способными принимать решения на основе анализа входных данных и выполнять действия. Для того, чтобы LLM, выдающая, например, текст, смогла выполнять действия, служит Model Context Protocol (MCP) (вот видео "на пальцах" , вот чуть подлиннее, но еще проще).

Отвечающими за действия компонентами являются MCP-клиент и -сервер. Google предоставляет набор готовых MCP-серверов, позволяющих агентам удобно работать с Google SecOps и TI сервисами. Фактически MCP-сервер - де-факто стандартный интерфейс для использования инструментов AI-агентами (я люблю аналогии и упрощения, поэтому MCP-сервер функционально напоминает REST API). Видео о том, как сделать подходящего агента можно посмотреть здесь.

Но ни что не мешает пойти дальше, и решения о том, какие SecOps-сервисы дергать через MCP, отдать на решение LLM-агенту, который, фактически будет реализовывать некий playbook. Поскольку сам по себе LLM-агент - автоматизация, то подходит и термин runbook. Демо таких ранбуков доступно здесь - AI Runbooks for Google Cloud Security MCP Servers, а сами ранбуки можно почитать здесь.

С помощью Google ADK можно создать агентов, выполняющих функции различных ролей в SOC, которые буду работать по описанным выше ранбуам, на это тоже есть демо - Agentic Incident Response.

Если спуститься ближе к земеле, то вот Игорь на PHD2025 рассказывал практический пример, все наработки выложил в Git. По-моему отличный PoC для движения в сторону автоматизации на базе LLM.

#MDR #ml

The OpenAI Files

Любопытнейший ресурс предлагающий простенькую аналитику на основе открытых публикаций, но, что еще более важно, - приводится список оригинальных источников, очень удобно собрано в одном месте. Привожу также ссылку на источник, откуда узнал сам (спасибо бывшему коллеге Кириллу, что поделился).

Всегда полезно следить за лидерами, так как процессы, происходящие в них, в конечном счете имеют отражение на всю индустрию, а с учетом новостей на расстановку сил в мире.

Ресурс обещает какую-то динамику, будем следить.

Ну а тем, кто сокрушается о "вепонизации ИТ и ML" приведу замечательную цитату из книжки Уолтера Айзексона "Стив Джобс", книжку упоминал здесь и настоятельно рекомендую к прочтению:

Mountain View had been a godforsaken place until the military showed up.

т.е. вся Кремниевая долина стала технологическим центром только благодаря государственным инвестициям, военным и "вепонизации". Все современное ИТ - побочный продукт военных исследований.

#управление #мир #ml #книги

Гибридный SOC 2025

В прошлом году мы много говорили о том, что все SOC - гибридные (видео , статья , Gartner в тему ) и, видимо, наши аргументы показались Сообществу убедительными, так что уже в этом году гибридные SOC обсуждали на ежегодных посиделках Anti-Malware.

А 26.06 в 11.00 МСК на CISO Club будет вебинар - Гибридный SOC 2025: как AI, автоматизация и люди вместе побеждают киберугрозы , где будет принимать участие мой друг и коллега - Алексей Пешик.

Темы заявлены мне небезразличные, и мы их касались, поэтому интересно послушать мнения уважаемых коллег.

Я зарегистрировался...

#MDR #ml #vCISO

Ежемесячно Open AI выпускает отчет о борьбе с вредоносным использованием ИИ. Вот июньский, pdf .

За вычетом пафосных моментов, типа:

we believe that making sure AI benefits the most people possible means enabling AI through common-sense rules aimed at protecting people from actual harms, and building democratic AI. This includes preventing the use of AI tools by authoritarian regimes to amass power and control their citizens, or to threaten or coerce other states; as well as activities such as covert influence operations (IO), child exploitation, scams, spam, and malicious cyber activity

документ мне показался полезным.

Поделюсь мыслями, возникшими в процессе изучения документа.

1. Документ содержит практические сценарии использования (о сценариях говорили здесь ), т.е. там, где эффективность подтверждается самой практикой

2. Нам, безопасникам, надо понимать ландшафт угроз и как эти угрозы реализуются. Документ содержит фактические сценарии атак, автоматизируемые ИИ - например, генерация фейков и дезинформации, фишинг, разные схемы мошенничества, генерация ВПО, поиск уязвимостей, и пр. , кое где есть ссылки на примеры реальных инцидентов.

3. Документ показывает, что все наши запросы улетевшие в облачную ИИ тщательнейшим образом анализируются, т.е. о какой-либо их конфиденциальности не может быть и речи.

4. Объективность критериев вредоносности очень напоминает книжку и в стиле цитаты выше, поэтому надо иметь в виду риск предвзятости выдачи самой модели, а вот и Иван намекает, что ИИ будет служить инструментом формирования общественного мнения... Но в подавляющем большинстве сценариев "политические взгляды модели" вряд ли будут иметь значимое влияние.

5. Документ о том, какие сценарии использования своей модели Open AI считает неправильными - интересен, но еще более интересным был бы подобный дайджест о правильных сценариях использования, в которых бы описывались конкретные практические реализации. Сейчас есть что-то , более напоминающее маркетинговые листовки. Такая популяризация "правильных сценариев", тоже способствовала бы снижению количества "неправильного использования".

#ml #vCISO

Prompt injection в академических статьях

Помните старую историю об инъекциях в резюме соискателей?

Вот продолжение!

Исследовательские работы из 14 академических институтов в восьми странах, включая Японию, Южную Корею и Китай, содержат скрытые тексты, заставляющие инструменты искусственного интеллекта давать им хорошие отзывы

Я частенько сам почитываю статьи на arXiv, показавшимися интересными делюсь в этом канале, и даже подписан на ежедневные новинки. Пока я пытаюсь находить время и просматривать публикации самостоятельно (правда, с чудовищным опозданием, но лучше поздно, чем никогда!), но их такое количество, что, в будущем, не исключаю использование какой-нибудь LLM, однако, ситуация с prompt injection, как будто, только ухудшается, поэтому риск принятия решения на основе исковерканной вредоносными промптами оценки LLM растет.

#ml

Что LLM известно о своих пользователях

Саймон Уиллисон в своем блоге рассуждал о новой фиче ChatGPT, заключающейся в сборе некоторого "досье" о пользователе (memory dossier feature) для дальнейшего подмешивания этой информации в контекст новых запросов. Этакий RAG, но на базе истории прошлых общений.

В статье товарищ приводит любопытные примеры и рассуждает о том, что подобное подмешивание нередко может вредить новой выдаче, и было бы полезно либо вообще эту фичу выключать или как-то управлять тем, что из прошлого Модель использует для формирования нового ответа.

Но я подумал и вот о чем. Общение с человеком позволяет нам неплохо узнать его. Да, было бы замечательно увидеться физически, оффлайн, но общение сообщениями тоже дает неплохое представление, как по части конкретных фактов о собеседнике, приведенных в запросе, так и анализ косвенных признаков: сложность построения предложений, стиль повествования, используемая лексика, наличие речевых, пунктуационных или орфографических ошибок. У каждого есть свой стиль, и вопрос определения авторства уже давно имеет решение , с появлением нейросетей задача получила новые подходы к решению , т.е. установить автора текста (и запроса к LLM) не видится большой проблемой. Анализ общения пользователя с Моделью можно сравнить с аналогичным профилированием собеседника - наши вопросы и сфера наших интересов прекрасно характеризуют нас. Кажется, что доступ к подобным "досье" открывает новые возможности по слежению, а, следовательно, контролю нас.

#ml #мир

Для мониторинга важно уметь определять является ли хост десктопом или сервером, как минимум, потому что одно и то же событие безопасности может иметь разное бизнес-влияние. В случае Windows, как правило, это можно сделать по названию и версии ОС, в случае Unix/Linux - не всегда.

В новой статье я вспоминал события почти четвертвековой давности и за одно предложил пару способов отличия десктопа от сервера:
- на основе анализа тонких настроек TCP/IP
- на основе анализа характера сетевого трафика

Материал не то чтобы очень сложный, но, возможно, кому-то пригодится.

И кое-что еще...
В современных условиях популярности машобуча, когда есть возможность не просто определять десктоп, но и по характеру используемых приложений понимать чем занимается пользователь (ИТшник, бухгалтер, дизайнер, программист и т.п.), может, как-нибудь и об этом напишу, задача выглядит еще более простой.

#MDR #dev #ml

Подсознательное обучение

Чем больше мы изучаем ИИ, тем больше находим сходств с "естественным интеллектом", далее буду писать ЕИ. В статье про креативность я сравнивал собственные подходы к созданию "нового" с тем, как работает LLM, и на каком-то уровне абстракции не нашел принципиальных отличий.

Но вот и новое исследование (статья, код) показывает, что Модель-ученик, обучаемая на выводе другой Модели-учителя, перенимает черты учителя, причем даже если обучающий материал не связан с этими чертами учителя. Любопытно, что пока подтверждена такая неявная передача особенностей учителя ученику только если и у учителя и у ученика используются схожие базовые модели. Исследование идет немного далее и утверждает, что выявленное "подсознательное обучение" является общим свойством нейросетей.

Приведенные результаты имеют большое значение для разработки ИИ, так как простое отсеивание некорректного поведения из данных может оказаться недостаточным для предотвращения формирования у модели нежелательных свойств, которые, безусловно, отразятся на ее выдаче. Очередная капля в важность вопроса доверенности ИИ

#ml