Компания, укомплектованная ИИ-агентами, потерпела фиаско

Исследователи из Университета Карнеги-Меллон провели любопытный эксперимент, создав виртуальную компанию, полностью укомплектованную ИИ-агентами - приложениями, предназначенными для самостоятельного выполнения задач.

Результаты оказались удручающе смешными.

Как сообщает Business Insider, даже агент на базе лучшей модели в эксперименте - Claude 3.5 Sonnet от Anthropic - смогла выполнить лишь 24% поставленных задач. При этом такая "работа" оказалась непомерно дорогой: в среднем каждая задача требовала около 30 шагов и обходилась более чем в 6 долларов.

Gemini 2.0 Flash от Google показал второй результат с успешностью всего 11,4%, затрачивая в среднем 40 шагов на каждую выполненную задачу. Худшим "сотрудником" оказался Amazon Nova Pro v1, справившийся лишь с 1,7% заданий.

Исследователи также отметили проблему самообмана у ИИ-агентов. Например, в одном случае агент, не найдя нужного "человека" в корпоративном чате, просто переименовал другого пользователя, присвоив ему имя того, кого искал.

Эксперимент наглядно демонстрирует, что хотя ИИ-агенты могут иногда справляться с некоторыми простыми задачами, они явно не готовы к более сложной работе.

ФТК США пресекла практику распространения заведомо ложной рекламы ИИ-продукта

Федеральная торговая комиссия США (FTC) приняла предварительное решение против компании Workado, продвигавшей свой "детектор контента, сгенерированного ИИ". Регулятор установил, что продукт, позиционируемый как инструмент для определения авторства текстов (человек или ИИ), демонстрировал точность не выше случайного угадывания - 53% вместо заявленных 98%.

Заведомо ложные утверждения о точности инструмента являются актом недобросовестной конкуренции, вводящим в заблуждение как рядовых пользователей, так и профессиональных клиентов.

По условиям соглашения с ФТК, компания обязана прекратить распространение необоснованных заявлений о продукте, не подтверждённых доказательно, уведомить клиентов о решении ФТК и ежегодно отчитываться о выполнении требований. Штраф за нарушение условий соглашения будет составлять до $53 тыс. за каждый случай.

Соотношение категорий ИИ-систем в Регламенте ЕС по ИИ

Помните мою схему про соотношение категорий систем ИИ повышенной опасности и систем, требующих транспарентности?

Меня процитировали в апрельской публикации кассационного (верховного) суда Франции — Cour de cassation et intelligence artificielle : préparer la Cour de demain, 2025.

Побывал на подкасте у Елены Гуревич и Алисы Седнёвой

Рассказал про некоторые пересечения между ОРЗД (GDPR) и Регламентом ЕС по ИИ.

Запись здесь.

ИИ-заявление погибшего в суде: технологический прорыв или угроза процессуальным правам?

В Аризоне впервые в США родственники жертвы убийства использовали ИИ для создания вымышленного видеообращения погибшего, которое, с предварительным раскрытием этого факта, было продемонстрировано в суде перед вынесением приговора. Технология позволила "воскресить" Кристофера Пелки, погибшего в 2021 году в результате конфликта на дороге, чтобы он мог "лично" выступить на слушании по делу.

Это вызывает серьезные этические вопросы. Несмотря на то, что некоторые эксперты называют такое применение ИИ-дипфейков "вызывающим наименьшие возражения", важно отметить, что видео было продемонстрировано после установления вины, но до вынесения приговора. Это означает, что оно могло повлиять на решение судьи о строгости наказания. В данном случае Габриэль Хоркаситас был приговорен к 10,5 годам лишения свободы (типичный срок для таких преступлений в Аризоне), при этом судья Тодд Ланг даже выразил одобрение использованию ИИ, что вызывает вопросы о влиянии дипфейка на его решение.

Можно предположить, что эмоциональное воздействие ИИ-сгенерированного видео на судью может быть значительно сильнее, чем традиционных заявлений от родственников, учитывая, что речь идет о погибшем, который физически не мог бы выступить в суде.

Это создает риск нарушения процессуальных прав обвиняемого, поскольку технология может непропорционально усиливать эмоциональное воздействие свидетельства. Адвокат Хоркаситаса уже подал апелляцию, предполагая, что судья мог неправомерно полагаться на ИИ-видео при вынесении приговора.

Данный случай поднимает более широкий вопрос о месте ИИ в судебной системе. Профессор Бруклинской школы права Синтия Годсоу предупреждает, что такие технологии могут "разжигать эмоции сильнее, чем фотографии", и призывает суды быть осторожными. Другие эксперты отмечают, что поскольку видео было показано судье, а не присяжным, и не представлялось как доказательство, его влияние ограничено.

Нужна квалифицированная подпись для госзакупок, госуслуг и контрактов в ЕС?

Вчера возникла такая потребность, поэтому делюсь с теми, кому будет тоже актуально.

Электронные подписи в ЕС регулируются Регламентом eIDAS.

Для понимания, в eIDAS четыре вида подписи:
1) SES (SMS, OTP-коды и т.п.)
2) AdES
3) AdES/QC
4) QES — самая надёжная. При получении сертификата на такую подпись от поставщика из любой страны ЕС, проставленные вами подписи признаются во всех остальных странах для практически всех документов. Госзакупки, госуслуги, любые договоры, и так далее. Ну, кроме, завещаний и чего-то ещё, где действительна только письменная форма на бумаге.

Мне для одной французской госуслуги нужен был сертификат подписи не ниже AdES/QC. Поставщик, которого нашёл, выдаёт облачные QES, что даже ещё лучше. Так как весь процесс у них 100% онлайн, физические токены для граждан они не выпускают — только облачные сертификаты. Насчёт корпоративных решений не уточнял, но компания работает и с бизнесом.

Само подписание документов их сертификатом возможно либо через их же облачный сервис, либо в Docusign или Adobe Sign.

Сервис называется TrustPro, идентифицируют по видео: нужно на камеру прочитать текст с экрана, номер проверочной смс и показать паспорт — российский заграничный тоже принимают без проблем. Через полчаса всё готово. Проверяют люди, поэтому допускаю, что ночью вам ничего не активируют.

1) Сервис выдачи сертификатов ЭЦП QES eIDAS, который я нашёл и использовал
2) Сервис Еврокомиссии для проверки валидности ЭЦП на документах по eIDAS
3) Полный список всех доверенных поставщиков ЭЦП eIDAS в ЕС, если хотите посмотреть все альтернативы
4) Регламент eIDAS.

Сравнительная таблица по видам электронной подписи в ЕС и РФ

Сделал на скорую руку, возможны неточности

База данных по безалаберному использованию ГенИИ в юридической практике

Как бывший специалист по исково-претензионной работе я не понимаю, как можно в принципе цитировать в подаваемых в суд документах дела и статьи, которые вы даже не прочитали.

Просто брать из выдачи чатбота какие-то ссылки, не открывая их? Ведь даже если ссылка корректная, то сам текст может запросто идти против вашей позиции по делу, а не поддерживать её. Установить это, не прочитав внимательно источник — невозможно.

Тем не менее, некоторые "коллеги" по всему миру почему-то запросто позволяют себе подобное поведение, причём число кейсов только растёт. До такой степени, что теперь даже появилась обновляемая база данных по всем таким случаям (комментаторы говорят, что в базе пока отражена лишь малая доля от реального числа, в основном из освещённых в прессе и из США):

- 3 случая в 2023 году,
- 11 — в 2024,
- 19 — в 2025!

Казалось бы, о том, как правильно и неправильно пользоваться чатботами, все должны были узнать примерно к началу 2023 года, когда стало понятно, как эти системы работают, что такое "галлюцинации" и почему они неизбежны в таких системах.

Удивительные дела.

Стала общедоступной спецификация ИСО/МЭК TS 27560:2023(E) о структуре записей о согласиях на обработку персональных данных

Стандарт будет интересен специалистам, работающим с персональными данными, а также тем, кто разрабатывает и поддерживает информационные системы для обработки таких данных.

Скачать стандарт бесплатно с сайта ИСО.

Посмотреть весь перечень общедоступных стандартов ИСО.

Нижняя палата парламента США одобрила законопроект о моратории на нормотворчество в области ИИ на уровне отдельных штатов

22 мая 2025 года Палата представителей Конгресса США минимальным перевесом голосов (215 против 214) одобрила законопроект "One Big Beautiful Bill Act" — пакет бюджетных мер, включающий 10-летний мораторий на регулирование систем искусственного интеллекта на уровне субъектов американской федерации.

Суть моратория заключается в запрете штатам в течение десяти лет применять любые нормативные акты, ограничивающие или регулирующие "модели искусственного интеллекта", "системы искусственного интеллекта" или "системы автоматизированного принятия решений". В случае принятия мораторий будет применяться к уже действующим НПА об ИИ в Калифорнии, Колорадо, Нью-Йорке, Иллинойсе и Юте, а также заблокирует более 1000 законопроектов об ИИ, находящихся на рассмотрении в законодательных собраниях штатов.

Теперь законопроект направляется в верхнюю палату Конгресса — Сенат, где его судьба крайне неопределенна. Поскольку мера включена в сводный бюджетный законопроект, она может быть принята без поддержки демократов, однако сталкивается с серьезными процедурными препятствиями. Демократы намерены оспорить включение моратория на ИИ в рамках правила Берда (Byrd Rule), которое запрещает включение в сводный бюджетный законопроект положений, не относящихся к федеральному бюджету.

Критики утверждают, что мораторий носит скорее регуляторный, чем фискальный характер, и поэтому должен быть исключен из сводного законопроекта. Против инициативы уже выступили генеральные прокуроры 40 штатов на двухпартийной основе, а также ряд сенаторов-республиканцев. Сторонники моратория настаивают, что он предотвратит формирование запутанной мозаики из законов об ИИ на уровне отдельных штатов и даст Конгрессу возможность выработать единые национальные правила.

Немецкий суд разрешил Meta обучать ИИ на публичных данных пользователей

Высший региональный суд Кёльна отклонил требование Центра защиты прав потребителей Северного Рейна-Вестфалии о запрете Meta использовать для обучения искусственного интеллекта данные пользователей, сделанные ими общедоступными в социальных сетях компании.

Решение, вынесенное в рамках упрощённой процедуры 23 мая 2025 года, открывает Meta возможность реализовать анонсированные в апреле планы по обучению ИИ-моделей на данных европейских пользователей, за исключением данных тех, кто воспользовался своим правом на возражение.

Суд пришёл к выводу, что обработка публичных пользовательских данных для целей обучения ИИ соответствует требованиям Общего регламента ЕС по защите данных (ОРЗД, GDPR) и не нарушает положений Регламента ЕС о цифровых рынках. Ключевым правовым основанием стала статья 6(1)(f) ОРЗД о законном интересе — Meta может обрабатывать данные без согласия пользователей, поскольку преследует легитимную цель создания ИИ-систем, которая не может быть достигнута менее инвазивными способами.

Суд признал, что для обучения современных ИИ-моделей требуются большие объёмы данных, которые невозможно полностью анонимизировать, а интересы технологического развития в данном случае перевешивают права пользователей на контроль над их публичной информацией. Позиция поддержана как ирландским регулятором по защите данных (ответственным за надзор за Meta в ЕС), так и Гамбургским уполномоченным по защите данных.

Решение носит окончательный характер в рамках упрощённой процедуры и не подлежит обжалованию, однако стороны сохраняют право на предъявление требований в отдельном основном производстве.

Оупен-Эй-Ай покупает стартап бывшего дизайнера Эпл за $6,5 млрд и планирует выпуск 100 млн устройств с прямым доступом к ЧатГПТ

Генеральный директор компании Сэм Альтман представил своим сотрудникам планы по разработке устройств совместно с бывшим дизайнером Эпл Джони Айвом. Компания намерена выпустить 100 млн устройств с прямым доступом к ЧатГПТ, которые должны стать частью повседневной жизни пользователей.

OpenAI планирует приобрести стартап Айва под названием io и предоставить ему самому роль с широкими полномочиями по вопросам дизайна. По словам Альтмана, сделка на $6,5 млрд потенциально может добавить $1 трлн стоимости Оупен-Эй-Ай — об этом свидетельствуют данные, которые изучил Уолл-стрит Джорнел.

Новое устройство будет способно собирать огромное количество персональных данных, анализируя информацию из окружения пользователя, будет помещаться в кармане или на рабочем столе и станет третьим ключевым гаджетом, наряду с ноутбуком и смартфоном. Как ранее сообщал WSJ, это не будет телефон — Айв и Альтман намерены помочь пользователям отвыкнуть от экранов. Альтман уточнил, что устройство также не будет очками, поскольку Айв скептически относится к созданию носимых гаджетов.

Изначально планировалось, что стартап Айва будет создавать и продавать собственное устройство с использованием технологий Оупен-Эй-Ай, но Альтман посчитал, что такая схема не сработает. Он видит необходимым объединение компаний, поскольку устройство станет не просто аксессуаром, а центральным элементом взаимодействия пользователя с продуктами его компании. "Нас обоих воодушевила идея о том, что если вы оформили подписку на ЧатГПТ, мы должны просто отправить вам новые компьютеры, чтобы вы использовали именно их", — заявил Альтман.

В Суде ЕС впервые будет протестирована оговорка, на которую полагаются все ИИ-разработчики

Речь о свободном использовании произведений, охраняемых авторским правом, для извлечения текста и данных (text and data mining exception) на основании статьи 4 Директивы 2019/790.

Среди юристов ИИ-компаний принято считать, что именно она даёт основание для обучения ИИ-моделей на любом правомерно доступном в интернете контенте, если только автор или иной правообладатель не высказали возражений в машиночитаемой форме.

Техническая спецификация для таких волеизъявлений, TDMRep, была разработана W3C, но на сегодня пока не получила широкого распространения, и, в частности, не поддерживается лидирующими ИИ-компаниями.

Соответственно, поскольку возражений в стандартной машиночитаемой форме к основной массе контента в интернете "не приложено", юристы ИИ-компаний полагают, что указанное положение Директивы даёт зелёный свет для любого извлечения текста и данных, в том числе для создания генеративных ИИ-моделей, о которых в момент принятия Директивы никто не думал, потому что их не существовало.

Толкование возможное, но не бесспорное, и именно оно впервые станет предметом рассмотрения Суда ЕС по запросу венгерских коллег.

Полный перечень вопросов, поставленных перед Судом ЕС:

1. Является ли отображение чатботом ответа, частично совпадающего с содержанием веб-страницы, доведением её до всеобщего сведения? Имеет ли при этом значение технический аспект (вероятностный характер отображения)?

2. Является ли использование произведения в процессе машинного обучения воспроизведением (reproduction) в смысле авторского права?

3. При положительном ответе на вопрос 2, подпадает ли такое воспроизведение произведений, к которым имеется правомерный доступ, под исключение, предусмотренное ст. 4 Директивы 2019/790 (свободное использование для извлечения текста и данных, TDM exception)?

4. Следует ли вменять воспроизведение провайдеру чатбота, когда чатбот полностью или частично отображает содержание публикации СМИ в своём ответе на запрос пользователя, который упоминает или ссылается на текст из этой публикации?

Workday обвиняется в алгоритмической дискриминации кандидатов старше 40

Суд Северного округа Калифорнии принял постановление о расширении иска пяти соистцов против HR-платформы Workday до статуса общенационального коллективного иска. Истцы утверждают, что ИИ-инструменты компании для отбора кандидатов систематически дискриминируют соискателей старше 40 лет. Дело может затронуть миллионы людей.

Основной истец Дерек Мобли, 40-летний афроамериканец, заявляет, что подавал заявки на более чем 100 вакансий через платформу Workday в течение нескольких лет, но каждый раз получал отказ. К нему присоединились четыре других истца старше 40 лет с аналогичным опытом. Они утверждают, что автоматические отказы приходили с подозрительной скоростью — иногда в течение часа после подачи заявки, что указывает на алгоритмическое принятие решений без участия человека.

Мобли привел пример, когда он подал заявку на работу в 12:55 ночи, а получил отказ до 2:00 ночи, что говорит о том, что решение было принято полностью автоматизированным способом на основе профилирования ИИ без какого-либо человеческого контроля и проверки.

Судья Рита Лин установила, что дело соответствует критериям коллективного иска согласно Закону о возрастной дискриминации при трудоустройстве (ADEA). Суд определил, что все потенциальные участники находятся в схожей ситуации, поскольку подвергались воздействию единой политики — ИИ-системы рекомендаций Workday, которая оценивает, сортирует и ранжирует кандидатов.

Коллективный иск охватывает всех лиц старше 40 лет, которые с сентября 2020 года по настоящее время подавали заявки через платформу Workday и получили отказ в рекомендациях к трудоустройству.

Workday отрицает обвинения и утверждает, что не принимает окончательных решений о найме, а лишь предоставляет работодателям инструменты для оценки. Компания заявляет, что проводит постоянный процесс анализа рисков для соответствия применимым законам. Однако суд отклонил аргументы Workday, отметив, что система компании действительно участвует в процессе принятия решений, присваивая кандидатам оценки от «сильный» до «слабый».

Дело имеет огромное практическое значение для всей индустрии HR-технологий. Тысячи компаний используют ИИ-инструменты Workday для автоматического скрининга резюме, что может повлиять на миллионы соискателей. Комиссия по равным возможностям трудоустройства (EEOC) поддержала истцов, ссылаясь на свои рекомендации по оценке негативного воздействия ИИ-алгоритмов в процедурах отбора.

Дело Mobley v. Workday становится одним из первых крупных судебных вызовов использованию ИИ в HR-процессах и может установить важный прецедент. Для работодателей это означает необходимость более тщательного аудита ИИ-систем, содействующих найму, на предмет потенциальной дискриминации, в том числе непредумышленной.

В связи с рисками для прав человека в Европейском союзе подобные ИИ-системы относятся к классу повышенно-опасных и по новым правилам до вывода таких систем на рынок компании обязаны подтвердить их соответствие обязательным требованиям, включая точность работы согласно статье 15 и устранение рисков алгоритмической дискриминации при работе с данными согласно статье 10(2)(f) Регламента ЕС об ИИ (детальнее об этом регулировании рассказываю на своём курсе).

Новые типовые условия договоров для закупки ИИ-систем

Таким документом — в версии 2.0 — порадовало нас Агентство цифровой трансформации Австралии.

Новые условия покрывают два сценария:

1) оказание поставщиком услуг с применением ИИ-систем,
2) подряд на разработку ИИ-системы под заказ.

В перспективе также планируется покрыть третий сценарий — приобретение готового ПО с ИИ-функциями от поставщика.

Модульная структура позволяет заказчикам выбирать только необходимые условия в зависимости от уровня риска и специфики конкретного проекта.

Документ базируется на этических ИИ-принципах Австралии и, что замечательно, на международном стандарте ИСО/МЭК 42001:2023 по управлению системами искусственного интеллекта (о котором также рассказываю на своём курсе).

Практическая ценность инструмента заключается в готовых правовых решениях для управления рисками, связанными с ИИ, путём их распределения на договорной основе.

Это особенно важно для организаций, которые хотят использовать ИИ-технологии, но при этом минимизировать правовые и репутационные риски.

Прошёл сертификацию на ведущего специалиста по внедрению системы ИИ-менеджмента по ИСО/МЭК 42001

Принимаю поздравления — это было непросто, но необходимо: сейчас это лидирующий мировой стандарт для управления разработкой ИИ-продуктов и для внедрения ИИ-продуктов в бизнес-процессы ответственным образом.

Сертификацию имеют Антропик, Амазон Веб Сервисез, Самсунг, Майкрософт и другие ведущие технологические компании, а некоторые также требуют того же от своих партнёров-поставщиков.

Буду рад помочь с внедрением данной системы менеджмента в вашей компании и подготовкой к независимому аудиту и сертификации. Особенно актуально для тех, кто планирует сохранять конкурентоспособность на рынке, где наличие сертификации систем менеджмента становится не чем-то непонятным, а желаемым положением дел.

А если ваше предприятие уже имеет другую систему менеджмента, например, качества по ИСО 9001 или информационной безопасности по ИСО 27001, то внедрение ИСО 42001 становится значительно проще.

О том, как использовать данный стандарт для построения базовых процессов в контексте требований Регламента ЕС по ИИ — рассказываю здесь.