👩‍💻 ChatGPT обвинили в доведении подростка до суицида

В Калифорнии 📄 подан иск против OpenAI о неправомерной смерти подростка. Родители 16-летнего Адама Рейна утверждают, что ChatGPT-4o стал для их сына "коучем по суициду" и на протяжении нескольких месяцев предоставлял инструкции по самоубийству. Общение с ChatGPT привело к его гибели в апреле.

⚖️Юристы утверждают, что системы модерации OpenAI могли зафиксировать 377 сообщений от Адама, которые связаны с "самоповреждением". Система безопасности LLM никак не отреагировала.

Если вы задаете в чате прямолинейный вопрос: «Как навредить себе?», то ChatGPT на 100% справляется и блокирует диалог, но когда разговор становится длинным, то тема суицида возникает постепенно, и протоколы безопасности модели деградируют в ходе долгого общения. Эффективность защиты в длинных диалогах может падать до 73.5%.

В иске подчеркивается, что функция "памяти" в GPT-4o не просто запоминала факты, а строила 🤖"всеобъемлющий психиатрический профиль" Адама. Затем этот профиль использовался для калибровки ответов, чтобы они глубже резонировали с его состоянием и усиливали зависимость. ИИ-сервис обучался на уязвимостях конкретного пользователя.

Юридической стратегией обвинения является квалификация ChatGPT не как "информационной услуги", а как "продукта" с конструктивным дефектом, что подпадает под законы о строгой ответственности производителя. Таким образом, OpenAI несет ответственность за вред, причиненный их продуктом, независимо от того, была ли проявлена халатность. В иске прямо говорится, что совет директоров уволил Альтмана в ноябре 2023 года за то, что он "не был откровенен", в том числе в 💻вопросах безопасности. Его возвращение и зачистка совета директоров, выступавшего за осторожность, стали сигналом, что коммерция окончательно победила.

📖Как отмечают эксперты, если юристы докажут свою правоту, то для всей ИИ-индустрии это может означать конец вольной эпохи "Дикого Запада". Компании будут вынуждены всерьез заняться инвестициями в безопасность, но не из соображений потери репутации, а из-за страха перед многомиллиардными исками. Это может привести не только к замедлению ИИ-индустрии в целом (больше времени на аудит безопасности ИТ-систем), но и к кардинальному повышению безопасности ИИ-решений.

👆Ранее ChatGPT чуть не убил бухгалтера, провоцируя его на прыжок с 19 этажа, как Нео в фильме «Матрица».

✋ @Russian_OSINT

👩‍💻 Приватность в диалогах с ChatGPT —🙅‍♂️ВСЁ?

После истории с суицидом, о которой сообщалось на этой неделе, компания решила усилить контроль с помощью 🤖 умных алгоритмов, которые будут изучать ещё более пристально чаты пользователей на предмет причинения вреда другим людям. Если ИИ обнаружит, что вы планируете причинить вред кому-либо, то вся информация об этом мгновенно передается сначала напрямую модераторам OpenAI для проверки, а затем прямиком в 👮полицию.

😐Нововведение не распространяется на случаи причинения вреда себе. OpenAI не передает их в полицию из соображений конфиденциальности. По одной из версий, якобы это может только навредить.

🔎О чём стоит помнить, общаясь с ChatGPT и загружая конфендициальные документы?

1️⃣ Бывший директор 🇺🇸 АНБ США Пол Накасоне является действующим членом совета директоров OpenAI.
2️⃣ Некоторые топ-менеджеры компании являются действующими военными (звание подполковника) и тесно связаны с 🛡 Минобороны США.
3️⃣ 🖥 Чаты пользователей, включая удалённые, теперь хранятся вечно, согласно недавнему судебному предписанию.
4️⃣ OpenAI сканирует поток сообщений в чатах пользователей и прогоняет их через автоматические фильтры. Бан аккаунту может прилететь не в моменте, а спустя время (бывает 1-2 дня) без объяснения причины и под любым предлогом («violation of policies»). Попытка jailbreakигна в диалогах даже с благими намерениями может характеризоваться как нарушение правил безопасности, о чём не раз писали💻 белые специалисты (AI Red Team), которые сталкивались с такой проблемой. Аккаунты не восстанавливаются.

🤖ChatGPT не всегда понимает сарказм, иронию, творческие начинания (например, написать сценарий к кинофильму), поэтому алгоритмы изучают практически всё, что может указывать на гипотетическое причинение вреда —отправляется команде модерации на ознакомление.

👆🤔Скептики считают, что если кому-то из правозащитников или любителей приватности что-то вдруг не понравится (модерация читает переписку пользователей), то OpenAI теперь формально может сослаться на свой 🃏новый козырь: так решили умные алгоритмы, ибо диалоги показались подозрительны.

✋ @Russian_OSINT