Что там с ИИ, выходящим из под контроля?

Сижу пару дней назад у друзей в гостях, речь внезапно заходит про ИИ.

— А ты читал, что одни ребята так много данных закачали в нейросеть, что она сошла с ума и начала рассказывать, что боится и ничего не понимает, спрашивать «где я, что со мной»?

Я слышал. Это ребята из Nous, выпустившие вот эту статью, рассказывали такое про свою 405-миллиардную модель. Но если зайти в статью сейчас, вы не найдете рассказа о самосознании — потому что в Х их уже попросили перестать хайповать и не вводить в заблуждение. Потому что если заглянуть в базу для обучения (датасет выложен правда крутой), вдруг окажется, что там куча текстов из «Призрака в доспехах». Про страх, потерянность и, конечно, самосознание.

Риск «ИИ, выходящий из-под контроля», конечно, витает в воздухе. Вот ребята из SakanaAI сделали LLM для создания практически с нуля серьезных исследовательских работ. Всем, кто занимается наукой, очень советую их статью, там с 30-й страницы они делятся промптами для ИИ-научного-работника полного цикла — от идеи до peer-review.
Но суть не в этом: агент мог сам генерить и запускать код, и в один из прогонов он поменял код, который его самого запускал, чтобы оптимизировать процессы.

Звучит страшно? Страшно. И правда через много лет может привести к чему-то нехорошему. Но пара оговорок:
— ребята сами засунули в промпт ссылку «вот тут лежит код, которым мы тебя вызываем»
— ребята дали задачу «редактируй соседний файл и вот еще один файл», добейся лучших результатов
— ребята полагаются на написаную не ими модель для улучшения кода, а используемый копайлот, Aider, как раз и предназначен для улучшения любого кода — это опен-сорсный аналог GitHub Copilot.

В общем, ИИ-безопасность — важная дисциплина, Но иногда медиа слишком преувеличивают важность случайных галлюцинаций или переобучения.

Лучше беспокойтесь о том, что давно не брали отпуск, чем о том, что нас захватит ИИ.

🤖Промпт-инжиниринг в 2025 году

Примерно все уже решили, что промпт-инжиниринг не нужен. Современные модели неплохо справляются даже со сложными запросами. Но время от времени в медиапространстве появляются противоположные мнения — кто-то шутит про ложный тренд, кто-то публикует подборки лучших фраз для промптов.

Есть нюансы, которые важно проговорить. Разделим применение промптов на три части:

— ежедневная работа с нейросетями
Ты пишешь запрос — нейросеть отвечает. Claude 3.5 или o3-mini не требуют сложных промптов. Всё, что нужно, уже заложено в системе, поэтому нет смысла усложнять взаимодействие — хотя все равно важно докидывать контекст и уточнять формат ответа.

— работа с Deep Research.
Здесь все иначе. Агентские системы со средним временем ответа в 20 минут требуют детальных и структурированных запросов. Мне понравилась метафора из X: «просто представьте, что вы пишете письмо, а не общаетесь в чате». В чате можно писать коротко: «привет, есть вопрос, сейчас расскажу» (но никогда так не делайте). А в письме вы сразу описываете всё подробно. Так же нужно работать и с Deep Research. Это не промпт-инжиниринг в классическом понимании, а просто другой подход к формулировке запросов — как на картинке.

— нейросети в продуктах и сервисах
И вот здесь как раз промпт-инженеры действительно необходимы. Когда команда разрабатывает нейрофичи, нужно, чтобы система работала стабильно в 99,9% случаев, а не «когда повезет». Промпт-инженеры создают идеальные промпты, учитывающие все пограничные случаи, обеспечивая корректные ответы в любых ситуациях.

Например, вы пишете саммаризатор отзывов для маркетплейса:
— если нейросеть не может саммаризовать отзывы, она должна дать ответ об этом в заранее установленном формате
— если данных недостаточно, чтобы заполнить тот или иной раздел, это тоже надо обработать корректно
— если есть противоречающие параграфы, поведение для такого тоже надо продумать.
— если на вход пришли некорректные данные (пользователь в плюсах товара описал минусы), с этим надо уметь работать

Это похоже на программирование. И своей работой промпт-инженеры значительно облегчают работу ML-команд. Их сложно назвать массовыми специалистами, но в компаниях вроде Яндекса или Т-банка внутри ML-команд они действительно нужны.

Так что промпт-инженеры одновременно не нужны и чрезвычайно востребованы. Просто юзкейсы разные.

P.S. Если у вас в команде есть промпт-инженеры (или вы и есть промпт-инженер), напишите мне в личку — очень хочу показать пару интересных штук.

ChatGPT 4o: генерация картинок

Мои ленты в X и Telegram — в стилизованных ChatGPT красивых картинках. Даже в сторис везде они. Преимущественно, конечно, в стиле Ghibli. Сегодня ночью генерация картинок стала доступна даже бесплатным пользователям (хотя лимиты не радуют даже с оплаченной подпиской).

Предыдущий пост здесь был про ситуации, когда промпты нужны — но здесь все иначе.

Пара слов. И все.

Универсальный промпт:

restyle image in studio ghibli style, keep all details

Своя Prisma на совершенно любой кейс теперь у каждого. С нереальным качеством.

Собрал для вас классные рисовки, в которых можно попробовать погенерить картинки:

Wallace and Gromit
Rick and Morty
Attack on Titan
70s Disney
American Dad
South park
Futurama
Rankin/Bass
Don Bluth
Fleischer Studios
Pixar
Toei Animation (Classic Era)
Cow and Chicken / Cartoon Network Gross-Out
Max Fleischer’s Superman
Sylvain Chomet
LEGO
Invincible

Да, с помощью ChatGPT теперь можно делать любые комиксы, постеры, передвигать мебель в квартире, собирать луки одежды... И можно прописывать сценарии, с помощью длинных промптов и большой группы уточнений...
Но для сценария фоторедактор достаточно пары слов.

Словом, мощь.

Больше провокационных постов: предсказание будущего

В этот раз — не от меня, а от Родни Брукса из MIT (со-основателя iRobot).

В 2018 он предсказал, что будет происходить с беспилотными автомобилями, ИИ, роботами и путешествиями в космос (с конкретными датами, когда он думает, что конкретно будет происходить), и с тех пор каждый год следит, насколько сбывается или нет его прогноз.

Для своего спича про генеративки он даже придумал термин FOBAWTPALSL — Fear Of Being A Wimpy Techno-Pessimist And Looking Stupid Later (страх быть слабаком-техно-пессимистом и потом выглядеть тупо).

Конечно, он отмечает, что у нас везде большой прогресс и мы бежим к успеху.

Но дальше он методично рассказывает, почему считает, что до полетов в космос, массовых продаж полезных роботов и замены людей на ИИ нам еще как до луны пешком.

Пара фактов от Родни Брукса:
— все пройденное любыми беспилотными автомобилями расстояние за последние десять лет все еще меньше 1% от того, что проехали за сегодня водители-человеки
— Waymo, самый крупный такси-сервис с беспилотниками (к которым, в случае чего, подключается человек) все еще работает только в 3 городах и ставит амбициозную цель на еще 2 в 2025
— несмотря на весь хайп про электро-кары, в США их доля выросла только до 9%
— летающих такси все еще не существует в реальности
— полезного робота, который умеет просто, ну, перемещаться по рандомному дому в США, с лестницами и узкими проходами — все еще не существует
— регулярных полетов в космос за деньги все еще не существует — за 2024 год было 2 полета

Даже в тех местах, где автор перегибает, это очень интересный материал для чтения — мне кажется, всегда важно смотреть не только на спектр «в 2027 году ИИ остановит найм разработчиков в мире».

P.S. А, ну и с днем рождения меня, да.