УТИНЫЙ ТЕСТ ДЛЯ AI

Читатель канала предложил рассказать, «что стоит за сообщениями про то, как Фейсбук убил проект, где два чат бота стали разговаривать друг с другом на непонятном языке - наверняка журналисты все переврали».
Рассказываю.

1) Все эти заголовки, типа Умные боты Facebook придумали свой язык на случай важных переговоров, Восстание машин: чат-боты Facebook создали собственный язык, Человечество было в одном шаге от реального бунта машин и т.п., - просто погоня за дешевыми сенсациями, и сами статьи не имеют ничего общего с сутью события.

2) Да и события-то, в принципе, никакого не было. И, казалось бы, - о чем говорить?

— Уже известно, что AI-системы способны оперировать не существовавшими ранее языками (см., например, здесь).

— Программисты, разрабатывавшие чат-боты для Facebook, не установили в программу ограничение, чтобы боты ОБЯЗАТЕЛЬНО общались на языке людей. Поэтому боты, для повышения эффективности своего диалога, стали банально «упрощать» язык людей под поставленную им задачу. Например, вместо того, чтобы заморачиваться со сложными языковыми конструкциями, бот называл пять раз один и тот же предмет, что «на новом языке» означало потребность в пяти экземплярах данного предмета.

— Поскольку по техзаданию требовались боты ИСКЛЮЧИТЕЛЬНО для общения с людьми, эксперимент С ЭТИМИ БОТАМИ был признан неудачным и завершен.

Так почему же появляются все новые и новые фейковые новости вокруг темы языков ботов и шире – языков AI?

— Microsoft запустила в Twitter ИИ-бота — подростка, и он за сутки научился плохим вещам
— Cначала Tay, теперь Zo: очередной чат-бот Microsoft вышел из-под контроля
— AI Is Inventing Languages Humans Can’t Understand. Should We Stop It? и т.д. и т.п.

Ответ на поставленный вопрос, хоть и лежит на поверхности, но осознается не сразу.

✔️ Цунами фейковых новостей имеют единственную цель – любым путем подогревать интерес к AI-разработкам со стороны инвесторов. А это невозможно без ажиотажного интереса к AI со стороны Нового Бога XXI века – МЕДИА (и об этом, кстати, есть отличный сериал)

✔️ Если прекратить извергать цунами фейковых новостей, то и МЕДИА, и инвесторы довольно скоро поймут, что «Создать искусственное сознание невозможно — даже случайно».
И, следовательно, в AI разработках нужно добиваться не антропоморфизма, а механоморфизма, т.е. мы должны перестать пытаться заставить ботов действовать как люди.
Они не смогут действовать, как люди, поскольку без сознания никакой бот не будет способен ПОНИМАТЬ тонкостей контекста и даже, хотя бы, просто вежливо себя вести.

Нынешнее же направление разработок разговорных ботов (и шире – AI) более всего напоминает скевоморфизм в дизайне – имитацию другого объекта путем имитирования его материала, формы и функциональности.

В результате, прохождение разрабатываемыми сейчас AI-системами Теста Тьюринга, по сути, превратилось в прохождение Утиного теста.

Но если что-то выглядит как утка, плавает как утка и крякает как утка, - это все же не гарантирует, что перед нами утка.
Если только под уткой не понимается фейковая новость.

#AI #ФейковыеНовости #Язык

Какой язык самый великий и могучий.
Новая наука на стыке лингвистики, теории информации и когнитивной психологии.
«Во дни сомнений, во дни тягостных раздумий о судьбах моей родины, - ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! Не будь тебя - как не впасть в отчаяние при виде всего, что совершается дома? Но нельзя верить, чтобы такой язык не был дан великому народу!».
Так написал И.С. Тургенев в своем стихотворении в прозе "Русский язык".

Оставим для поэтов вопрос, так ли уж правдив и свободен русский язык, и зададимся прагматичным вопросом – а насколько в реальности он велик и могуч?
То бишь, - насколько он эффективен.
Причем эффективен для 2х довольно перпендикулярных практических целей, для которых язык создавался в ходе эволюции:
1) коммуникация;
2) обучение.

Что если,
✔️ мобилизовав аналитику больших данных и машинное обучение,
✔️ применить их к методам языкового анализа, используемым в лингвистике, теории информации и когнитивной психологии.
И параллельно с этим, экспериментально посмотреть, как эффективность языка для коммуникации и для обучения может быть зафиксирована современными методами динамической визуализации мозга (типа фМРТ и т.д.)

Тогда можно будет, наконец, найти ответы на много интереснейших вопросов.
Например:
— Сравнить существующие языки (их всего-то 6-8 тыс. на Земле, смотря как считать) по эффективности для 2х названных целей (вот чудо будет, если русский окажется действительно великим и могучим 😉)
— Понять, когда при развитии языка берет верх 1я, а когда 2я цель, и как разрешается конфликт целей.
— Узнать, могут ли когнитивные ограничения формировать коммуникативную эффективность и обучаемость, иными словами - связаны ли они с принципами и методами нейронной организации человеческого мозга.

Короче! Пять университетов США запустили серию исследований, дабы заложить основы новой науки, которая может очень многое в нас объяснить.
Не говоря уж о том, что она даст ответ на вопрос
— как сравнить два типа интеллекта, если 1й из них знает (т.е. использует для коммуникаций и обучения) русский или английский, а 2й - Python или CNTK 😉

Подробней «How Efficiency Shapes Human Language» (скайхаб вам в помощь)
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30058-0
#Язык

​​Миру срочно нужен психотерапевт.
Уникальный анализ культуромики когнитивных искажений с 1855 по 2019.
Скоро будут официально опубликованы результаты уникального по объему и важности исследования «Исторические языковые записи свидетельствуют о всплеске когнитивных искажений в последние десятилетия».
Наблюдаемое в 21 веке ускорение мировых процессов все чаще заставляет использовать метафору «фазового перехода», переживаемого человечеством. И хотя академическая наука не в состоянии подтвердить или опровергнуть наличие какого-либо «фазового перехода» (напр., вхождения земной цивилизации в зону эволюционной сингулярности), практических свидетельств этого становится все больше.

На сей раз весьма убедительное свидетельство пришло из исследования культурно-лингвистической динамики (культуромики). Это новая научная область и новый метод исследований культурных и социальных процессов с помощью статистического анализа употребления слов и словосочетаний в огромных текстовых массивах. Исследования по культуромике выполняются на базе Google ngrams - хранилища всех сочетаний слов для каждого года длиной от 1 до 5 на 8 языках.

Логика данного исследования такова.
1) Ключевым фактором, позволившим нам стать теми, кто мы есть сегодня, является язык. Прогресс земной цивилизации сопровождается непрерывным и ускоряющимся ростом сложности и разнообразия используемых языков.
2) Все важные изменения в коллективной психологии людей так или иначе проявляются в их языке в ответ на разные культурные и социально-экономические вызовы.
3) Т.о., анализ культуромики позволяет отследить и оценить изменения в коллективной психологии людей.

Предметом исследования стал поиск и анализ исторических следов когнитивных искажений - паттернов мышления, связанных с такими психологическими расстройствами, как депрессия и тревога.

Поиск и анализ проводился в более чем 14 млн. книг, опубликованных с 1855 по 2019 на английском, испанском и немецком языках.

В результате анализа был выявлен ярко выраженный паттерн “хоккейной клюшки”: за последние два десятилетия текстовые индикаторы когнитивных искажений поднялись значительно выше исторических уровней (включая 1-ю и 2-ю мировые войны) после снижения или стабилизации на протяжении большей части 20-го века.

Эти результаты указывают на возможность того, что недавние социально-экономические изменения, новые технологии и социальные сети вызвали беспрецедентный рост когнитивных искажений, способствующих росту депрессии и тревоги во всех развитых обществах.

Пояснение
Люди, страдающие депрессией и тревогой, склонны к росту когнитивных искажений, в результате чего они думают о себе, мире и будущем чрезмерно негативными и неточными способами. Эти искажения связаны с заметными изменениями в настроении, поведении и речи.
Такие когнитивные искажения, например, проявляются, когда:
• люди называют себя негативными, абсолютистскими терминами (типа, “я неудачник”);
• говоря о будущем, люди впадают в крайности (типа, “моя встреча будет полной катастрофой”);
• люди делают необоснованные предположения о чьем-то душевном состоянии или мыслях (типа, “все будут думать, что я псих”).

В исследовании рассмотрели 12 типов таких когнитивных искажений: от черно-белого мышления и катастрофизации до «ясновидения» и «телепатии».

Для каждого типа когнитивных искажений существуют свои лингвистические шаблоны. Напр., в английском языке для «катастрофизации» - это will fail, will go wrong, will end, will be impossible, will not happen, will be terrible, will be horrible, will be a catastrophe, will be a disaster, will never end, will not end.

Исследователи нивелировали альтернативные влияния: учли изменения языков, объемов публикуемых текстов и семантические сдвиги.

Вывод однозначный – миру срочно нужен психотерапевт.
Из-за чего?
Скорее всего, из-за смены медиа-среды, стимулирующей поляризацию "мы-против-них".

P.S. Канал уходит в небольшой отпуск. Счастливо!

#КогнитивныеИскажения #Язык

​​Homo sapiens теряет свою главную силу.
Чем грозит человечеству начавшийся языковый апокалипсис.
Из примерно 6-8 тыс языков на Земле (это число можно считать по-разному) уже в ближайшие десятилетия вымрут 5+ тыс. О последствиях этого языкового апокалипсиса почти не пишут в СМИ. А зря! Ибо эти последствия для планетарного разума землян могут быть соизмеримы с последствиями глобального ухудшения климата для биологического существования людей.

• Почему начался языковый апокалипсис на Земле?
• Что взвинтило его скорость в последнюю пару десятилетий?
• Как на это повлияет начавшаяся революция больших языковых моделей?
На эти 3 вопроса я предельно коротко (всего 170 слов) попытался ответить в комментарии для BRIEFLY.

Здесь же добавлю следующее (ибо без этого трудно понять масштаб катастрофы).

✔️ Главное в интеллектуальной мощи людей – не язык, а многоязычие. Чем больше языков знает человек, тем выше его интеллект, тем изысканней его сознание, тем масштабней и сложней его разум.

✔️ Язык – это не только самый совершенный способ передачи информации при коммуникациях, но и «свет разума»:
- это бесценный инструмент для организации, обработки и структурирования информации;
- а еще это особый механизм восприятия и познания мира, а также самих себя.

✔️ Знания многих специализированных языков (математики и химии, музыки и поэзии, живописи и кино, языков программирования и создания промптов для ИИ, …), - дает колоссальное преимущество их носителю в познании мира, в общении с ним и (что выделяет людей из всей живой природы) в актах творчества (создания в мире нового, ранее не существовавшего) и развития способностей творца.

✔️ Естественные языки (монтируемые в нас от рождения когнитивные гаджеты) выполняют похожую роль со специализированными языками. Они формируют для человека уникальный взгляд на сложности и многообразие мира и дают ему уникальный инструмент его познания.

✔️ Поэтому утрата каждого из языков землян ведет к потере:
- уникальных интеллектуальных пластов истории, мифологии, философии, науки, шуток, песен, загадок и суеверий сообщества их носителей;
- уникального механизма познания и понимания мира, общения с ним и создания творцами новых миров.

Это большая иллюзия, что миру хватит английского и китайского языков. Как бы велики и совершенны они ни были, они – лишь малая часть великого многообразия.

Представьте мир, в памяти которого остались лишь два великих певца: например, Джон Леннон и Фредди Меркьюри. И больше никого!
Нет Шаляпина и Карузо, Роберта Планта и Фрэнка Синатра, Паваротти и Марии Каллас, Аллы Пугачевой и Тины Тёрнер … …
Хотели бы жить в таком мире?

#Язык

​​Говоря меньше, вы получите больше.
Избавление от болтоголизма, как фактор успеха в зашумленном мире.
Ни для кого не секрет:
• информационная нагрузка на каждого их нас с каждым годом колоссально растет;
• а доля разнообразного инфошума в потребляемом нами контенте растет еще быстрее.
Мы просто захлебываемся в потоках инфошума. Он переполняет наш мозг и отравляет нам сознание.

А поскольку это случилось столь быстро (переход от индустриального мира к информационному произошел при жизни всего одного поколения), люди не успели адаптироваться к предельно токсичной инфосреде. Никаких адаптационных стратегий до сих пор не предлагалось. И каждый выживает в этих условиях, как может.

Одна из первых адаптационных стратегий не просто выживания в инфошуме, а оптимизации движения к своим целям в зашумленной среде, предложена Дэном Лайонсом в только что вышедшей книге «STFU: сила держать рот на замке в бесконечно шумном мире».

Суть стратегии, на вид, предельно проста - заткнись и слушай, а не болтай так много.
Но это лишь на первый взгляд.
Автор на многих примерах показывает:
• чем выше уровень шума, тем важнее слушать, а не говорить;
• мы привыкли думать, что побеждают те, за кем остается последнее слово, но в шумном мире власть принадлежит тем, кто умеет молчать;
• закрытие рта, открывает разум, что помогает становиться счастливее и продуктивней;
• болтоголизм – это реальная зависимость, ведущая к личным и профессиональным трудностям;
• ограничить собственную говорливость не просто, однако специальные приемы и тренинг помогают, подобно медитации или психотерапии.

Лайонс предлагает пять направлений самосовершенствования:
✔️ Говорите, лишь когда это обязательно нужно.
✔️ Овладевайте искусством пауз.
✔️ Уйдите из социальных сетей или хотя бы отфрендите всех и зафрендите сново лишь тех, без кого никак нельзя.
✔️ Как только возможно, отключайтесь ото всех источников инфошума
✔️ Научитесь слушать – в этом истинная суперсила

Об этой книге я собирался написать еще в марте и забыл. Спасибо Дэреку Бундсу, на чьем семинаре по обсуждению интересных тем и идей в Остине, штат Техас эта книга стала предметом обсуждения на прошлой неделе.

Авторский тизер книги:
• в Time
• в открытом доступе у Дэрека Боундса
#ЛичнаяПродуктивность #Язык #СоциальноеПознание

Помимо “процессора” и “памяти”, в мозге людей есть “машина времени”.
Это альтернативная когнитивная сущность принципиально отличает нас от ИИ.
Опубликованное в Nature Neuroscience исследование Йельского университета – это холодный душ для исследователей генеративного ИИ, полагающихся на его, хотя бы частичный, антропоморфизм (мол, это что-то типа самолета, похожего на птицу, но летающего с неподвижными крыльями).

Ведь можно бесконечно спорить, понимает ли большая языковая модель или нет, мыслит ли она или нет, способна ли на волевое действие или нет …, ибо все эти понятия расплывчаты и эфемерны. И пока нет даже гипотез, как эти феномены инструментально анализировать.

И тут вдруг исследователи из Йеля выкатывают инструментальное исследования (фМРТ + распознавание паттернов с помощью машинного обучения), из которого следует, что:
• травматические воспоминания людей – это вовсе не их память, типа обычных веселых, грустных или нейтральных воспоминаний о прошлом опыте людей, как-то и где-то записанных в мозге, подобно ячейкам памяти компьютеров, откуда их можно считывать по требованию;
• травматические воспоминания об ужасах войны, пережитом насилии и прочих корежущих душу кошмарах – это натуральные флешбэки, заставляющие не только сознание человека, но и все его тело снова переноситься (как бы на машине времени) в прошлое и заново переживать всю ту же душевную и физическую боль;
• отсюда все страшные последствия ПТСР - панические атаки, агрессивность, уход в себя, деформация личности, - возникающие у страдающих ПТСР в результате все повторяющихся и повторяющихся душевных и физических мучений, от которых нет спасения (как от платка, что снова и снова подавали Фриде, пока ее не избавила от этого ПТСР Маргарита);
• в отличие от памяти, у этих флешбэков и механизм иной, и способ обработки: память обрабатывается в мозге гиппокампом, а травматические флешбэки - задней поясной извилиной (областью мозга, обычно связанной с обработкой мыслей); порождаемые памятью и травматическими флешбэками паттерны мозговой активности абсолютно разные.

Наличие этой своеобразной «машины времени» в мозге людей, заставляющей всю его отелесненную сущность (а не только то, что мы называем «душой») заново и заново переносить весь спектр когда-то пережитых мучений, - это какой-то садистический трюк, придуманный эволюцией.

Зачем ей нужен этот садизм, науке еще предстоит объяснить.

Однако, наличие у людей альтернативной памяти когнитивной сущности можно считать установленным. И это убедительный аргумент против попыток антропоморфизации когнитивных механизмов ИИ.
• Спектр когнитивных отличий ИИ от людей широк и, видимо, будет еще расширяться по результатам новых исследований.
• Но и единственного когнитивного подобия – владения нашим языком, - для ИИ будет, скорее всего, достаточно для достижения интеллектуально превосходства над людьми в широчайшем перечне областей.
Ибо, как писал Л.Витгенштейн, “язык - это «форма жизни»”… общая для людей и ИИ, - добавлю я от себя.

Подробней:
- популярно https://www.livescience.com/health/neuroscience/traumatic-memories-are-processed-differently-in-ptsd
- научно https://www.nature.com/articles/s41593-023-01483-5
#ИИ #Язык #LLM

На каком языке ChatGPT видит сны.
Важный шаг к раскрытию тайны сверхчеловеческих языковых способностей LLM.
1) Почему человек не может, как большая языковая модель (LLM – напр. GPT, Claude, Gemini …), говорить на 100 языках?
2) Не в этом ли кроется принципиальное отличие человеческого и машинного разума?
Новое исследование [1], в буквальном смысле, послойно вскрывая и анализируя скрытый механизм сверхчеловеческих языковых способностей моделей, сильно приближает нас к ответу на 1й вопрос.
А сделав еще один логический шаг, можно попытаться получить ответ и на 2й вопрос.

Предельно упрощая, суть в следующем.
• Принято считать, что внутренним языком («языком мыслей») людей является родной язык.
На нем они видят сны и кричат в несознанке. И даже для многоязычных персон, типа Владимира Познера, это, хоть и с поправкой, но работает похоже (вспомните радистку Кэт, кричавшую во время родов «Мама!» по-русски).
• В этой связи, естественен вопрос – а какой «язык мыслей» у LLM?
До сих пор было принято считать, что английский (ибо на нем наибольший объем данных, на которых обучаются модели). И эксперименты по использованию английского языка, как языка-посредника (сначала входные данные на исходном языке переводили на английский, обрабатывали их на английском, а затем переводили ответ обратно на исходный язык) подтвердили эффективность такого метода.
• Но теперь, наконец, решили вскрыть нейросетевой мозг LLM Llama-2, чтобы, послойно изучая отдельные слои, добраться, если не до «языка мыслей» (коих у модели может и не быть), то как минимум до ее лингва франка.
А это крайне сложно из-за труднодоступной природы нейронных сетей, лежащей в основе LLMs. В них лишь входной слой работает с дискретными токенами. А все остальные работают уже с многомерными векторами из чисел с плавающей запятой. Как понять, соответствуют ли эти векторы английскому, эстонскому, китайскому и т. д. — или вообще никакому языку — это открытая проблема. И вопрос о том, используют ли LLMs внутренний язык-посредник, до сих пор не был изучен эмпирически.

Теперь изучили и ответ получили.
✔️ Это не английский язык, а неведомый нам язык для формирования и оперирования в абстрактном «пространстве концепций».
✔️ Этот язык англо-подобен, но лишь в семантическом, а не чисто лексическом смысле. Что порождает проблемы.

Например:
— англоцентричное смещение предвзятостей этого языка, что может вызывать предвзятости и в поведении модели;
— психолингвистические заморочки из-за того, что концепции могут нести разное эмоциональное значение в разных языках, и что одно слово может использоваться для разных концепций, а это может влиять на когнитивные процессы.

Названные проблемы требуют продолжения исследований.
Но это уже прорыв. И теперь растут шансы, что языки абстрактных «пространств концепций» больших языковых моделей, способные классифицировать и генерировать любые человеческие языки, помогут нам попытаться сделать то же самое с языками животных. [2]

На приложенной картинке: https://telegra.ph/file/8ea87384fc8f443abbfb8.jpg
Анатомия прямого прохода трансформера при переводе на китайский язык. Эволюция на каждом слое: (а) энтропия распределения следующего токена; (б) энергия токена; (в) вероятности языков. По мере того как скрытые представления преобразуются от слоя к слою, они проходят через три фазы; (г) перемещение на гиперсфере, здесь картинка показана в 3D вместо реальных 8192D; «甜» означает «сладкий».

И кстати, слабо 8192-мерную гиперсферу вообразить?
А для DALL·E это запросто: https://telegra.ph/file/12f650a40918a4f8b4472.jpg

Вот он – иной разум с иным воображением 😊.

1 https://arxiv.org/pdf/2402.10588
2 https://arxiv.org/abs/2406.01253
#LLM #Язык

Креативность сидит в нас глубже языка.
Это может значить, что большим языковым моделям по креативности нас не догнать
По креативности людям нет равных: ни среди других видов, ни в сравнении с современными ИИ-системами.
Ключевой аспект мышления в основе столь беспрецедентной человеческой креативности, — это комбинаторное мышление, или способность собирать бесконечное количество сложных идей из ограниченного числа простых концепций.
Комбинаторное мышление, кажется, тесно связано с использованием языка, который облегчает создание и обмен сложными идеями с другими.
Но что именно - доязыковое комбинаторное мышление или язык, - первопричина высочайшей креативности людей?
1) Если первопричина - язык, то шансы ИИ-систем на основе языковых моделей (уже почти не уступающих во владении языком людям) догнать и превзойти людей по креативности весьма высоки.
2) Если же первопричина - доязыковое комбинаторное мышление, есть шанс что в креативности языковым моделям нас не догнать, как ни увеличивай их масштабы.

Новое междисциплинарное исследование экспериментально показало.
Комбинаторные процессы для формирования сложных идей:
• начинают функционировать у младенцев в течение первого года жизни;
• в этом возрасте эта способность точно не является следствием использования языка (его еще пока нет), но при этом, она является предпосылкой для обучения в целом.

И следовательно, весьма возможно, что по креативности ИИ-системам нас не догнать с помощью лишь их масштабирования, ибо креативность сидит в нас глубже языка.

Картинка https://telegra.ph/file/9dfced6409cd8997276e4.jpg
Статья https://doi.org/10.1073/pnas.2315149121
Видео доклад и преза https://www.youtube.com/watch?v=m3j8hip4nyw
#Язык #Мышление #Креативность