Разработка искусственного интеллекта: какие цели уже достигнуты
#futurology
В 1972 году ученые составили список из 12 задач, которые нужно решить для создания искусственного интеллекта в ближайшие десятилетия. Сейчас, сорок пять лет спустя, мы можем оценить, что из казавшегося тогда важным и сложным, было решено, а что так и осталось актуальной задачей разработки искусственного интеллекта.
На наш взгляд, на данный момент достигнуты 6 из 12 поставленных целей:
✔️ 1. Создание шахматных программ.
✔️ 2. Машинное творчество в области музыки, поэзии, живописи.
◻️ 3. Создание программ, выдерживающих тест Тьюринга.
◻️ 4. Машинное доказательство теорем.
◻️ 5. Создание программ индуктивного вывода.
✔️ 6. Создание вопросно-ответных систем (в том числе систем автоматического реферирования).
✔️ 7. Автоматический перевод.
✔️ 8. Распознавание и синтез речи.
◻️ 9. Автоматическая проверка правильности программ.
✔️ 10. Автоматическое вождение автомобилей.
◻️ 11. Создание роботов-сборщиков, роботов-строителей.
◻️ 12. Создание робота-планетохода для автономной работы в новых условиях.
В посте рассмотрим самые спорные моменты.
Машинное творчество в области музыки, поэзии, живописи
Формально говоря — да. Фактически говоря — нет.
Компьютеры умеют рисовать картины, сочинять стихи и музыку. Ради справедливости нужно сказать, что это так было уже в 1970-х годах. Разница с тем временем касается в первую очередь стоимости периферических устройств.
45 лет назад можно было написать программу, которая создаст мелодию, но трудно было эту мелодию воспроизвести. Компьютер мог написать картину, но трудно было эту картину перенести из памяти в физический мир: принтер был слишком дорогим.
Сейчас с периферией проблем нет, а часто она даже не нужна: общедоступность устройств сделала мир таким, что распечатывать созданное компьютером изображение не нужно, легче посмотреть его на экране смартфона.
Однако, если речь идет про настоящее творчество, сопоставимое с творчеством поэтов и художников, то искусственному интеллекту похвастаться нечем. Что стихи, что картины в исполнении компьютера — это компиляции, воспроизведение, косплей. Придумывать новое микросхемы пока не в состоянии.
Хотя в наше время оказались востребованы именно имитации, и компьютер в этом преуспел. Время и устройство нашли друг друга. Инженерам достаточно того, что стихи рифмуются, а музыка похожа на то, что писал в свое время Бах. Вряд ли кто-то заинтересован в принципиальном прогрессе в этой области. Так что засчитаем искусственному интеллекту балл.
Создание программ, выдерживающих тест Тьюринга
Снова и да и нет.
С одной стороны, чат-боты с того времени сделали огромный шаг вперед. В 1970-е годы «компьютеры, которые общаются с человеком» на практике означало «компьютеры, которые в своей памяти держат все варианты диалоговых ситуаций». То есть для хорошей программы-болталки нужно было вручную описать все возможные вопросы и все возможные ответы на них. При минимальном погружении в тему становится очевидно, что это просто невозможно: число возможных речевых ситуаций бесконечно.
Теперь так никто не делает. Нашёлся другой путь: глубокое обучение. Нейросеть умеет находить в предоставленных ей данных скрытые закономерности, которые позволяют выбирать нужный вариант при ответе на вопрос человека. Существуют такие программы, которые действительно умеют имитировать общение с человеком, поддерживать осмысленный диалог на протяжении обмена несколькими репликами. Всё это стоит занести разработчикам искусственного интеллекта в актив.
В то же время все сообщения о том, что тест Тьюринга пройден — просто кликбейт. В чистом виде тест не пройден. А если бы даже он был пройден, это не означало бы, что в построении интеллектуальных систем произошел принципиальный прорыв. Это была бы еще одна имитация — на этот раз на уровне общения.
Комментарии ко всем остальным задачам — в нашей статье: https://sysblok.ru/futurology/dostigla-li-svoih-celej-razrabotka-iskusstvennogo-intellekta/
Борис Орехов
#futurology
В 1972 году ученые составили список из 12 задач, которые нужно решить для создания искусственного интеллекта в ближайшие десятилетия. Сейчас, сорок пять лет спустя, мы можем оценить, что из казавшегося тогда важным и сложным, было решено, а что так и осталось актуальной задачей разработки искусственного интеллекта.
На наш взгляд, на данный момент достигнуты 6 из 12 поставленных целей:
✔️ 1. Создание шахматных программ.
✔️ 2. Машинное творчество в области музыки, поэзии, живописи.
◻️ 3. Создание программ, выдерживающих тест Тьюринга.
◻️ 4. Машинное доказательство теорем.
◻️ 5. Создание программ индуктивного вывода.
✔️ 6. Создание вопросно-ответных систем (в том числе систем автоматического реферирования).
✔️ 7. Автоматический перевод.
✔️ 8. Распознавание и синтез речи.
◻️ 9. Автоматическая проверка правильности программ.
✔️ 10. Автоматическое вождение автомобилей.
◻️ 11. Создание роботов-сборщиков, роботов-строителей.
◻️ 12. Создание робота-планетохода для автономной работы в новых условиях.
В посте рассмотрим самые спорные моменты.
Машинное творчество в области музыки, поэзии, живописи
Формально говоря — да. Фактически говоря — нет.
Компьютеры умеют рисовать картины, сочинять стихи и музыку. Ради справедливости нужно сказать, что это так было уже в 1970-х годах. Разница с тем временем касается в первую очередь стоимости периферических устройств.
45 лет назад можно было написать программу, которая создаст мелодию, но трудно было эту мелодию воспроизвести. Компьютер мог написать картину, но трудно было эту картину перенести из памяти в физический мир: принтер был слишком дорогим.
Сейчас с периферией проблем нет, а часто она даже не нужна: общедоступность устройств сделала мир таким, что распечатывать созданное компьютером изображение не нужно, легче посмотреть его на экране смартфона.
Однако, если речь идет про настоящее творчество, сопоставимое с творчеством поэтов и художников, то искусственному интеллекту похвастаться нечем. Что стихи, что картины в исполнении компьютера — это компиляции, воспроизведение, косплей. Придумывать новое микросхемы пока не в состоянии.
Хотя в наше время оказались востребованы именно имитации, и компьютер в этом преуспел. Время и устройство нашли друг друга. Инженерам достаточно того, что стихи рифмуются, а музыка похожа на то, что писал в свое время Бах. Вряд ли кто-то заинтересован в принципиальном прогрессе в этой области. Так что засчитаем искусственному интеллекту балл.
Создание программ, выдерживающих тест Тьюринга
Снова и да и нет.
С одной стороны, чат-боты с того времени сделали огромный шаг вперед. В 1970-е годы «компьютеры, которые общаются с человеком» на практике означало «компьютеры, которые в своей памяти держат все варианты диалоговых ситуаций». То есть для хорошей программы-болталки нужно было вручную описать все возможные вопросы и все возможные ответы на них. При минимальном погружении в тему становится очевидно, что это просто невозможно: число возможных речевых ситуаций бесконечно.
Теперь так никто не делает. Нашёлся другой путь: глубокое обучение. Нейросеть умеет находить в предоставленных ей данных скрытые закономерности, которые позволяют выбирать нужный вариант при ответе на вопрос человека. Существуют такие программы, которые действительно умеют имитировать общение с человеком, поддерживать осмысленный диалог на протяжении обмена несколькими репликами. Всё это стоит занести разработчикам искусственного интеллекта в актив.
В то же время все сообщения о том, что тест Тьюринга пройден — просто кликбейт. В чистом виде тест не пройден. А если бы даже он был пройден, это не означало бы, что в построении интеллектуальных систем произошел принципиальный прорыв. Это была бы еще одна имитация — на этот раз на уровне общения.
Комментарии ко всем остальным задачам — в нашей статье: https://sysblok.ru/futurology/dostigla-li-svoih-celej-razrabotka-iskusstvennogo-intellekta/
Борис Орехов
Редакционное расстояние: что это и где используется
#knowhow #glossary
Чаще всего редакционное расстояние (edit distance) применяется в компьютерной лингвистике и биоинформатике. В этих областях нередко возникают задачи, когда надо понять, насколько две строки формально близки. То есть редакционные расстояния говорят не о смысловой близости слов или предложений, а только о близости их формы.
Как вычислить редакционное расстояние
Чтобы узнать редакционное расстояние между двумя строками, нужно посчитать минимальное количество посимвольных операций, которые нужно сделать, чтобы превратить первую строку во вторую. Таких операций всего четыре:
• удаление
• вставка
• замена
• перестановка соседних символов.
В операции может участвовать только один символ в строке. Количество операций — это и есть редакционное расстояние между двумя строками. Простейший пример: чтобы превратить «сон» в «слон», нужно произвести одну операцию: вставить букву «л» после «с».
Виды редакционных расстояний
Есть несколько основных редакционных расстояний. Основное отличие между ними — набор операций, который разрешено использовать. Расстояние Хэмминга разрешает только замены. Расстояние Джаро-Винклера — только перестановки.
Одно из самых известных редакционных расстояний — расстояние Левенштейна, которое разрешает все операции, кроме перестановки.
Попробуем посчитать расстояние Левенштейна между словами «карета» и «ракета». Чтобы превратить карету в ракету, нужно:
1) поменять первую букву — «к» на «р», после этой операции штраф равен 1, и у нас есть слово «какета»
2) поменять третью букву — «р» на «к», после этой операции штраф равен 2, и мы получили нужное слово «ракета».
Расстояние Левенштейна между словами «карета» и «ракета» равно двум.
А расстояние Дамерау-Левенштейна разрешает все четыре операции: замену, вставку, удаление и перестановку соседних символов.
Иногда измеряют пословное расстояние Левенштейна — при таком подходе за единицу принимается не один символ, а одно слово. Тогда между предложениями «Я люблю лингвистику» и «Я люблю компьютерную лингвистику» расстояние будет равно 1, а не 14, как было бы в случае посимвольных операций.
Мы также можем давать разный штраф за разные операции. Например, решить, что мы очень не любим замены символов и давать за них не 1, а 2 балла. В этом случае говорят, что операции имеют разный вес, и называют полученный результат взвешенным расстоянием Левенштейна.
Где применяют редакционное расстояние
В компьютерной лингвистике возникает множество задач, где нужно посчитать формальную меру близости между строками: например, для проверки орфографии, или для сравнения, насколько похожи два предложения. Первые системы автоматической проверки орфографии фактически сводились к подсчету редакционного расстояния Левенштейна или Дамерау-Левенштейна с использованием сложной системы штрафов. Система шла от слова к слову и проверяла, есть ли такое слово в словаре, а когда встречала слово, которого нет в словаре, то пыталась заменить его на наиболее близкое по редакционному расстоянию слово из словаря. Сейчас расстояние Левенштейна редко используется как единственный признак близости, но очень часто как один из.
В биоинформатике редакционные расстояния используются для определения похожести друг на друга разных участков ДНК или РНК, которые в таком случае представляются как последовательность, состоящая из A, G, C, U и T — это первые буквы четырех азотистых основания, которые могут входить в состав ДНК или РНК: аденин, гуанин и цитозин, урацил и тимин.
Бывают и неочевидные применения, например, определение, на что больше похожа буква на нечеткой фотографии текста, на «Л» или «П». В таком случае буквы представляют как стоящие друг над другом строки, состоящие из черных и белых пикселей.
https://sysblok.ru/knowhow/chto-takoe-redakcionnoe-rasstojanie/
https://sysblok.ru/glossary/rasstojanie-levenshtejna/
Ася Ройтберг
#knowhow #glossary
Чаще всего редакционное расстояние (edit distance) применяется в компьютерной лингвистике и биоинформатике. В этих областях нередко возникают задачи, когда надо понять, насколько две строки формально близки. То есть редакционные расстояния говорят не о смысловой близости слов или предложений, а только о близости их формы.
Как вычислить редакционное расстояние
Чтобы узнать редакционное расстояние между двумя строками, нужно посчитать минимальное количество посимвольных операций, которые нужно сделать, чтобы превратить первую строку во вторую. Таких операций всего четыре:
• удаление
• вставка
• замена
• перестановка соседних символов.
В операции может участвовать только один символ в строке. Количество операций — это и есть редакционное расстояние между двумя строками. Простейший пример: чтобы превратить «сон» в «слон», нужно произвести одну операцию: вставить букву «л» после «с».
Виды редакционных расстояний
Есть несколько основных редакционных расстояний. Основное отличие между ними — набор операций, который разрешено использовать. Расстояние Хэмминга разрешает только замены. Расстояние Джаро-Винклера — только перестановки.
Одно из самых известных редакционных расстояний — расстояние Левенштейна, которое разрешает все операции, кроме перестановки.
Попробуем посчитать расстояние Левенштейна между словами «карета» и «ракета». Чтобы превратить карету в ракету, нужно:
1) поменять первую букву — «к» на «р», после этой операции штраф равен 1, и у нас есть слово «какета»
2) поменять третью букву — «р» на «к», после этой операции штраф равен 2, и мы получили нужное слово «ракета».
Расстояние Левенштейна между словами «карета» и «ракета» равно двум.
А расстояние Дамерау-Левенштейна разрешает все четыре операции: замену, вставку, удаление и перестановку соседних символов.
Иногда измеряют пословное расстояние Левенштейна — при таком подходе за единицу принимается не один символ, а одно слово. Тогда между предложениями «Я люблю лингвистику» и «Я люблю компьютерную лингвистику» расстояние будет равно 1, а не 14, как было бы в случае посимвольных операций.
Мы также можем давать разный штраф за разные операции. Например, решить, что мы очень не любим замены символов и давать за них не 1, а 2 балла. В этом случае говорят, что операции имеют разный вес, и называют полученный результат взвешенным расстоянием Левенштейна.
Где применяют редакционное расстояние
В компьютерной лингвистике возникает множество задач, где нужно посчитать формальную меру близости между строками: например, для проверки орфографии, или для сравнения, насколько похожи два предложения. Первые системы автоматической проверки орфографии фактически сводились к подсчету редакционного расстояния Левенштейна или Дамерау-Левенштейна с использованием сложной системы штрафов. Система шла от слова к слову и проверяла, есть ли такое слово в словаре, а когда встречала слово, которого нет в словаре, то пыталась заменить его на наиболее близкое по редакционному расстоянию слово из словаря. Сейчас расстояние Левенштейна редко используется как единственный признак близости, но очень часто как один из.
В биоинформатике редакционные расстояния используются для определения похожести друг на друга разных участков ДНК или РНК, которые в таком случае представляются как последовательность, состоящая из A, G, C, U и T — это первые буквы четырех азотистых основания, которые могут входить в состав ДНК или РНК: аденин, гуанин и цитозин, урацил и тимин.
Бывают и неочевидные применения, например, определение, на что больше похожа буква на нечеткой фотографии текста, на «Л» или «П». В таком случае буквы представляют как стоящие друг над другом строки, состоящие из черных и белых пикселей.
https://sysblok.ru/knowhow/chto-takoe-redakcionnoe-rasstojanie/
https://sysblok.ru/glossary/rasstojanie-levenshtejna/
Ася Ройтберг
Взгляд на ИИ из Кремниевой долины
Пятый выпуск подкаста Неопознанный Искусственный Интеллект — с Николаем Любимовым.
#podcasts
Николай сменил работу в Яндексе на ИИ-стартап в Кремниевой долине. Мы узнали у Николая, почему разметка данных — узкое горлышко в развитии ИИ и горячая тема для стартапов, как обстоят дела с самопрограммирующимися нейросетями и когда роботы начнут основывать коммерческие компании без людей.
В этом выпуске:
00:57 — О госте
02:29 — Почему диплернинг называется диплернингом
03:44 — «Узкое горлышко» разметки данных в современном ИИ
07:00 — Современный ИИ глазами стартапера из Кремниевой долины
14:35 — ИИ без «железного человека» и «звездных войн»: как ставить задачу четко
23:02 — ИИ для беспилотников: на чем обучать?
26:03 — Должен ли сильный ИИ говорить по-человечески?
35:44 — Фантазируем о мире, в котором победил ИИ
40:49 — Умерла ли «старая школа» ИИ
51:20 — Можно ли прийти к ИИ через моделирование мозга: нейрофизиология и антропоморфность
53:05 — Самоорганизующийся ИИ и самопрограммирующиеся нейросети
Хайлайты выпуска
1. Почему разметка — горячая тема
Интеллектуальность современных систем машинного обучения сильно связана с «интеллектуальностью» данных, на которых они обучались. Поэтому часто разработка умных нейросетей упирается в простой человеческий труд по разметке и сортировке данных.
Этот труд можно сделать быстрее с помощью … опять-таки машинного обучения. Например, можно не просто размечать данные, а постоянно оценивать, какие примеры нужнее всего, какие дадут наибольший прирост в качестве вашей модели. Разработка таких систем «активного обучения» — горячая тема в современном Data Science.
2. Симуляция реальности — как путь к более мощному искусственному интеллекту
Робота-помощника можно аккуратно приучать к существованию в сложной среде. Чтобы среда постепенно приближалась по сложности к реальному миру. Например, для начала — внутри персонального компьютера.
Разрешить такому роботу читать, копировать и записывать файлы — и пусть учится принимать разнообразные команды. Постепенно расширяя их спектр. Но «надо аккуратно, чтобы он не взломал Пентагон сразу».
3. Чего ждать от будущего
Прорыв произойдет, когда роботы научатся выполнять большие составные задачи, разбивая их на подзадачи и самостоятельно находя пути к решению. Например, когда робот сможет выполнять роль младшего разработчика: прочитать задание на естественном языке, понять, какую программу написать, какие данные запросить, как эта программа будет взаимодействовать с уже имеющимися системами внутри и вне компании и т.п. Важна именно способность такого робота оперировать в большой и сложной среде вокруг него, ничего не разрушая.
А закончится все тем, что «появятся peopleless-компания, которые основаны искусственным интеллектом».
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
Пятый выпуск подкаста Неопознанный Искусственный Интеллект — с Николаем Любимовым.
#podcasts
Николай сменил работу в Яндексе на ИИ-стартап в Кремниевой долине. Мы узнали у Николая, почему разметка данных — узкое горлышко в развитии ИИ и горячая тема для стартапов, как обстоят дела с самопрограммирующимися нейросетями и когда роботы начнут основывать коммерческие компании без людей.
В этом выпуске:
00:57 — О госте
02:29 — Почему диплернинг называется диплернингом
03:44 — «Узкое горлышко» разметки данных в современном ИИ
07:00 — Современный ИИ глазами стартапера из Кремниевой долины
14:35 — ИИ без «железного человека» и «звездных войн»: как ставить задачу четко
23:02 — ИИ для беспилотников: на чем обучать?
26:03 — Должен ли сильный ИИ говорить по-человечески?
35:44 — Фантазируем о мире, в котором победил ИИ
40:49 — Умерла ли «старая школа» ИИ
51:20 — Можно ли прийти к ИИ через моделирование мозга: нейрофизиология и антропоморфность
53:05 — Самоорганизующийся ИИ и самопрограммирующиеся нейросети
Хайлайты выпуска
1. Почему разметка — горячая тема
Интеллектуальность современных систем машинного обучения сильно связана с «интеллектуальностью» данных, на которых они обучались. Поэтому часто разработка умных нейросетей упирается в простой человеческий труд по разметке и сортировке данных.
Этот труд можно сделать быстрее с помощью … опять-таки машинного обучения. Например, можно не просто размечать данные, а постоянно оценивать, какие примеры нужнее всего, какие дадут наибольший прирост в качестве вашей модели. Разработка таких систем «активного обучения» — горячая тема в современном Data Science.
2. Симуляция реальности — как путь к более мощному искусственному интеллекту
Робота-помощника можно аккуратно приучать к существованию в сложной среде. Чтобы среда постепенно приближалась по сложности к реальному миру. Например, для начала — внутри персонального компьютера.
Разрешить такому роботу читать, копировать и записывать файлы — и пусть учится принимать разнообразные команды. Постепенно расширяя их спектр. Но «надо аккуратно, чтобы он не взломал Пентагон сразу».
3. Чего ждать от будущего
Прорыв произойдет, когда роботы научатся выполнять большие составные задачи, разбивая их на подзадачи и самостоятельно находя пути к решению. Например, когда робот сможет выполнять роль младшего разработчика: прочитать задание на естественном языке, понять, какую программу написать, какие данные запросить, как эта программа будет взаимодействовать с уже имеющимися системами внутри и вне компании и т.п. Важна именно способность такого робота оперировать в большой и сложной среде вокруг него, ничего не разрушая.
А закончится все тем, что «появятся peopleless-компания, которые основаны искусственным интеллектом».
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
«Нет!» регулированию просветительской деятельности
Госдума готовится принять законопроект, который позволит правительству поставить просветительскую деятельность под свой полный контроль. Это значит, что любой пост, видео или подкаст о новых исследованиях, идеях ученых и их работе должен будет соответствовать требованиям государства. Каждое научно-популярное издание, (видео)блог или книга подпадают под этот законопроект.
Почему этот законопроект вреден и опасен? 😡
— Во-первых, это сильно затруднит работу популяризаторов. Многие предпочтут вовсе отказаться от просветительской работы, если им потребуется согласовывать содержание своих лекций, видео и книг.
—Во-вторых, максимально широкие формулировки позволяют считать просветительской деятельностью что угодно, а в ее рамках запрещается давать «недостоверные сведения об исторических, о национальных, религиозных и культурных традициях народов». Правда, непонятно, какие именно сведения будут считаться недостоверными и кто будет это решать.
— В-третьих, пояснительная записка к законопроекту рассказывает об угрозе «антироссийской пропаганды» среди школьников и студентов, а также о «подрыве конституционного строя». Обычно такая риторика означает одно: закон будет применяться для репрессий против тех, кто не лоялен власти.
Что думают ученые? 🧐
Михаил Гельфанд, биоинформатик, доктор биологических наук: «Закон глуп и безграмотен. Его последовательное применение невозможно, а избирательное подвешивает угрозу наказания над любым, занимающимся просветительской деятельностью — от лекторов и организаторов мероприятий до библиотек и клубов, ставших площадками этих мероприятий»
«Системный Блокъ» попросил прокомментировать законопроект известного популяризатора науки, лингвиста, кандидата филологических наук, лауреата премии «Просветитель» Александра Пиперски. Он считает, что закон может демотивировать многих активных просветителей. Полную версию интервью с Александром Пиперски смотрите ниже.
И что делать? 🤔
Уже 21 января законопроект будут рассматривать во втором чтении. Если вы по-прежнему хотите читать «Системный Блокъ» (и другие научно-популярные издания), смотреть лекции ведущих ученых и читать их книги, подпишите петицию против поправок о просветительской деятельности.
Госдума готовится принять законопроект, который позволит правительству поставить просветительскую деятельность под свой полный контроль. Это значит, что любой пост, видео или подкаст о новых исследованиях, идеях ученых и их работе должен будет соответствовать требованиям государства. Каждое научно-популярное издание, (видео)блог или книга подпадают под этот законопроект.
Почему этот законопроект вреден и опасен? 😡
— Во-первых, это сильно затруднит работу популяризаторов. Многие предпочтут вовсе отказаться от просветительской работы, если им потребуется согласовывать содержание своих лекций, видео и книг.
—Во-вторых, максимально широкие формулировки позволяют считать просветительской деятельностью что угодно, а в ее рамках запрещается давать «недостоверные сведения об исторических, о национальных, религиозных и культурных традициях народов». Правда, непонятно, какие именно сведения будут считаться недостоверными и кто будет это решать.
— В-третьих, пояснительная записка к законопроекту рассказывает об угрозе «антироссийской пропаганды» среди школьников и студентов, а также о «подрыве конституционного строя». Обычно такая риторика означает одно: закон будет применяться для репрессий против тех, кто не лоялен власти.
Что думают ученые? 🧐
Михаил Гельфанд, биоинформатик, доктор биологических наук: «Закон глуп и безграмотен. Его последовательное применение невозможно, а избирательное подвешивает угрозу наказания над любым, занимающимся просветительской деятельностью — от лекторов и организаторов мероприятий до библиотек и клубов, ставших площадками этих мероприятий»
«Системный Блокъ» попросил прокомментировать законопроект известного популяризатора науки, лингвиста, кандидата филологических наук, лауреата премии «Просветитель» Александра Пиперски. Он считает, что закон может демотивировать многих активных просветителей. Полную версию интервью с Александром Пиперски смотрите ниже.
И что делать? 🤔
Уже 21 января законопроект будут рассматривать во втором чтении. Если вы по-прежнему хотите читать «Системный Блокъ» (и другие научно-популярные издания), смотреть лекции ведущих ученых и читать их книги, подпишите петицию против поправок о просветительской деятельности.
YouTube
"Или половину посадят, или будет пшик": обсуждаем поправки о просветителях с Александром Пиперски
Что не так с современным машинным обучением?
Шестой выпуск подкаста Неопознанный Искусственный Интеллект — с Дмитрием Ветровым
#podcasts
Почему современное машинное обучение стоит «примерно на уровне естественных наук XVIII века»? Могут ли нейросети начать закреплять внутри себя выученные знания? Почему опасно игнорировать необъяснимые «странности» нейросетей? В новом выпуске подкаста «Неопознанный искусственный интеллект» мы поговорили с Дмитрием Ветровым — профессором-исследователем НИУ ВШЭ, заведующий Центром глубинного обучения и байесовских методов.
В этом выпуске:
01:32 — Что такое байесовские методы и зачем они в машинном обучении
07:45 — Машинное обучение как «недонаука»: современное состояние ИИ
10:18 — Вредят ли корпорации поиску новых методов машинного обучения
12:29 — GPT-3, мультидоменный ИИ, «сильный» ИИ
18:29 — Когда можно доверить ИИ судьбоносные решения
20:57 — Смена технологической парадигмы в разработке ИИ
22:28 — Стоит ли помнить про онтологии и возможны ли гибриды нейросетей и символьного ИИ
25:19 — Как открыть «черный ящик»: проблема интерпретируемости нейросетей
28:06 — Пересадка из Яндекс.Такси в Яндекс.Толоку: разметка данных для машинного обучения
31:08 — Должен ли ИИ быть похож на мозг, а его разработчики — следовать за открытиями нейрофизиологов?
33:33 — Чем заменить тест Тьюринга.
40:42 — Блиц: самые крутые книжки и самые эпичные провалы в области ИИ
3 самые крутые книжки по мнению Дмитрия
1. Christopher M. Bishop — Pattern Recognition and Machine Learning
2. Kevin P. Murphy — Machine Learning: A Probabilistic Perspective
3. David J. C. MacKay — Information Theory, Inference and Learning Algorithms
Хайлайты выпуска
Если классическую статистику можно сравнить с классической физикой, то байесовские методы — своеобразная квантовая механика в области машинного обучения и матстатистики.
Хотя нейросети работают хорошо, есть большая проблема — сложно теоретически обосновать их работу. Нейросетевые модели содержат миллионы параметров, а обучаются по выборкам размером в десятки или сотни тысяч объектов. Размер обучающей выборки меньше, чем число весов нейронной сети. Классическая статистика здесь неприменима. А вот байесовская может помочь.
Когда нейросеть обучилась на какой-то выборке до предела и доля ошибок перестает падать, внутри нейросети продолжают происходить интересные процессы. Их можно назвать "консолидацией": уже выученная информация переупаковывается в более эффективном виде. Нейросеть как бы пытается упростить выученные закономерности, выразив их менее сложным образом.
Где слушать?
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
Шестой выпуск подкаста Неопознанный Искусственный Интеллект — с Дмитрием Ветровым
#podcasts
Почему современное машинное обучение стоит «примерно на уровне естественных наук XVIII века»? Могут ли нейросети начать закреплять внутри себя выученные знания? Почему опасно игнорировать необъяснимые «странности» нейросетей? В новом выпуске подкаста «Неопознанный искусственный интеллект» мы поговорили с Дмитрием Ветровым — профессором-исследователем НИУ ВШЭ, заведующий Центром глубинного обучения и байесовских методов.
В этом выпуске:
01:32 — Что такое байесовские методы и зачем они в машинном обучении
07:45 — Машинное обучение как «недонаука»: современное состояние ИИ
10:18 — Вредят ли корпорации поиску новых методов машинного обучения
12:29 — GPT-3, мультидоменный ИИ, «сильный» ИИ
18:29 — Когда можно доверить ИИ судьбоносные решения
20:57 — Смена технологической парадигмы в разработке ИИ
22:28 — Стоит ли помнить про онтологии и возможны ли гибриды нейросетей и символьного ИИ
25:19 — Как открыть «черный ящик»: проблема интерпретируемости нейросетей
28:06 — Пересадка из Яндекс.Такси в Яндекс.Толоку: разметка данных для машинного обучения
31:08 — Должен ли ИИ быть похож на мозг, а его разработчики — следовать за открытиями нейрофизиологов?
33:33 — Чем заменить тест Тьюринга.
40:42 — Блиц: самые крутые книжки и самые эпичные провалы в области ИИ
3 самые крутые книжки по мнению Дмитрия
1. Christopher M. Bishop — Pattern Recognition and Machine Learning
2. Kevin P. Murphy — Machine Learning: A Probabilistic Perspective
3. David J. C. MacKay — Information Theory, Inference and Learning Algorithms
Хайлайты выпуска
Если классическую статистику можно сравнить с классической физикой, то байесовские методы — своеобразная квантовая механика в области машинного обучения и матстатистики.
Хотя нейросети работают хорошо, есть большая проблема — сложно теоретически обосновать их работу. Нейросетевые модели содержат миллионы параметров, а обучаются по выборкам размером в десятки или сотни тысяч объектов. Размер обучающей выборки меньше, чем число весов нейронной сети. Классическая статистика здесь неприменима. А вот байесовская может помочь.
Когда нейросеть обучилась на какой-то выборке до предела и доля ошибок перестает падать, внутри нейросети продолжают происходить интересные процессы. Их можно назвать "консолидацией": уже выученная информация переупаковывается в более эффективном виде. Нейросеть как бы пытается упростить выученные закономерности, выразив их менее сложным образом.
Где слушать?
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
Математика протестов: тест о штрафах и задержаниях митингующих в России
Новая серия протестов по всей России стала рекордной по числу задержаний и уровню полицейского насилия. В первый же день митингов счетчик задержанных от ОВД-Инфо перевалил за четырехзначное число — и продолжал расти.
Мы изучили статистику ОВД-Инфо как по последним акциям, так и по протестной активности в предыдущие годы. В этом тесте:
— Полицейские рекорды протестной волны
— Свежая статистика по штрафам
— История ковидных ограничений протестной активности
— География протестов и региональные особенности
Узнайте, насколько хорошо вы представляете размах протестов и реакции на них
https://sysblok.ru/test/matematika-protestov/
Новая серия протестов по всей России стала рекордной по числу задержаний и уровню полицейского насилия. В первый же день митингов счетчик задержанных от ОВД-Инфо перевалил за четырехзначное число — и продолжал расти.
Мы изучили статистику ОВД-Инфо как по последним акциям, так и по протестной активности в предыдущие годы. В этом тесте:
— Полицейские рекорды протестной волны
— Свежая статистика по штрафам
— История ковидных ограничений протестной активности
— География протестов и региональные особенности
Узнайте, насколько хорошо вы представляете размах протестов и реакции на них
https://sysblok.ru/test/matematika-protestov/
Определяем дату написания картины онлайн
#knowhow #research
Когда цифровизация стала глобальным трендом, в открытом доступе появились тематические датасеты, которые состоят из десятков тысяч картин различных авторов и эпох. Работая с такими датасетами, можно генерировать дополнительные метаданные — в нашем случаем это возраст изображений, тем самым автоматизируя работу искусствоведов.
Возможность определять возраст или стиль изображений полезна не только искусствоведам и коллекционерам. С помощью этого инструмента можно изучать тенденции современного искусства и выявлять закономерности, которые позволяют понять, к стилю какой из эпох более всего склонен автор.
Задача и стратегии ее решения
Ключевая фигура в решении задачи — сверточная нейронная сеть для выделения признаков на изображениях. Рассматривались архитектуры ResNet18 и VGG-19, однако последняя дала лучшие результаты.
Если не углубляться в теоретические основы глубокого обучения, то сверточные сети можно описать как алгоритм последовательного сжатия изображений, который способен выделять их ключевые особенности на разных уровнях абстракции (подробнее можно почитать на хабре).
Примененив сверточную сеть с обрезанными полносвязными слоями, мы вычисляем матрицу Грама, а также применяем классификацию или регрессию. В нашем случае в роли модели классификатора выступает SVM.
Матрица Грама является специальным представлением изображения — это матрица попарных скалярных произведения численного значения пикселей. Её использование позволяет конвертировать преобразованную сверточной сетью картину в формат, удобный для определения стиля. Матрица Грама сглаживает пространственную структуру, позволяя получить больше информации о текстуре изображения, чем о присутствующих на ней конкретных объектах.
В итоге оказалось, что наилучший MSE даёт VGG-19, а лучшее значение F1-меры достигается той же сетью с батч-нормализацией. Использование F1 в данной задаче обусловлено отсутствием в выбранном датасете баланса классов, каждый из которых представлял собой временной промежуток в 50 лет. Применение этой метрики позволяет более объективно оценить качество моделей.
Результаты и их интерпретация
Использование матрицы Грама позволило почти в два раза улучшить качество моделей на представленном датасете. Для многих классов ошибочных классификаций совсем немного.
Однако использование информации о стиле для определения временного отрезка гарантированно работает только для эпохи премодерна, которой характерно последовательное совершенствование техник изобразительного искусства.
Наш небольшой эксперимент показал, что задача определения возраста картины может быть решена посредством использования методов искусственного интеллекта. Следующий этап — увеличение количества данных, усложнение модели, масштабирование задачи на XX и XXI века, а также увеличение количества временных промежутков.
Код проекта можно найти на github.
Модель работает онлайн — протестировать можно здесь.
https://sysblok.ru/knowhow/opredeljaem-datu-napisanija-kartiny-onlajn-bez-registracii-i-sms/
Дарья Петрова, Вадим Порватов, Валерий Покровский
#knowhow #research
Когда цифровизация стала глобальным трендом, в открытом доступе появились тематические датасеты, которые состоят из десятков тысяч картин различных авторов и эпох. Работая с такими датасетами, можно генерировать дополнительные метаданные — в нашем случаем это возраст изображений, тем самым автоматизируя работу искусствоведов.
Возможность определять возраст или стиль изображений полезна не только искусствоведам и коллекционерам. С помощью этого инструмента можно изучать тенденции современного искусства и выявлять закономерности, которые позволяют понять, к стилю какой из эпох более всего склонен автор.
Задача и стратегии ее решения
Ключевая фигура в решении задачи — сверточная нейронная сеть для выделения признаков на изображениях. Рассматривались архитектуры ResNet18 и VGG-19, однако последняя дала лучшие результаты.
Если не углубляться в теоретические основы глубокого обучения, то сверточные сети можно описать как алгоритм последовательного сжатия изображений, который способен выделять их ключевые особенности на разных уровнях абстракции (подробнее можно почитать на хабре).
Примененив сверточную сеть с обрезанными полносвязными слоями, мы вычисляем матрицу Грама, а также применяем классификацию или регрессию. В нашем случае в роли модели классификатора выступает SVM.
Матрица Грама является специальным представлением изображения — это матрица попарных скалярных произведения численного значения пикселей. Её использование позволяет конвертировать преобразованную сверточной сетью картину в формат, удобный для определения стиля. Матрица Грама сглаживает пространственную структуру, позволяя получить больше информации о текстуре изображения, чем о присутствующих на ней конкретных объектах.
В итоге оказалось, что наилучший MSE даёт VGG-19, а лучшее значение F1-меры достигается той же сетью с батч-нормализацией. Использование F1 в данной задаче обусловлено отсутствием в выбранном датасете баланса классов, каждый из которых представлял собой временной промежуток в 50 лет. Применение этой метрики позволяет более объективно оценить качество моделей.
Результаты и их интерпретация
Использование матрицы Грама позволило почти в два раза улучшить качество моделей на представленном датасете. Для многих классов ошибочных классификаций совсем немного.
Однако использование информации о стиле для определения временного отрезка гарантированно работает только для эпохи премодерна, которой характерно последовательное совершенствование техник изобразительного искусства.
Наш небольшой эксперимент показал, что задача определения возраста картины может быть решена посредством использования методов искусственного интеллекта. Следующий этап — увеличение количества данных, усложнение модели, масштабирование задачи на XX и XXI века, а также увеличение количества временных промежутков.
Код проекта можно найти на github.
Модель работает онлайн — протестировать можно здесь.
https://sysblok.ru/knowhow/opredeljaem-datu-napisanija-kartiny-onlajn-bez-registracii-i-sms/
Дарья Петрова, Вадим Порватов, Валерий Покровский
Посты о смерти: оценить нельзя игнорировать
#digitalmemory #society
Все видели мемы «Проспал дистанционку» с траурной свечкой, «Здоровья погибшим» и «Press F to pay respect»? Кому-то они покажутся циничными, но пользователи могут использовать черный юмор из-за фрустрации и непонимания, как реагировать на трагические новости.
Лайк публикациям о смерти выражает скорбь или неуважение? Нужно ли делиться горем с подписчиками? Когда уместны траурные посты? Эксперт по цифровому этикету Ольга Лукинова отмечает, что эти вопросы вызывают бурные дискуссии, потому что негласные правила выражения негативных эмоций и реагирования на печальные события еще не успели сформироваться.
Исследователь Анна Вагнер выделяет три основные проблемы digital death в сетевом этикете:
— нормы выражения скорби в соцсетях,
— содержание и форма траурных постов,
— реакция и взаимодействие с такими публикациями.
Проблема откровенности
Частное выражение скорби в связи с утратой близкого человека постепенно становится обыденным явлением. Социальные сети предоставляют возможность сделать из аккаунта умершего памятную страницу (подробнее об идее digital afterlife).
Однако, истории в Instagram блогера Екатерины Диденко, в которых она подробно освещала обстоятельства смерти своего мужа и двоих друзей от испарений сухого льда на вечеринке в честь дня рождения, вызвали волну гнева. Ольга Лукинова выделяет две основные причины недовольства в подобных случаях:
— излишняя откровенность и неуместное вовлечение аудитории в переживание негативного опыта,
— подозрения в циничном пиаре и желании вызвать хайп.
Трагедия принесла Диденко 600 тыс. новых подписчиков. Тем не менее, стоит обратить внимание на этичность не только действий блогера, но и реакции зрителей. Поскольку нет универсальных правил скорби в сети, Екатерина не могла их нарушить, а значит, негативные комментарии попросту бессмысленны. Более того, пользователи, которые их оставляют, сами проявляют неуважение к чужому горю и личным границам.
Большой палец решает
В цифровой среде большой палец вверх или вниз — простейший способ выразить свое отношение к чему-либо. Правда, во многих соцсетях дизлайк отсутствует, и пользователь делает выбор, ставить ли палец вверх или проигнорировать сообщение.
Слишком простые реакции на сообщения о трагических событиях вызывают много вопросов. Означает ли лайк под некрологом сочувствие или радость уходу из жизни этого человека? Означает ли дизлайк грусть из-за смерти или неприязнь к усопшему? Ольга Лукинова в своем телеграм-канале «Цифровой этикет» провела опрос, который показал: 78% респондентов считают палец вверх или сердечко позитивной реакцией, неуместной в постах о смерти.
Альтернативы лайку
Facebook расширил выбор реакций на пост, добавив эмоции грусти, злости, удивления, смеха в качестве альтернативы лайку. Разные реакции есть и в историях в Instagram, но публикации в профиле по-прежнему можно оценить только символом сердечка.
Иногда пользователи под скорбными постами пишут в комментариях краткое «R.I.P.», что означает «покойся с миром», или просто букву F — эта реакция стала своеобразным мемом после выхода в 2014 году игры «Call of Duty: Advanced Warfare», где фигурировала фраза «Press F to pay respects» («Нажмите F, чтобы отдать дань уважения»).
Отношение к лаконичным реакциям разнится. Одни считают, что это удобно и что даже краткая поддержка имеет значение, другие — что плачущего смайлика недостаточно, поэтому следует либо промолчать, либо написать содержательный и осмысленный комментарий.
Важно помнить, что траурный этикет в сети пока не сформировался, а потому каждый действует так, как считает нужным. Три принципа, которых следует придерживаться всем уже сейчас, — не нарушать чьих-либо личных границ в цифровой среде, не осуждать чужие способы переживания утраты, уважать умерших и пострадавших людей, о которых идет речь.
Больше подробностей и примеров — в нашей статье: https://sysblok.ru/digitalmemory/posty-o-smerti-ocenit-nelzja-ignorirovat/
Ирина Родионова
#digitalmemory #society
Все видели мемы «Проспал дистанционку» с траурной свечкой, «Здоровья погибшим» и «Press F to pay respect»? Кому-то они покажутся циничными, но пользователи могут использовать черный юмор из-за фрустрации и непонимания, как реагировать на трагические новости.
Лайк публикациям о смерти выражает скорбь или неуважение? Нужно ли делиться горем с подписчиками? Когда уместны траурные посты? Эксперт по цифровому этикету Ольга Лукинова отмечает, что эти вопросы вызывают бурные дискуссии, потому что негласные правила выражения негативных эмоций и реагирования на печальные события еще не успели сформироваться.
Исследователь Анна Вагнер выделяет три основные проблемы digital death в сетевом этикете:
— нормы выражения скорби в соцсетях,
— содержание и форма траурных постов,
— реакция и взаимодействие с такими публикациями.
Проблема откровенности
Частное выражение скорби в связи с утратой близкого человека постепенно становится обыденным явлением. Социальные сети предоставляют возможность сделать из аккаунта умершего памятную страницу (подробнее об идее digital afterlife).
Однако, истории в Instagram блогера Екатерины Диденко, в которых она подробно освещала обстоятельства смерти своего мужа и двоих друзей от испарений сухого льда на вечеринке в честь дня рождения, вызвали волну гнева. Ольга Лукинова выделяет две основные причины недовольства в подобных случаях:
— излишняя откровенность и неуместное вовлечение аудитории в переживание негативного опыта,
— подозрения в циничном пиаре и желании вызвать хайп.
Трагедия принесла Диденко 600 тыс. новых подписчиков. Тем не менее, стоит обратить внимание на этичность не только действий блогера, но и реакции зрителей. Поскольку нет универсальных правил скорби в сети, Екатерина не могла их нарушить, а значит, негативные комментарии попросту бессмысленны. Более того, пользователи, которые их оставляют, сами проявляют неуважение к чужому горю и личным границам.
Большой палец решает
В цифровой среде большой палец вверх или вниз — простейший способ выразить свое отношение к чему-либо. Правда, во многих соцсетях дизлайк отсутствует, и пользователь делает выбор, ставить ли палец вверх или проигнорировать сообщение.
Слишком простые реакции на сообщения о трагических событиях вызывают много вопросов. Означает ли лайк под некрологом сочувствие или радость уходу из жизни этого человека? Означает ли дизлайк грусть из-за смерти или неприязнь к усопшему? Ольга Лукинова в своем телеграм-канале «Цифровой этикет» провела опрос, который показал: 78% респондентов считают палец вверх или сердечко позитивной реакцией, неуместной в постах о смерти.
Альтернативы лайку
Facebook расширил выбор реакций на пост, добавив эмоции грусти, злости, удивления, смеха в качестве альтернативы лайку. Разные реакции есть и в историях в Instagram, но публикации в профиле по-прежнему можно оценить только символом сердечка.
Иногда пользователи под скорбными постами пишут в комментариях краткое «R.I.P.», что означает «покойся с миром», или просто букву F — эта реакция стала своеобразным мемом после выхода в 2014 году игры «Call of Duty: Advanced Warfare», где фигурировала фраза «Press F to pay respects» («Нажмите F, чтобы отдать дань уважения»).
Отношение к лаконичным реакциям разнится. Одни считают, что это удобно и что даже краткая поддержка имеет значение, другие — что плачущего смайлика недостаточно, поэтому следует либо промолчать, либо написать содержательный и осмысленный комментарий.
Важно помнить, что траурный этикет в сети пока не сформировался, а потому каждый действует так, как считает нужным. Три принципа, которых следует придерживаться всем уже сейчас, — не нарушать чьих-либо личных границ в цифровой среде, не осуждать чужие способы переживания утраты, уважать умерших и пострадавших людей, о которых идет речь.
Больше подробностей и примеров — в нашей статье: https://sysblok.ru/digitalmemory/posty-o-smerti-ocenit-nelzja-ignorirovat/
Ирина Родионова
Кто такой педель и как получить матпомощь в XIV веке: тест по cредневековым университетам
#test #history
Один из студентов средневекового Парижского университета в письме своему другу писал: «Ты хотел получше узнать о жизни в Париже? Будет тебе известно, что место это просто замечательное: всегда можно добыть достаточно вина по небольшой цене, в городе великое множество учителей, готовых удовлетворить тягу к знаниям приехавших студентов, да и принципе тут есть все, что нужно для тех, кто хочет учиться, не забывая о радостях жизни».
И хотя жизнь студента в XIII—XV вв. часто была совсем не такой радужной, тысячи молодых людей стремились учиться в знаменитых университетах Европы. Но что же ждало новоиспеченного студента? Что из себя представлял тот университет, куда он попал?
Проверьте ваши знания об университетской жизни в Средневековье: https://sysblok.ru/test/srednevekovye_universitety/
#test #history
Один из студентов средневекового Парижского университета в письме своему другу писал: «Ты хотел получше узнать о жизни в Париже? Будет тебе известно, что место это просто замечательное: всегда можно добыть достаточно вина по небольшой цене, в городе великое множество учителей, готовых удовлетворить тягу к знаниям приехавших студентов, да и принципе тут есть все, что нужно для тех, кто хочет учиться, не забывая о радостях жизни».
И хотя жизнь студента в XIII—XV вв. часто была совсем не такой радужной, тысячи молодых людей стремились учиться в знаменитых университетах Европы. Но что же ждало новоиспеченного студента? Что из себя представлял тот университет, куда он попал?
Проверьте ваши знания об университетской жизни в Средневековье: https://sysblok.ru/test/srednevekovye_universitety/
ЕГЭ для нейросетей: какую языковую модель можно назвать «умной»?
#nlp #linguistics
С развитием автоматической обработки языка (NLP) языковые модели решают все более сложные задачи. Нейросеть должна научиться понимать запрос пользователя и выдавать на него правильный и адекватный ответ. Компания OpenAi предложила решение: формулировать любую задачу ИИ как продолжение текста, введенного пользователем. Так можно делать и машинные переводчики, и вопросно-ответные системы, и вообще почти что угодно в NLP.
В языковых моделях слова представлены в виде векторов-эмбеддингов. И если на начальном этапе развития NLP эмбеддинги хранили информацию только о частотных контекстах употребления слов, то сейчас модели создают векторные представления слов с синтаксической и морфологической информацией. Ученые пытаются понять природу эмбеддингов, чтобы разобраться, почему одни модели успешны, а другие нет.
Как устроен тест
SentEval — универсальный набор тестов для оценки качества моделей, разработанный в 2018 году в Facebook. Чтобы пройти «экзамен», нужно ответить на 10 вопросов из 3 концептуальных групп: внешняя, синтаксическая и семантическая информация.
— Задания из первой группы содержат простые вопросы, например, посчитать количество слов в предложении.
— Синтаксические вопросы уже сложнее: языковой модели нужно рассчитать глубину синтаксического древа или перечислить верхнеуровневые составляющие.
— Третья часть использует синтаксические свойства предложения. Модель должна определить время глагола, число подлежащего или ответить, в каких предложениях было заменено слово.
Будущее «экзамена»
Тестирование моделей и изучение их неявных свойств постепенно становится отдельной областью науки. При изучении языковой модели BERT ученые выяснили, что внутри модели можно найти разные уровни «освоения» языка. Нижние слои специализируются на внешней информации, средние уровни лучше справляются с вопросами синтаксической группы, а верхние слои сохраняют информацию для специального задания, на которое обучается модель.
Однако пока эти выводы разделяют не все исследователи — внутреннее устройство нейросетей во многом остается «черным ящиком».
https://sysblok.ru/linguistics/egje-dlja-nejrosetej-kak-testirujut-usvoenie-jazyka-mashinami/
Анна Аксёнова
#nlp #linguistics
С развитием автоматической обработки языка (NLP) языковые модели решают все более сложные задачи. Нейросеть должна научиться понимать запрос пользователя и выдавать на него правильный и адекватный ответ. Компания OpenAi предложила решение: формулировать любую задачу ИИ как продолжение текста, введенного пользователем. Так можно делать и машинные переводчики, и вопросно-ответные системы, и вообще почти что угодно в NLP.
В языковых моделях слова представлены в виде векторов-эмбеддингов. И если на начальном этапе развития NLP эмбеддинги хранили информацию только о частотных контекстах употребления слов, то сейчас модели создают векторные представления слов с синтаксической и морфологической информацией. Ученые пытаются понять природу эмбеддингов, чтобы разобраться, почему одни модели успешны, а другие нет.
Как устроен тест
SentEval — универсальный набор тестов для оценки качества моделей, разработанный в 2018 году в Facebook. Чтобы пройти «экзамен», нужно ответить на 10 вопросов из 3 концептуальных групп: внешняя, синтаксическая и семантическая информация.
— Задания из первой группы содержат простые вопросы, например, посчитать количество слов в предложении.
— Синтаксические вопросы уже сложнее: языковой модели нужно рассчитать глубину синтаксического древа или перечислить верхнеуровневые составляющие.
— Третья часть использует синтаксические свойства предложения. Модель должна определить время глагола, число подлежащего или ответить, в каких предложениях было заменено слово.
Будущее «экзамена»
Тестирование моделей и изучение их неявных свойств постепенно становится отдельной областью науки. При изучении языковой модели BERT ученые выяснили, что внутри модели можно найти разные уровни «освоения» языка. Нижние слои специализируются на внешней информации, средние уровни лучше справляются с вопросами синтаксической группы, а верхние слои сохраняют информацию для специального задания, на которое обучается модель.
Однако пока эти выводы разделяют не все исследователи — внутреннее устройство нейросетей во многом остается «черным ящиком».
https://sysblok.ru/linguistics/egje-dlja-nejrosetej-kak-testirujut-usvoenie-jazyka-mashinami/
Анна Аксёнова
По словам их узнаете их: как вычисляли автора «Беовульфа»
#philology #nlp
Древнеанглийская поэма «Беовульф» — цельная работа одного автора или комбинация нескольких текстов? Чтобы ответить на этот вопрос, ученые проанализировали древнеанглийскую литературу количественными методами компьютерной лингвистики.
I. Что говорят количественные методы?
Анализ пауз
Сначала проанализировали смысловые паузы. Исследователи подсчитали отношение внутристрочных и смысловых пауз в обеих частях «Беовульфа» Получилось, что отношения для первой и второй части находятся в пределах 4% друг от друга. Чтобы подтвердить результаты, их также сравнили с другими древнеанглийскими поэмами и древнегреческим эпосом.
Анализ метра
Затем проанализировали метр «Беовульфа». Для этого использовалась классификация, предложенная Сиверсом, который делит полустроки на пять основных звуковых паттернов. Были исследованы как общая частота пяти типов, так и их последовательность в «Беовульфе». Оказалось, что уровень использования каждого типа остается линейным по всему тексту, без заметного сдвига в районе строки 2300 (конец первой части поэмы).
Анализ сложных существительных
Наконец, рассмотрели распределение сложных (составных) существительных по тексту «Беовульфа» и по всему корпусу древнеанглйской поэзии. Сложные существительные — такие как hran-rád «море» (букв. «дорога китов») и bán-hús «тело» (букв. «дом костей») — типичны для древнеанглийской поэзии.
Для определения авторства особенно важно подсчитать использование гапаксов — слов, встретившееся в некотором корпусе текстов только один раз. Доля гапаксов в текстах разных авторов сильно разнится, а в «Беовульфе» линейна по всему тексту, без изменений в области строки 2300. Небольшая нелинейность около строки 1500 соответствует битве Беовульфа с матерью Гренделя. Это место в поэме изобилует сложными словами.
II. Критика исследования
Воспроизводимость — важное свойство научных экспериментов. Группа ученых попыталась воспроизвести это исследование и пришла к выводу, что все четыре главных характеристики, которые были использованы для «количественного профилирования» древнеанглийской поэзии, либо имеют методологически сомнительные параметры (что ведет к неверной интерпретации результатов атрибуции текстов), либо неоптимальное воплощение, либо и то, и другое.
Критики также нашли серьезные ошибки в коде и никак не объясненные пропуски в данных, а одну часть результатов не получилось воспроизвести. Недостатки методологии ставят под вопрос главные выводы исследования.
https://sysblok.ru/philology/po-slovam-ih-uznaete-ih-kak-vychisljali-avtora-beovulfa/
Ксения Кашлева
#philology #nlp
Древнеанглийская поэма «Беовульф» — цельная работа одного автора или комбинация нескольких текстов? Чтобы ответить на этот вопрос, ученые проанализировали древнеанглийскую литературу количественными методами компьютерной лингвистики.
I. Что говорят количественные методы?
Анализ пауз
Сначала проанализировали смысловые паузы. Исследователи подсчитали отношение внутристрочных и смысловых пауз в обеих частях «Беовульфа» Получилось, что отношения для первой и второй части находятся в пределах 4% друг от друга. Чтобы подтвердить результаты, их также сравнили с другими древнеанглийскими поэмами и древнегреческим эпосом.
Анализ метра
Затем проанализировали метр «Беовульфа». Для этого использовалась классификация, предложенная Сиверсом, который делит полустроки на пять основных звуковых паттернов. Были исследованы как общая частота пяти типов, так и их последовательность в «Беовульфе». Оказалось, что уровень использования каждого типа остается линейным по всему тексту, без заметного сдвига в районе строки 2300 (конец первой части поэмы).
Анализ сложных существительных
Наконец, рассмотрели распределение сложных (составных) существительных по тексту «Беовульфа» и по всему корпусу древнеанглйской поэзии. Сложные существительные — такие как hran-rád «море» (букв. «дорога китов») и bán-hús «тело» (букв. «дом костей») — типичны для древнеанглийской поэзии.
Для определения авторства особенно важно подсчитать использование гапаксов — слов, встретившееся в некотором корпусе текстов только один раз. Доля гапаксов в текстах разных авторов сильно разнится, а в «Беовульфе» линейна по всему тексту, без изменений в области строки 2300. Небольшая нелинейность около строки 1500 соответствует битве Беовульфа с матерью Гренделя. Это место в поэме изобилует сложными словами.
II. Критика исследования
Воспроизводимость — важное свойство научных экспериментов. Группа ученых попыталась воспроизвести это исследование и пришла к выводу, что все четыре главных характеристики, которые были использованы для «количественного профилирования» древнеанглийской поэзии, либо имеют методологически сомнительные параметры (что ведет к неверной интерпретации результатов атрибуции текстов), либо неоптимальное воплощение, либо и то, и другое.
Критики также нашли серьезные ошибки в коде и никак не объясненные пропуски в данных, а одну часть результатов не получилось воспроизвести. Недостатки методологии ставят под вопрос главные выводы исследования.
https://sysblok.ru/philology/po-slovam-ih-uznaete-ih-kak-vychisljali-avtora-beovulfa/
Ксения Кашлева
Почему искусственный интеллект врет и как его от этого отучить
Седьмой выпуск подкаста Неопознанный Искусственный Интеллект — с Давидом Дале
#podcasts
Давид закончил экономфак, строил модели кредитного скоринга в Альфа-банке, делал проекты в Data Factory «Яндекса», а потом работал над «Алисой». Теперь Давид — фриланс-разработчик чатботов, преподаватель Y-DATA (филиал ШАД Яндекса в Тель-Авиве) и научный сотрудник «Сколтеха».
В этом выпуске
01:24 — Путь датасайнтиста из корпорации во фриланс
06:34 — Как устроен мир разработки чат-ботов и персональных ассистентов
09:06 — Что такое «навыки» чатботов и как их программируют?
11:33 — Можно ли придумать для персональных ассистентов единый протокол
16:39 — Почему всех впечатляет нейросеть GPT-3
22:43 — Как работает GPT-3 и что позволяет ей порождать связный текст
28:00 — Как тестировать интеллектуальность нейросетей
32:54 — Где нужны гибридные подходы к построению интеллектуальных систем
44:34 — Зачем делать студию разработки персональных ассистентов
46:30 — Как устроено преподавание в Y-DATA
Хайлайты выпуска
1. Меньше обучения
Разработчики моделей машинного обучения стремятся урезать этап обучения, иногда почти до нуля. Языковая модель BERT перевернула область NLP, потому что умеет дообучаться с относительно небольшого количества примеров за счет тех знаний, которые она уже накопила. Происходит few-shot learning, когда с нескольких примеров модель может подхватить задачу.
Создатели моделей GPT ещё амбициозней — они хотят сделать zero-shot learning. Модель ни разу не пыталась решить конкретную задачу в процессе обучения (например, задачу машинного перевода), но улавливает эту поставленную задачу на лету с первого примера.
2. Современный рынок диалоговых агентов
Разработка чат-ботов, персональных ассистентов и навыков к ним — растущая область. Особенно в области автоматизации колл-центров, запросов к сервисам покупки билетов и другим масштабируемым сервисам. Но часто чат-боты и навыки — это не про Data Science, а про то, чтобы сделать хороший продукт с диалоговым интерфейсом. Data Science там может и не быть.
Где нас слушать или читать
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
Седьмой выпуск подкаста Неопознанный Искусственный Интеллект — с Давидом Дале
#podcasts
Давид закончил экономфак, строил модели кредитного скоринга в Альфа-банке, делал проекты в Data Factory «Яндекса», а потом работал над «Алисой». Теперь Давид — фриланс-разработчик чатботов, преподаватель Y-DATA (филиал ШАД Яндекса в Тель-Авиве) и научный сотрудник «Сколтеха».
В этом выпуске
01:24 — Путь датасайнтиста из корпорации во фриланс
06:34 — Как устроен мир разработки чат-ботов и персональных ассистентов
09:06 — Что такое «навыки» чатботов и как их программируют?
11:33 — Можно ли придумать для персональных ассистентов единый протокол
16:39 — Почему всех впечатляет нейросеть GPT-3
22:43 — Как работает GPT-3 и что позволяет ей порождать связный текст
28:00 — Как тестировать интеллектуальность нейросетей
32:54 — Где нужны гибридные подходы к построению интеллектуальных систем
44:34 — Зачем делать студию разработки персональных ассистентов
46:30 — Как устроено преподавание в Y-DATA
Хайлайты выпуска
1. Меньше обучения
Разработчики моделей машинного обучения стремятся урезать этап обучения, иногда почти до нуля. Языковая модель BERT перевернула область NLP, потому что умеет дообучаться с относительно небольшого количества примеров за счет тех знаний, которые она уже накопила. Происходит few-shot learning, когда с нескольких примеров модель может подхватить задачу.
Создатели моделей GPT ещё амбициозней — они хотят сделать zero-shot learning. Модель ни разу не пыталась решить конкретную задачу в процессе обучения (например, задачу машинного перевода), но улавливает эту поставленную задачу на лету с первого примера.
2. Современный рынок диалоговых агентов
Разработка чат-ботов, персональных ассистентов и навыков к ним — растущая область. Особенно в области автоматизации колл-центров, запросов к сервисам покупки билетов и другим масштабируемым сервисам. Но часто чат-боты и навыки — это не про Data Science, а про то, чтобы сделать хороший продукт с диалоговым интерфейсом. Data Science там может и не быть.
Где нас слушать или читать
Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.
Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».
Визуализация: самые популярные книги библиотек Москвы
#visualisation
В библиотеках Москвы — более 11 млн книг. Учет всех книг ведется через единую систему, поэтому можно проанализировать, какие из них наиболее популярны среди читателей.
Лидеры в июне—июле 2020 года (по данным data.mos.ru):
• сатирический роман Андрея Волоса «Шапка Шпаковского» — у взрослой аудитории.
• «Конь с розовой гривой» Виктора Астафьева — у детей до 16 лет. Недавно произведение было включено в школьную программу.
В топе-10 самых популярных книг за 2014–2019 годы — современная российская проза. Первое место — «Авиатор» Евгения Водолазкина, второе — «Зулейха открывает глаза» Гузель Яхиной, а третье место делят «Любовь к трем цукербринам» Виктора Пелевина и «Обитель» Захара Прилепина. Из зарубежной литературы в рейтинг попал только роман «Сто лет одиночества» Габриэля Гарсиа Маркеса.
https://sysblok.ru/dataviz/markes-i-shest-let-rossijskih-pisatelej/
Павел Лебедев
#visualisation
В библиотеках Москвы — более 11 млн книг. Учет всех книг ведется через единую систему, поэтому можно проанализировать, какие из них наиболее популярны среди читателей.
Лидеры в июне—июле 2020 года (по данным data.mos.ru):
• сатирический роман Андрея Волоса «Шапка Шпаковского» — у взрослой аудитории.
• «Конь с розовой гривой» Виктора Астафьева — у детей до 16 лет. Недавно произведение было включено в школьную программу.
В топе-10 самых популярных книг за 2014–2019 годы — современная российская проза. Первое место — «Авиатор» Евгения Водолазкина, второе — «Зулейха открывает глаза» Гузель Яхиной, а третье место делят «Любовь к трем цукербринам» Виктора Пелевина и «Обитель» Захара Прилепина. Из зарубежной литературы в рейтинг попал только роман «Сто лет одиночества» Габриэля Гарсиа Маркеса.
https://sysblok.ru/dataviz/markes-i-shest-let-rossijskih-pisatelej/
Павел Лебедев
Опубликована большая электронная коллекция романов
#news #philology
Проект «Дальнее чтение для европейской литературной истории» представил обновленную базу текстов. В каждом собрании или коллекции от 20 до 100 романов. Всего в базе 884 текста на 18 языках.
Коллекция доступна в виде архива Github. В нём есть информация о состоянии сборников, авторах и источниках.
Главная задача проекта — собрать коллекцию из 2500 полных романов и дополнить историю европейской литературы 19–20 веков. Сейчас разработчики оцифровывают и разграничивают неканонические книги, написанные женщинами в 1840–1920-х годах.
https://sysblok.ru/philology/opublikovan-otkrytyj-korpus-evropejskih-romanov/
Варвара Гузий
#news #philology
Проект «Дальнее чтение для европейской литературной истории» представил обновленную базу текстов. В каждом собрании или коллекции от 20 до 100 романов. Всего в базе 884 текста на 18 языках.
Коллекция доступна в виде архива Github. В нём есть информация о состоянии сборников, авторах и источниках.
Главная задача проекта — собрать коллекцию из 2500 полных романов и дополнить историю европейской литературы 19–20 веков. Сейчас разработчики оцифровывают и разграничивают неканонические книги, написанные женщинами в 1840–1920-х годах.
https://sysblok.ru/philology/opublikovan-otkrytyj-korpus-evropejskih-romanov/
Варвара Гузий
История стилометрии: как в разное время люди искали авторов текстов
#nlp
В 1440 году итальянский гуманист Лоренцо Валла написал трактат «О подложности Константинова дара», в котором доказал, что текст этой грамоты — подделка, написанная средневековой латынью VIII века, а не IV века, как предполагалось. До этого «Константинов дар» использовался римскими папами для получения светской власти над Неаполитанским королевством в XV веке.
Эта работа — первый пример определения авторства текста с опорой на сам текст. К сожалению, в ситуациях, когда временного разрыва между текстом и событием нет, такой метод не применим.
Появление стилометрии
В конце XIX веке ученые предположили, что для определения авторства и датировки текстов можно использовать количественные методы, то есть искать в текстах частотные атомарные факты.
Эти идеи развивали Томас Менденхолл, Винцетий Лютославский и Николай Морозов. После появления ЭВМ Фредерик Мостеллер и Дэвид Уоллес, наконец, успешно применили этот метод. Они выяснили, что автором 12 спорных памфлетов из «Записок федералиста» — сборника статей в поддержку утверждения Конституции США — был Джеймс Мэдисон (4-й президент США).
Современная стилометрия
Большинство современных стилометрических исследований опираются на метод Дельты, придуманный Джоном Барроузом (John Burrows) в конце 1990-х — начале 2000-х годов. В его основе лежит подсчет разницы в частотностях между наиболее частотными словами в спорном тексте и тех трудах, чье авторство не вызывает сомнения. Чем меньше дельта, тем выше вероятность, что текст принадлежит ближайшему автору.
Так Джон Барроуз изобрел первый универсальный инструмент для атрибуции текста. Его главный плюс в том, что результаты легко верифицировать экспериментально, а недостаток — что достоверно он работает только на больших текстах, не менее 5–10 тыс. слов.
Некоторые результаты стилометрических исследований
Например, подтвердилось мнение о том, что часть пьесы «Генрих VI» Шекспир писал в соавторстве с Кристофером Марло — одним из тех людей, кому иногда приписывают авторство Шекспира. Некоторые издательства уже указывают, что «Генрих VI» был написан в соавторстве.
Также мы уже писали о других исследованиях и их результатах:
• об определении автора «Сна в красном тереме»;
• об авторстве пьес Мольера;
• об авторстве анонимных статей революционной эпохи;
• о подлинности «Слова о полку Игореве».
https://sysblok.ru/knowhow/stilometrija-kak-v-raznoe-vremja-ljudi-iskali-avtorov-tekstov/
Алина Затонская, Даниил Скоринкин
#nlp
В 1440 году итальянский гуманист Лоренцо Валла написал трактат «О подложности Константинова дара», в котором доказал, что текст этой грамоты — подделка, написанная средневековой латынью VIII века, а не IV века, как предполагалось. До этого «Константинов дар» использовался римскими папами для получения светской власти над Неаполитанским королевством в XV веке.
Эта работа — первый пример определения авторства текста с опорой на сам текст. К сожалению, в ситуациях, когда временного разрыва между текстом и событием нет, такой метод не применим.
Появление стилометрии
В конце XIX веке ученые предположили, что для определения авторства и датировки текстов можно использовать количественные методы, то есть искать в текстах частотные атомарные факты.
Эти идеи развивали Томас Менденхолл, Винцетий Лютославский и Николай Морозов. После появления ЭВМ Фредерик Мостеллер и Дэвид Уоллес, наконец, успешно применили этот метод. Они выяснили, что автором 12 спорных памфлетов из «Записок федералиста» — сборника статей в поддержку утверждения Конституции США — был Джеймс Мэдисон (4-й президент США).
Современная стилометрия
Большинство современных стилометрических исследований опираются на метод Дельты, придуманный Джоном Барроузом (John Burrows) в конце 1990-х — начале 2000-х годов. В его основе лежит подсчет разницы в частотностях между наиболее частотными словами в спорном тексте и тех трудах, чье авторство не вызывает сомнения. Чем меньше дельта, тем выше вероятность, что текст принадлежит ближайшему автору.
Так Джон Барроуз изобрел первый универсальный инструмент для атрибуции текста. Его главный плюс в том, что результаты легко верифицировать экспериментально, а недостаток — что достоверно он работает только на больших текстах, не менее 5–10 тыс. слов.
Некоторые результаты стилометрических исследований
Например, подтвердилось мнение о том, что часть пьесы «Генрих VI» Шекспир писал в соавторстве с Кристофером Марло — одним из тех людей, кому иногда приписывают авторство Шекспира. Некоторые издательства уже указывают, что «Генрих VI» был написан в соавторстве.
Также мы уже писали о других исследованиях и их результатах:
• об определении автора «Сна в красном тереме»;
• об авторстве пьес Мольера;
• об авторстве анонимных статей революционной эпохи;
• о подлинности «Слова о полку Игореве».
https://sysblok.ru/knowhow/stilometrija-kak-v-raznoe-vremja-ljudi-iskali-avtorov-tekstov/
Алина Затонская, Даниил Скоринкин
Будущее интернета: децентрализация и новый цифровой завет
#society
Интернет — один из сложнейших технологических проектов человечества. И у этого проекта много проблем. Создатель веба Тим Бернерс-Ли даже заявил, что интернет «сломан» и его надо «починить».
Сеть, состоящая из миллиардов устройств, все еще очень централизована. Например, 34% всего интернета хранится на серверах Amazon — то есть зависит от одной конкретной компании из одной конкретной страны. Распределением IP-адресов занимается одна организация (ICANN) на глобальном уровне и еще пять — на региональном. Государства тоже стремятся централизовать доступ в сеть и контролировать его. Достаточно вспомнить «великий китайский фаерволл» или «суверенный Рунет» (пока, к счастью, не очень работающий).
Журнал «Дискурс» @discoursio рассказывает о проектах по децентрализации интернета и освобождении его от государственного и корпоративного контроля. Это не только криптовалюты, блокчейн и deep web. Здесь и системы с распределенным хранением сайтов прямо на компьютерах пользователей, и свободные децентрализованные файлообменники, и mesh-сети вообще без провайдеров.
https://discours.io/articles/social/buduschee-interneta-detsentralizatsiya-i-novyy-tsifrovoy-zavet
#society
Интернет — один из сложнейших технологических проектов человечества. И у этого проекта много проблем. Создатель веба Тим Бернерс-Ли даже заявил, что интернет «сломан» и его надо «починить».
Сеть, состоящая из миллиардов устройств, все еще очень централизована. Например, 34% всего интернета хранится на серверах Amazon — то есть зависит от одной конкретной компании из одной конкретной страны. Распределением IP-адресов занимается одна организация (ICANN) на глобальном уровне и еще пять — на региональном. Государства тоже стремятся централизовать доступ в сеть и контролировать его. Достаточно вспомнить «великий китайский фаерволл» или «суверенный Рунет» (пока, к счастью, не очень работающий).
Журнал «Дискурс» @discoursio рассказывает о проектах по децентрализации интернета и освобождении его от государственного и корпоративного контроля. Это не только криптовалюты, блокчейн и deep web. Здесь и системы с распределенным хранением сайтов прямо на компьютерах пользователей, и свободные децентрализованные файлообменники, и mesh-сети вообще без провайдеров.
https://discours.io/articles/social/buduschee-interneta-detsentralizatsiya-i-novyy-tsifrovoy-zavet
Discours
Открытый журнал о культуре, науке, искусстве и обществе с горизонтальной редакцией.
Как нейросеть реставрирует старые советские мультфильмы
#arts #knowhow
Главная проблема старых мультфильмов — низкое разрешение видеозаписи. Нейросеть DeepHD увеличивает изображение и делает его четким. Программа работает не только со старыми пленками, но и с прямыми трансляциями. Задача алгоритма — убрать шумы и искажения, которые возникают в процессе передачи или сжатия картинки.
Работа нейросети
Технология состоит из двух этапов:
• устранение помех — восстановление деталей.
• увеличение изображения — преобразование картинки в карты признаков и уменьшение расстояния между ними.
Программу обучали на картинках высокого качества, которые уменьшали для приближения к действительности. После обработки «дискриминатор» проверял достоверность исходного и улучшенного изображений. Если «подделку» было трудно отличить от «подлинника», результат работы нейросети считался положительным. С помощью новых датасетов, программа научилась различать объекты различных размеров и качеств.
DeepHD в кино
В мае 2018 года нейросеть испытали на нескольких советских фильмах: «Летят журавли», «Судьба человека», «Иваново детство» и др. У героев фильмов улучшились мимика и фактура одежды, исчезли пересветы.
С помощью технологии также улучшили 10 анимационных лент «Союзмультфильма»: «Котенок по имени Гав», «Дюймовочка», «Аленький цветочек» и др. Персонажи стали четче, повысилось качество фонов, вернулись детали, пропавшие при оцифровке. Все картины можно посмотреть на «КиноПоиске».
Альтернативные способы реставрации
Реставраторы-любители считают, что можно обойтись и без DeepHD. Вначале исходник, оцифрованный в Adobe Premier, разбивают на куски. После поправляют цвет, повышают резкость и убирают шумы. Это можно сделать с помощью программ Conbustion или VirtualDubMod. Восстановление займет много времени, но результат будет похож на DeepHD.
https://sysblok.ru/arts/vozvrashhenie-chetkogo-popugaja-kak-nejroset-restavriruet-starye-sovetskie-multfilmy/
Варвара Гузий
#arts #knowhow
Главная проблема старых мультфильмов — низкое разрешение видеозаписи. Нейросеть DeepHD увеличивает изображение и делает его четким. Программа работает не только со старыми пленками, но и с прямыми трансляциями. Задача алгоритма — убрать шумы и искажения, которые возникают в процессе передачи или сжатия картинки.
Работа нейросети
Технология состоит из двух этапов:
• устранение помех — восстановление деталей.
• увеличение изображения — преобразование картинки в карты признаков и уменьшение расстояния между ними.
Программу обучали на картинках высокого качества, которые уменьшали для приближения к действительности. После обработки «дискриминатор» проверял достоверность исходного и улучшенного изображений. Если «подделку» было трудно отличить от «подлинника», результат работы нейросети считался положительным. С помощью новых датасетов, программа научилась различать объекты различных размеров и качеств.
DeepHD в кино
В мае 2018 года нейросеть испытали на нескольких советских фильмах: «Летят журавли», «Судьба человека», «Иваново детство» и др. У героев фильмов улучшились мимика и фактура одежды, исчезли пересветы.
С помощью технологии также улучшили 10 анимационных лент «Союзмультфильма»: «Котенок по имени Гав», «Дюймовочка», «Аленький цветочек» и др. Персонажи стали четче, повысилось качество фонов, вернулись детали, пропавшие при оцифровке. Все картины можно посмотреть на «КиноПоиске».
Альтернативные способы реставрации
Реставраторы-любители считают, что можно обойтись и без DeepHD. Вначале исходник, оцифрованный в Adobe Premier, разбивают на куски. После поправляют цвет, повышают резкость и убирают шумы. Это можно сделать с помощью программ Conbustion или VirtualDubMod. Восстановление займет много времени, но результат будет похож на DeepHD.
https://sysblok.ru/arts/vozvrashhenie-chetkogo-popugaja-kak-nejroset-restavriruet-starye-sovetskie-multfilmy/
Варвара Гузий
YouTube
Хиты «Союзмультфильма» в DeepHD
Вам всегда хотелось рассмотреть наряд Снежной Королевы и живность в «Путешествии муравья» во всех подробностях? Теперь это возможно: в Яндексе появилась собственная технология DeepHD, улучшающая изображения и видео при помощи искусственного интеллекта.
Смотрите…
Смотрите…
Посчитать Средневековье: что показывает сетевой анализ византийских писем
#history
В 2012 году австрийские ученые собрали и оцифровали средневековые письменные источники, чтобы провести их количественный анализ. Исследователи проанализировали переписки многих общественных деятелей: учитывали адресатов их писем и авторов писем к ним, а также измеряли частоту и оживленность переписки.
На основе из этих данных были построены графы, в которых отражались разные социальные связи: политические, клановые, матримониальные и даже экономические.
Какие можно сделать выводы
Выяснилось, что в период правления императора Андроника II Палеолога (1282–1328) родственные связи в среде знати в поздневизантийском обществе далеко не всегда означали тесное взаимодействие на политическом поприще. Также оказалось, что чем теснее человек взаимодействовал с императором, тем более «отчужденным» от своих современников он становился. Эта «отчужденность» сохранялась до 1321 г., когда в Византийской империи началась гражданская война.
После воцарения Андроника III (1328–1341) взаимодействий между представителями знати снова стало больше. Однако в конце его царствования снова наблюдалось «разобщение» элиты. Вероятно, это стало одной из причин коллапса империи и нового круга гражданской войны.
Сколько правили монархи в различных государствах
Ученые также сравнили историю Византийской империи с тем, что в то же время происходило в других странах — Китае, Египте, Англии и Венгрии. Выяснилось, что зависимость между быстрой сменой правителя (на следующий год) и факторами неблагоприятных внешних условий (природных катаклизмов, эпидемий и т. д.) — линейная. Чем хуже внешние условия, тем вероятнее, что правитель не удержится на престоле.
https://sysblok.ru/history/ot-razobshhennosti-k-vojne-chto-pokazyvaet-setevoj-analiz-vizantijskih-pisem/
Анна Ясинская
#history
В 2012 году австрийские ученые собрали и оцифровали средневековые письменные источники, чтобы провести их количественный анализ. Исследователи проанализировали переписки многих общественных деятелей: учитывали адресатов их писем и авторов писем к ним, а также измеряли частоту и оживленность переписки.
На основе из этих данных были построены графы, в которых отражались разные социальные связи: политические, клановые, матримониальные и даже экономические.
Какие можно сделать выводы
Выяснилось, что в период правления императора Андроника II Палеолога (1282–1328) родственные связи в среде знати в поздневизантийском обществе далеко не всегда означали тесное взаимодействие на политическом поприще. Также оказалось, что чем теснее человек взаимодействовал с императором, тем более «отчужденным» от своих современников он становился. Эта «отчужденность» сохранялась до 1321 г., когда в Византийской империи началась гражданская война.
После воцарения Андроника III (1328–1341) взаимодействий между представителями знати снова стало больше. Однако в конце его царствования снова наблюдалось «разобщение» элиты. Вероятно, это стало одной из причин коллапса империи и нового круга гражданской войны.
Сколько правили монархи в различных государствах
Ученые также сравнили историю Византийской империи с тем, что в то же время происходило в других странах — Китае, Египте, Англии и Венгрии. Выяснилось, что зависимость между быстрой сменой правителя (на следующий год) и факторами неблагоприятных внешних условий (природных катаклизмов, эпидемий и т. д.) — линейная. Чем хуже внешние условия, тем вероятнее, что правитель не удержится на престоле.
https://sysblok.ru/history/ot-razobshhennosti-k-vojne-chto-pokazyvaet-setevoj-analiz-vizantijskih-pisem/
Анна Ясинская
Как работают нейросети: подборка постов с пошаговыми разборами
#survey
Разбираем сложные технологии глубокого обучения, чтобы они становились понятны каждому.
Как работает нейросеть
Рассказываем, как нейросеть учится на своих ошибках и как она в случае неудачи платит по счетам. Если ранее вы пытались изучить вопрос самостоятельно, скорее всего, натыкались на сложные статьи с кучей терминов и оборотов. Мы объясняем базовые принципы работы нейросети простым языком.
https://sysblok.ru/knowhow/kak-rabotaet-neuroset/
Как работает градиентный спуск
Самое главное в обучении нейросетей — процесс уменьшения ошибки. Он в современных нейросетях основан на градиентном спуске. Градиентный спуск — это способ поиска точек минимума или максимума в сложных функциях. В конечном счете все упирается в производные — но посложнее, чем в школе.
https://sysblok.ru/knowhow/razbiraem-nejroseti-po-chastjam-kak-rabotaet-gradientnyj-spusk/
Как работает свертка в нейросетях
Мы привыкли, что в ВК, в Фейсбуке или Инстаграме можно за пару секунд наложить фильтр на изображение: размыть его, подправить цвет, яркость, контрастность, добавить какие-то пятна. В основе этих фильтров лежат те же принципы, что и в основе сверточных нейросетей — главного алгоритма для задач распознавания картинок, символов и прочего «компьютерного зрения». Рассказываем, как работает свертка.
https://sysblok.ru/knowhow/kak-rabotajut-filtry-v-instagrame/
Как посмотреть на мир глазами нейросетей
Еще один материал про компьютерное зрение. Здесь мы рассказываем, как свертки из картинок проходят через нейросеть — и алгоритм находит в них уши котиков, контуры машин и очертания лиц.
https://sysblok.ru/knowhow/kak-posmotret-na-mir-glazami-nejrosetej/
Как устроены рекуррентные нейросети с долгой краткосрочной памятью
Этот текст — про то, что такое языковая модель и зачем она нужна. Еще рассказываем, почему рекуррентная нейросеть (RNN), хорошо подходит под машинную обработку языка и как работает LSTM — усложненная модель RNN, которая умеет запоминать не все подряд, а только важное.
https://sysblok.ru/knowhow/mama-myla-lstm-kak-ustroeny-rekurrentnye-nejroseti-s-dolgoj-kratkosrochnoj-pamjatju/
Как работает «внимание» в нейросетях
Рассказываем о механизме «внимания» (attention), на котором работают в 2020 году все действительно крутые нейросети. Почему внимание стало killer-фичей диплернинга, что под капотом у attention mechanism, как нейросеть понимает, какие признаки текста или картинки важнее других.
https://sysblok.ru/knowhow/vnimanie-vse-chto-vam-nuzhno-kak-rabotaet-attention-v-nejrosetjah/
Как работают нейросети-трансформеры
Все лучшие современные нейросети — это сочетание механизма внимания и трансформерной архитектуры. Трансформеры — это нашумевшие GPT-2, GPT-3, а также BERT — главная рабочая лошадка компьютерной лингвистики. И еще тысячи менее известных нейростевых архитектур. Осенью 2020 года Яндекс вкрутил свой трансформер YATI в. поиск. Рассказываем, как устроены трансформеры и чем они лучше предыдущих архитектур.
https://sysblok.ru/knowhow/kak-rabotajut-transformery-krutejshie-nejroseti-nashih-dnej/
#survey
Разбираем сложные технологии глубокого обучения, чтобы они становились понятны каждому.
Как работает нейросеть
Рассказываем, как нейросеть учится на своих ошибках и как она в случае неудачи платит по счетам. Если ранее вы пытались изучить вопрос самостоятельно, скорее всего, натыкались на сложные статьи с кучей терминов и оборотов. Мы объясняем базовые принципы работы нейросети простым языком.
https://sysblok.ru/knowhow/kak-rabotaet-neuroset/
Как работает градиентный спуск
Самое главное в обучении нейросетей — процесс уменьшения ошибки. Он в современных нейросетях основан на градиентном спуске. Градиентный спуск — это способ поиска точек минимума или максимума в сложных функциях. В конечном счете все упирается в производные — но посложнее, чем в школе.
https://sysblok.ru/knowhow/razbiraem-nejroseti-po-chastjam-kak-rabotaet-gradientnyj-spusk/
Как работает свертка в нейросетях
Мы привыкли, что в ВК, в Фейсбуке или Инстаграме можно за пару секунд наложить фильтр на изображение: размыть его, подправить цвет, яркость, контрастность, добавить какие-то пятна. В основе этих фильтров лежат те же принципы, что и в основе сверточных нейросетей — главного алгоритма для задач распознавания картинок, символов и прочего «компьютерного зрения». Рассказываем, как работает свертка.
https://sysblok.ru/knowhow/kak-rabotajut-filtry-v-instagrame/
Как посмотреть на мир глазами нейросетей
Еще один материал про компьютерное зрение. Здесь мы рассказываем, как свертки из картинок проходят через нейросеть — и алгоритм находит в них уши котиков, контуры машин и очертания лиц.
https://sysblok.ru/knowhow/kak-posmotret-na-mir-glazami-nejrosetej/
Как устроены рекуррентные нейросети с долгой краткосрочной памятью
Этот текст — про то, что такое языковая модель и зачем она нужна. Еще рассказываем, почему рекуррентная нейросеть (RNN), хорошо подходит под машинную обработку языка и как работает LSTM — усложненная модель RNN, которая умеет запоминать не все подряд, а только важное.
https://sysblok.ru/knowhow/mama-myla-lstm-kak-ustroeny-rekurrentnye-nejroseti-s-dolgoj-kratkosrochnoj-pamjatju/
Как работает «внимание» в нейросетях
Рассказываем о механизме «внимания» (attention), на котором работают в 2020 году все действительно крутые нейросети. Почему внимание стало killer-фичей диплернинга, что под капотом у attention mechanism, как нейросеть понимает, какие признаки текста или картинки важнее других.
https://sysblok.ru/knowhow/vnimanie-vse-chto-vam-nuzhno-kak-rabotaet-attention-v-nejrosetjah/
Как работают нейросети-трансформеры
Все лучшие современные нейросети — это сочетание механизма внимания и трансформерной архитектуры. Трансформеры — это нашумевшие GPT-2, GPT-3, а также BERT — главная рабочая лошадка компьютерной лингвистики. И еще тысячи менее известных нейростевых архитектур. Осенью 2020 года Яндекс вкрутил свой трансформер YATI в. поиск. Рассказываем, как устроены трансформеры и чем они лучше предыдущих архитектур.
https://sysblok.ru/knowhow/kak-rabotajut-transformery-krutejshie-nejroseti-nashih-dnej/
Как построить карту возрастов зданий на открытых данных: проект How old is this house?
#urban
Проект how-old-is-this.house занимается визуализацией возраста зданий на карте. В отличие от других интерактивных карт, проект показывает всю картину, а не только жилые дома.
Создание карты
• Ядро проекта — геометрия зданий из Росреестра 2016 года. Там большинству домов присвоен год постройки.
• Актуализация — датасет OpenStreetMap, благодаря которому на месте старых заводских цехов на карте появились новые ЖК, лофты и концертные залы.
• Смысловое наполнение — данные Министерства культуры, Викимапии и Wikidata. Сюда входит информация о названиях, стилях, архитекторах, фотографиях и т.д.
В итоге получилось 259 тысяч построек, из которых возраст известен у 129 тысяч. Пик пришелся на 1917 год, так как после революции к нему отнесли все дома с неизвестным годом строительства. А с началом советского периода все становится логично: провал Великой Отечественной, массовое строительство хрущевок в 1960-х и спад до 1990-х.
Визуализация
Ассоциативный контекст связывает дома либо с советскими лидерами, либо — в наши дни — с градоначальниками. Авторы проекта не нашли способ разграничить исторические эпохи и периоды строительства.
Легенда карты выделяет девять периодов:
• Допетровская Россия;
• Российская Империя;
• Ленин;
• Сталин;
• Хрущев;
• Брежнев;
• Андропов,
• Черненко,
• Горбачев;
• Лужков;
• Собянин.
У каждого периода свой цвет: дореволюционные дома окрашены в красно-кирпичный цвет, сталинские высотки — в ярко-желтый, семидесятые тускловато-зелёные, а современные здания — холодного синего цвета.
Результаты и дальнейшие планы
К сожалению, результат нельзя назвать безупречным. Каждый этап геопроцессинга несет не только новые данные, но и возможные ошибки: велик шанс, что на дом в базовом слое наложилась точка, обозначающая здание или событие по соседству. Но карту можно редактировать: пользователи могут зайти в карточку объекта и внести или изменить информацию о доме, где была замечена ошибка.
Сейчас команда проекта работает над новыми городами: скоро на сайте появятся карты Екатеринбурга и Воронежа, на очереди Пенза и Нижний Новгород.
https://sysblok.ru/urban/kak-postroit-kartu-vozrastov-zdanij-na-otkrytyh-dannyh-proekt-how-old-is-this-house/
Милана Глебова
#urban
Проект how-old-is-this.house занимается визуализацией возраста зданий на карте. В отличие от других интерактивных карт, проект показывает всю картину, а не только жилые дома.
Создание карты
• Ядро проекта — геометрия зданий из Росреестра 2016 года. Там большинству домов присвоен год постройки.
• Актуализация — датасет OpenStreetMap, благодаря которому на месте старых заводских цехов на карте появились новые ЖК, лофты и концертные залы.
• Смысловое наполнение — данные Министерства культуры, Викимапии и Wikidata. Сюда входит информация о названиях, стилях, архитекторах, фотографиях и т.д.
В итоге получилось 259 тысяч построек, из которых возраст известен у 129 тысяч. Пик пришелся на 1917 год, так как после революции к нему отнесли все дома с неизвестным годом строительства. А с началом советского периода все становится логично: провал Великой Отечественной, массовое строительство хрущевок в 1960-х и спад до 1990-х.
Визуализация
Ассоциативный контекст связывает дома либо с советскими лидерами, либо — в наши дни — с градоначальниками. Авторы проекта не нашли способ разграничить исторические эпохи и периоды строительства.
Легенда карты выделяет девять периодов:
• Допетровская Россия;
• Российская Империя;
• Ленин;
• Сталин;
• Хрущев;
• Брежнев;
• Андропов,
• Черненко,
• Горбачев;
• Лужков;
• Собянин.
У каждого периода свой цвет: дореволюционные дома окрашены в красно-кирпичный цвет, сталинские высотки — в ярко-желтый, семидесятые тускловато-зелёные, а современные здания — холодного синего цвета.
Результаты и дальнейшие планы
К сожалению, результат нельзя назвать безупречным. Каждый этап геопроцессинга несет не только новые данные, но и возможные ошибки: велик шанс, что на дом в базовом слое наложилась точка, обозначающая здание или событие по соседству. Но карту можно редактировать: пользователи могут зайти в карточку объекта и внести или изменить информацию о доме, где была замечена ошибка.
Сейчас команда проекта работает над новыми городами: скоро на сайте появятся карты Екатеринбурга и Воронежа, на очереди Пенза и Нижний Новгород.
https://sysblok.ru/urban/kak-postroit-kartu-vozrastov-zdanij-na-otkrytyh-dannyh-proekt-how-old-is-this-house/
Милана Глебова
Что такое Legal Tech: можно ли автоматизировать юриста
#society
Legal Tech — отраслевой способ цифровой трансформации для упрощения профессиональной деятельности юристов. В юриспруденции сложно полностью заменить человека роботами, так как в судопроизводстве есть нюансы, связанные со сложными этическими вопросами, трактовкой законов или глубоким анализом документов.
Legal Tech в США
Наиболее развит рынок Legal Tech в США. Одна из самых быстрорастущих компаний — Rocket Lawyer, услугами которой уже воспользовались 20 млн клиентов. Компания проводит онлайн-консультации с юристами, а также имеет «дежурных» адвокатов, которые мгновенно отвечают на вопросы клиентов. Еще есть сервис для составления различных договоров: человек добавляет на сайте необходимую информацию и получает готовые документы. Часовая консультация обычного адвоката составляет 500–1000 долларов, а в Rocket Lawyer — 120 долларов.
Legal Tech в Китае
В Китае Legal Tech завязан на государство и его правоохранительные функции. В августе 2017 года Верховный народный суд Китая учредил первый интернет-суд в Ханчжо, а в 2018 году интернет-суды были учреждены в Пекине и Гуанчжоу. Функции интернет-суда — онлайн-регистрация дел, запрос информации по делам, регистрация электронных доказательств и др.
Legal Tech в Евросоюзе
В Европе в области Legal Tech выступает компания Mynotary, специализирующаяся на риэлторских услугах. Это первая платформа, которая цифровизировала сам процесс создания договора: документ можно изменять и дополнять онлайн, а не отправлять друг другу внесенные изменения на согласование по нескольку раз. Договор можно подписать электронной подписью из любой точки мира. Как только договор купли-продажи подписан продавцом, он отправляется покупателю в один клик.
Legal Tech в России
В России к Legal Tech можно отнести сервисы «Консультант плюс» и «Гарант». Это справочные правовые системы, которые содержат в себе обширную судебную практику и формы документов, а также версии кодексов, законов и иных нормативных правовых актов с комментариями экспертов в актуальной редакции. Еще существуют автоматические конструкторы юридических документов, платформы управления интеллектуальной собственностью и инструменты для интеграции LegalTech-решений в сторонние IT-системы — например, у Гаранта для этого разработан специальный API.
Что станет с юристами в будущем
В ближайшие 20 лет в юридической области вряд ли произойдут кардинальные изменений в трудоустройстве. Почти все юридические технологии-либо вспомогательные, либо слишком сырые: они решают простые небольшие задачи, но не заменяют юриста целиком.
https://sysblok.ru/permhse/chto-takoe-legal-tech-i-mozhno-li-avtomatizirovat-jurista/
Ксения Филиппенко
#society
Legal Tech — отраслевой способ цифровой трансформации для упрощения профессиональной деятельности юристов. В юриспруденции сложно полностью заменить человека роботами, так как в судопроизводстве есть нюансы, связанные со сложными этическими вопросами, трактовкой законов или глубоким анализом документов.
Legal Tech в США
Наиболее развит рынок Legal Tech в США. Одна из самых быстрорастущих компаний — Rocket Lawyer, услугами которой уже воспользовались 20 млн клиентов. Компания проводит онлайн-консультации с юристами, а также имеет «дежурных» адвокатов, которые мгновенно отвечают на вопросы клиентов. Еще есть сервис для составления различных договоров: человек добавляет на сайте необходимую информацию и получает готовые документы. Часовая консультация обычного адвоката составляет 500–1000 долларов, а в Rocket Lawyer — 120 долларов.
Legal Tech в Китае
В Китае Legal Tech завязан на государство и его правоохранительные функции. В августе 2017 года Верховный народный суд Китая учредил первый интернет-суд в Ханчжо, а в 2018 году интернет-суды были учреждены в Пекине и Гуанчжоу. Функции интернет-суда — онлайн-регистрация дел, запрос информации по делам, регистрация электронных доказательств и др.
Legal Tech в Евросоюзе
В Европе в области Legal Tech выступает компания Mynotary, специализирующаяся на риэлторских услугах. Это первая платформа, которая цифровизировала сам процесс создания договора: документ можно изменять и дополнять онлайн, а не отправлять друг другу внесенные изменения на согласование по нескольку раз. Договор можно подписать электронной подписью из любой точки мира. Как только договор купли-продажи подписан продавцом, он отправляется покупателю в один клик.
Legal Tech в России
В России к Legal Tech можно отнести сервисы «Консультант плюс» и «Гарант». Это справочные правовые системы, которые содержат в себе обширную судебную практику и формы документов, а также версии кодексов, законов и иных нормативных правовых актов с комментариями экспертов в актуальной редакции. Еще существуют автоматические конструкторы юридических документов, платформы управления интеллектуальной собственностью и инструменты для интеграции LegalTech-решений в сторонние IT-системы — например, у Гаранта для этого разработан специальный API.
Что станет с юристами в будущем
В ближайшие 20 лет в юридической области вряд ли произойдут кардинальные изменений в трудоустройстве. Почти все юридические технологии-либо вспомогательные, либо слишком сырые: они решают простые небольшие задачи, но не заменяют юриста целиком.
https://sysblok.ru/permhse/chto-takoe-legal-tech-i-mozhno-li-avtomatizirovat-jurista/
Ксения Филиппенко
