Как телефонный ассистент Олег издевается над социологами, и чем цифровая модель художественного текста отличается от волшебной карты Гарри Поттера — обзор блогов «Системного Блока»

Эксперты «Системного Блока» продолжают постить в блоги. В этот раз наши авторы рассказали о культурных искажениях в больших данных, неоднозначности результатов исследований Digital Humanities и влиянии голосовых ассистентов на общественное мнение. Посмотрите:

— Как связана статистика попаданий зениток по бомбардировщикам во времена Второй Мировой и состав Национального корпуса русского языка? И почему дошедшие до нас в цифровой форме стихи — «это и есть вернувшийся бомбардировщик, выбравшийся из зенитного огня истории»? Об этом и о том, почему стандартные статистические критерии репрезентативности не решают проблем филолога, рассказывает специалист по культурной эволюции и количественному стиховедению Артем Шеля.

Сбитые самолеты, русские стихи и другие жестокие вещи

— Вносят ли Digital Humanities однозначность и доказательность в гуманитарные исследования? (спойлер: НЕТ). Почему лингвисты исследуют обширные языковые системы, а филологи стремятся изучать единичные объекты? Опасаются ли традиционные филологи — цифровых? Новый пост в блоге Бориса Орехова — с ответами на вопросы о цифровой филологии.

Digital Humanities: где сидит стрекоза?

— Определители спам-номеров и голосовые ассистенты-автоответчики помогают отбиться от спамеров и телефонных мошенников. Но страдают в этой войне и невинные жертвы — социологи, которым становится все труднее исследовать общественное мнение. Вместо респондентов им все чаще отвечают боты, разработчики которых порой специально глумятся над исследователями, либо не отвечает никто. О том, как переход с домашних телефонов на мобильные влияет на опросы общественного мнения, рассказывает социолог Константин Глазков, автор канала WrongTech.

Как технологии меняют общественное мнение

Кто первым в России решил посчитать размеры стихотворений Пушкина? Что такое «дальнее чтение»? И для чего литературе нужен «сетевой анализ»?

Знаете ответы на эти вопросы? Проверьте себя в новом тесте про цифровое литературоведение. Заодно вспомните, что некоторые методы цифровых исследований придумали задолго до изобретения ЭВМ 🙊

А для тех, кто не искушён, это нескучная возможность узнать, как связан автор романа «Что делать?» с цифровой филологией.

https://sysblok.ru/test/naskolko-horosho-vy-znaete-istoriju-cifrovogo-literaturovedenija/

Кто делает «Системный Блокъ»? Что движет этими людьми?

Медиапроект «Системный Блокъ» существует уже больше трех лет. Мы независимый и полностью волонтерский некоммерческий проект. У нас нет больших бюджетов, зато у нас много свободы.

Мы делаем интервью с интересными людьми и рассказываем о том, что нам интересно, без политической цензуры и коммерческих интересов. А еще нам просто интересно друг с другом — спорить в чатах и зумах, устраивать пикники, отмечать дни рождения и Новый год 🎉

Мы открытая команда, распределенная по разным странам, из людей с совершенно разным бэкграундом. К нам может присоединиться любой желающий. В чем вы можете проявить себя в «Системном Блоке» в 2022 году?

1. Писать тексты в рубрики «Общество», «Урбанистика», «Цифровая история», «Новости» и даже «Мемы»!
2. Делать тик-токи.
3. Продюсировать спецпроекты.
4. Монтировать видео. Мы не ограничиваемся текстами и выходим на новые платформы, приходите делать ролики вместе с нами.
5. Курировать направления — от IT проектов, проектов по оцифровке до спецматериалов и проектов с учеными.
6. Программировать и анализировать данные. Мы ведем разработку сайта, автоматизируем работу редакции, делаем инструменты оцифровки культурного наследия.
7. Помогать с продвижением в соцсетях и SEO сайта, выстраивать партнерские отношения с другими изданиями.
8. Создавать иллюстрации/дизайн/визуализации.
9. Вести соцсети: у нас уже семь соцсетей, каждую из которых надо вести по-своему
10. Редактировать тексты, превращать непонятный материал в понятный.

📝 Присоединяйтесь: goo.gl/qbPJuK

Видео про нас: https://youtu.be/1WwdFtYO5bo

Первого виртуального собеседника Элизу написали в 1966 году, а история компьютерного зрения началась ещё в 1951-м. Так почему возможности искусственного интеллекта до сих пор уступают футуристичным картинкам из фильмов и книг?

Спойлер: всему виной недостаток вычислительных мощностей. Ещё какие-то три-четыре десятилетия назад оперативную память компьютеров измеряли в килобайтах. А процессоры компьютеров, при помощи которых запускали людей на Луну, были в миллион раз слабее тех, что стоят в ваших компьютерах.

К счастью, быстрый прогресс в этой области обеспечил закон Мура, согласно которому память и скорость компьютеров удваиваются каждый год. Но лишь недавно машины смогли обрабатывать достаточный объём информации, чтобы начали сбываться технологические мечты человечества.

Роботов Boston Dynamics, алгоритмы подбора любимых видосов на Youtube и другие «плюшки» современного ИИ подготовили десятилетия трудной работы в прошлом. И вот какие:

• В 50-х и 60-х годах учёные открыли возможности ИИ — машинный перевод, компьютерное зрение, первую искусственную нейросеть.
• К концу 70-х разработки застопорились из-за недостатка вычислительных мощностей и других препятствий. Но случались проблески — например, успешная посадка автоматической станции «Луноход-1» на поверхность Луны в 1970 году.
• ИИ вернулся в мейнстрим в конце 90-х, когда IBM Deep Blue победил в шахматы действующего чемпиона мира Гарри Каспарова.

https://sysblok.ru/linguistics/otmorozhennyj-iskusstvennyj-intellekt-zima-ne-blizko/

Помните ли вы, какой президент России провёл первую онлайн-конференцию? Выбор невелик, но ответ вас удивит.

Пройдите тест о том, как информационные технологии проникали в политическую, общественную и личную жизнь. Вспомним вместе, когда вооруженные конфликты превратились в онлайн-войны, какие хэштеги мелькали в социальных сетях и что такое киберпреступление.

Ссылка на тест: https://sysblok.ru/test/znaete-li-vy-kak-informacionnye-tehnologii-povlijali-na-obshhestvenno-politicheskie-processy/

Этот тест — часть большого спецпроекта WWW вместо СССР: 30 лет спустя — мы сделали его к годовщине крушения Советского Союза. Таймлайны и комментарии экспертов проведут вас по 30-летнему пути от первых дней интернета — до эпохи блокировок и искусственного интеллекта. Вы узнаете о том, почему социальные сети появились именно в нулевых, какими проблемами страдает электронная демократия и наблюдаем ли мы сегодня закат мировой политической стабильности.

🤔А как онлайн повлиял на ваши отношения с политикой? Пишите в комментариях!

Сегодня Верховный суд ликвидировал «Международный Мемориал». Но пока российские власти ведут борьбу с «Мемориалом» и с собственным неудобным прошлым, сам «Мемориал» переходит в новое агрегатное состояние — «НКО в облаке»:

— Оцифровку данных о репрессиях ведут волонтеры, разбросанные по всему миру
— Архивы переводятся в электронное состояние и хранятся распределенно
— Сайты и базы данных ведутся так, чтобы не быть утраченными даже в случае стихийных бедствий (не говоря уже о репрессивных решениях судов и прокуратур).

Глава красноярского «Мемориала» и программист с почти полувековым опытом Алексей Бабий рассказал в интервью «Системному Блоку», как происходит оцифровка и публикация сведений о жертвах репрессий, почему он называет себя «иностранным агентом Шрёдингера», что заставляет программистов превращаться в общественных деятелей, а также почему современным «облачным НКО» не страшны угрозы ликвидации

https://sysblok.ru/interviews/virtualnye-nko-jeto-budushhee-intervju-s-rukovoditelem-krasnojarskogo-memoriala

Подборка лучших материалов 2021 года
По традиции 31 декабря мы публикуем подборку лучших материалов уходящего года 🎅.

• Спецпроект «WWW вместо СССР». К 30-летию крушения Советского Союза «Системный Блокъ» сделал свой первый большой спецпроект. Мы рассказали о трёх постсоветских десятилетиях через историю IT и интернета. Кстати, вместе со спецпроектом вышел тест, где можно проверить, хорошо ли вы помните новейшую историю IT.

• Блог-пост года: сбитые самолеты, русские стихи и другие жестокие вещи. Авторские блоги — еще одна инновация 2021 года. Блоги ведут эксперты, которые разбираются в том, что нам интересно: от цифровых исследований литературы до биологии. Цифровой стиховед Артем Шеля рассказал, как «ошибка выжившего» влияет на филологические исследования и почему дошедшие до нас стихи — это «бомбардировщик, выбравшийся из зенитного огня истории».

• Тьюториал: как превратить текст в генеалогическое древо с помощью Python. Здесь мы рассказываем, как автоматизировать довольно сложную процедуру — визуализацию генеалогического древа по текстовому описанию. Собрать такую штуку на Python оказывается довольно легко — благодаря использованию готовых библиотек для NLP и отрисовки графов.

• Визуализация года: как инвалидность оказывается токсичной в глазах HR-алгоритмов. Алгоритмы отбора кандидатов считают «токсичными» упоминания глухоты, слепоты и других физических ограничений. Это может стать большой проблемой в эпоху, когда роботы заменят людей в качестве первой линии HR-рекрутеров.

• Цифровая история года: что показывает сетевой анализ византийских писем. Мы рассказали о том, как математическая теория графов (network theory) помогает историку-медиевисту опознать разобщённость элит, за которой последовал политический кризис.

• Тест: кто такой педель и как получить матпомощь в XIV веке? В этом году мы сделали сложный тест, в котором вы можете проверить знания об университетской жизни в Средневековье. А быть студентом в Средние века — это вам не с айфона шпоры списывать.

• Шуточный тест года: какой ты цифровой гуманитарий? Здесь можно узнать, на кого из известных деятелей цифровых гуманитарных исследований вы похожи. И заодно узнать что-то об их удивительных биографиях.

• Дата-журналистика года: исследование зарплат российских учителей. «Системный Блокъ» решил узнать, насколько учитель средней школы в России подходит под критерий среднего класса. Наш автор — дата-журналист Артур Хисматуллин — собрал и визуализировал статистику по доходам и рабочей нагрузке учителей, чтобы показать, что до мировых стандартов среднего класса все это точно не дотягивает.

• MVP года: определяем дату написания картины онлайн без регистрации и СМС. Авторы этой статьи — студенты МИСиС, которые разработали систему датировки картин на нейросетях. Их разработка умеет определять дату как для известных полотен вроде «Звездной ночи» или «Мона Лизы», так и для картин малоизвестных художников. Читайте у нас о принципах работы сервиса.

• Аудио: почему искусственный интеллект врёт и как его от этого отучить? В выпуске подкаста «Неопознанный искусственный интеллект» с Давидом Дале (Сколтех, экс-Яндекс) сочетаются истории из жизни датасаентистов, популярный рассказ о раскрученных технологиях вроде GPT-3, а также весьма глубокие рассуждения о науке и ИИ будущего.

• Видео года: «Мы — Системный Блокъ». Если вам интересно, кто делает наше абсолютно волонтерское и некоммерческое издание, что движет этими людьми и какие у нас планы на будущее — смотрите этот ролик.

• Оцифровка года: проект «Пишу тебе». Под конец вспомним о том, с чего начался 2021 год для команды «Системного Блока». Мы запустили собственный проект по оцифровке культурного наследия под названием «Пишу тебе». В этом проекте мы собираем, расшифровываем и публикуем в открытом доступе старые почтовые открытки. В нашей коллекции уже больше 3 тысяч открыток.

А если вы просто хотите стать частью команды «Системного Блока» — то заполните эту форму. В будущем году мы сделаем еще больше классных штук — и вы можете внести вклад в общее дело. Присоединяйтесь!

С Новым годом! 🥂

Любители пофоткать природу помогают большой науке

Международные платформы типа eBird или iNaturalist становятся всё популярнее. После регистрации на такой платформе вы делитесь своими наблюдениями за живой природой, общаетесь с единомышленниками и узнаёте что-то новое. А специалисты берут данные, накопленные «гражданской наукой», и делают на их основе настоящие исследования.

Что делают с данными, собранными любителями?
• Определяют с их помощью ареал обитания редких видов животных и растений.
• Составляют карты, визуализирующие вероятность получить укус ядовитой змеи.
• Изучают влияние урбанизации на биоразнообразие и находят проблемы на урбанизированных территориях — например, частые столкновения птиц с окнами зданий.
• Выясняют степень распространённости болезней — например, постодиплостомоза у рыб.
• Обучают нейросети распознавать животных на изображениях.

https://sysblok.ru/biologija/mne-nuzhny-tvoja-geolokacija-kamera-i-telefon-dlja-chego-uchenym-vashi-foto-ptic-i-rastenij/

Движения глаз выдают неуверенного читателя
Исследователи Центра языка и мозга Высшей школы экономики и Городского университета Нью-Йорка применили новый метод айтрекинга к русскоязычным текстам.

Традиционные методы айтрекинга описывают локальные параметры того, как двигаются глаза читающего при чтении отдельных слов. Благодаря им мы узнали, что глаз не скользит по предложению, а скачет по словам, а ещё часто возвращается к предыдущим словам и перечитывает их.

Сканпаф (от англ. scanpath) — новый метод, который описывает глобальный рисунок чтения целых предложений в разных группах. При анализе составляется график движения глаз каждого участника исследования, сравниваются их паттерны чтения, а затем похожие паттерны объединяют в кластеры (группы) .

Что стало известно после применения сканпафа к чтению на русском языке?
• Русскоязычные подростки и молодые люди в возрасте 13-24 лет, которые живут в США и усваивают язык через родителей, читают по-разному — настолько, что их невозможно объединить в один кластер.
• Если человек быстро читает вслух, то про себя он тоже читает бегло — и наоборот.
• Дети с риском дислексии достигают беглого уровня чтения, но для этого им нужно больше времени, чем сверстникам.

https://sysblok.ru/neuroscience/ajtreking-i-skanpafy-kak-dvizhenija-glaz-vydajut-neuverennogo-chitatelja/

Русская классика глазами нейросети ruDALLE

Нейросетевая модель DALL E от OpenAI впечатлила мир способностью генерировать действительно адекватные и реалистичные картинки по произвольному описанию (ну хотя бы иногда). Сгенерированные этой моделью «кресла в форме авокадо» и «влюбленной редьки» многократно облетели интернет.

Недавно появился русский аналог под названием ruDALLE — и с ним (или с ней) уже тоже проделали много веселых экспериментов. Мы решили проверить, как эта модель представляет себе русскую классику. Картинки ниже — результат генерации изображений моделью ruDALLE на основе первых строк выдающихся произведений русской классической литературы. Попробуйте угадать, начала каких произведений заставили нейросеть увидеть ЭТО.

Учтите, что мы исключали посвящения, эпиграфы, перечисления героев, не относящиеся к сюжету вступления и прочее. В нашем тесте использовались именно первые строки основного текста: первых глав, действий, реплик и т.п. Как правило, именно эти строки считаются начальными в произведении, например: «Мой дядя самых честных правил» или «Я пригласил вас, господа, с тем чтобы сообщить вам пренеприятное известие».

https://sysblok.ru/test/russkaja-klassika-glazami-nejroseti-rudalle/

Как работает автоматический поиск рифмы
Проводим тест-драйв на примере двух стихотворений — на русском и английском.

Искать рифмы можно через анализ последних звуков в строках, но такой способ упускает неточные рифмы и слова, произношение которых изменилось со временем. Чтобы решить проблему, в 2018 году чешский стиховед Петр Плехач предложил использовать для поиска рифм коллокации и машинное обучение.

«Системный Блокъ» решил проверить, как алгоритм справится со стихотворением Маяковского «‎А вы могли бы?»‎ и 117-м сонетом Шекспира. Мы написали свою программу, используя RhymeTagger — библиотеку на Python, созданную Плехачем в 2021 году.

Спойлер: знаменитой «Лесенке» Маяковского всё-таки удалось сбить алгоритм с толку. Но несмотря на это, он смог узнать неточную рифму.

https://sysblok.ru/philology/programma-dlja-poiska-rifmy-kak-ona-rabotaet-i-kogda-lomaetsja/

Идеальная формула депрессивной песни
Если вы когда-нибудь думали: «Эх, вот бы кто-то посчитал, насколько мне грустно от этой музыки!», то ваше странное желание исполнено.

Мы уже писали о том, как изменились тексты поп-песен за последние 50 лет. Но в анализе песни важны не только слова, но и мелодия.

Британская рок-группа Radiohead известна как пишущая «грустную» музыку. Поклонник группы, дата-сайентист Чарли Томпсон решил вычислить их самую депрессивную песню с помощью языка программирования R, опираясь на музыкальную и текстовую составляющую.

Ученый придумал «индекс уныния» — формулу депрессивной песни, которая усредняет показатели музыкальной позитивности, процента «грустных» слов и лирической плотности (насколько важно каждое грустное слово). В итоге самой грустной песней оказалась «True Love Waits», а самой бодрой — «15 Step» из альбома In Rainbows.

Ещё Томпсон создал Sentify — сайт, где можно визуализировать настроение песен вашего любимого исполнителя. Достаточно вбить имя любимого исполнителя, и вы увидите график настроения всех его мелодий.

https://sysblok.ru/musicology/idealnaja-formula-depressivnoj-pesni-na-primere-radiohead/

Что говорит о дневниках 1917 года анализ данных
«Системный Блокъ» выяснил, что волновало участников событий и о чем писали газеты.

Восстания, Первая мировая война, броневики, голод, бедность… И в это же время Русские сезоны, последняя выставка Бубнового валета и «Смутное» Кандинского. За бешеным калейдоскопом событий 1917 года стояли живые люди — политики, интеллигенты, генералы и другие.

Мы уже писали о проекте «1917. Свободная история», который собрал дневники больше 1500 героев. Нам было сложно удержаться от анализа такого обширного корпуса данных, и вот что из этого вышло.

Взглянем на революцию глазами очевидцев:
• Больше всего авторы писали о революции, войне и культуре, а ещё — про экзистенциальные вопросы.
• Часть тем про революцию связаны с конкретными событиями, остальные объединяют общие рассуждения о революции.
• Бедность и проблемы с продовольствием — единственная тема, которая регулярно всплывает с октября 1916 года по январь 1918-го.

https://sysblok.ru/linguistics/vperedi-sushhij-saharnyj-golod-chto-govorit-o-dnevnikah-1917-goda-analiz-dannyh/

Как Джордж Вашингтон стал эмо в ТикТок трендах
Пользователи ТикТока находят современные понятия в книгах 17-го века, и мы решили их проверить.

Пару месяцев назад в ТикТоке начали набирать сотни тысяч просмотров записи экрана с Google Books Ngram Viewer. Сайт показывает популярность слова в текстах разного времени, и любопытные находят слово «эмо» в 1803 году, а упоминание «Звёздных войн» — ещё в 1696-м.

«Системный Блокъ» решил разобраться, в чём секрет такой статистики. Причин оказалось много: от банальной многозначности слов до некорректного распознавания текста.

Например, слово emo встречается не только в англоязычных книгах, но и учебниках по латыни — там оно переводится как «покупаю». А если искать слово эмо среди русских книг, то мы увидим пик в 1820-х — но не из-за распространения романтизма, а из-за проблем с оцифровкой.

Другой пример «star wars» тоже оказался связан с оцифровкой: словосочетание из скриншота в тексте 1681 года почти невозможно разобрать.

https://sysblok.ru/philology/kak-dzhordzh-vashington-stal-jemo-google-n-grams-v-tiktok-trendah/