➖ Плохая новость в том, что часть занятия #tar2024 по ggplot вчера не записалась из-за разного полтергейста.

➕ Но в этом есть плюс: по ходу занятия поняла, что несколько сюжетов можно изложить более элегантно, буду переделывать.

➖➖➖➖➖➖
➕ Хорошая новость в том, что пакет ggcheck действительно позволяет автоматически проверять графики, и я только что настроила 8 разных тестов.

➖ Но есть и минус: он не умеет проверять шрифты и шкалы.

➖➖➖➖➖➖
➖ Плохая новость в том, что датасет с людьми Сократа все же никуда не годится. О чем я напишу потом подробнее, потому что это очень поучительная истории для всех, кто собирает данные.

➕ Хорошая новость в том, что вместо людей Сократа для сетевого анализа я нашла Тюдоров.

➖➖➖➖➖➖

Это все новости из мира бинарных оппозиций.

🎯В Вышке закончился первый учебный модуль, а значит — пройдена первая четверть курса «Компьютерный анализ текста в R». Этот курс я читаю второй год студентам магистерской программы «Цифровые методы в гуманитарных науках», и продолжаю дорабатывать.

Итак, мы прошли следующие темы.

1. Начало работы в R (текст, видео).

2. Таблицы. Опрятные данные (текст, видео). Датасет: М. Кондра, Е. Казакова, «Программы по литературе для средней школы с 1919 по 1991 гг.». Узнали, в какой год в новейшей истории России распухли школьные программы.

3. Визуализации (текст, видео). Датасет: Т. Андервуд и др., “NovelTM Datasets for English-Language Fiction, 1700-2009”. Повторили знаменитое исследование Ф. Моретти о длине названия («Корпорация стиля») и узнали, в какие года среди романистов было больше всего женщин.

4. Циклы, условия, функции (текст, видео).

5. Функционалы в анализе данных (текст, видео). Исследовали датасет Британской библиотеки, посвященный Гарри Поттеру. После хакерской атаки на библиотеку он исчез с их сайта, но у меня сохранилась копия с прошлого года.

6. Импорт: JSON (текст, видео). Датасет: «Шедевры Пушкинского музея». И небольшой датасет со списком эпизодов «Теории большого взрыва».

7. Импорт: XML (текст, видео). Датасет: Д. Скоринкин, “Персонажи «Войны и мира» Л. Н. Толстого: вхождения в тексте, прямая речь и семантические роли”. Также пригодились XML из корпуса русской драмы Dracor.

8. Публикация с Quarto (текст, видео).

📚 Под каждую тему (кроме первой) был подобран гуманитарный датасет. Причем данные пришлось искать не только для лекционной части (см. выше), но и под каждое домашнее задание (это оставлю за кадром, чтобы сохранить интригу для будущих поколений). Поиск данных оказался самой сложной частью работы, и я хочу поблагодарить коллег, которые ими делятся. Это бесценно.

💙 С проверкой домашних работ мне очень помогает студентка второго курса магистратуры София Федотова. А еще мы с Софией научились настраивать автоматические тесты и оценивание, это просто спасает, потому что группа довольно большая, около 20 человек, и кода много.

📅 Впереди еще три модуля, и, если доживем, по итогам каждого я буду делиться такими обзорами. Для меня это важно еще и потому, что сейчас деление курса на темы немного расходится с реальными темпами прохождения материала — а значит структуру курса придется еще раз перерабатывать с опорой на эти заметки.

🐈 По правде говоря, я вообще мало что успеваю помимо постоянных доработок и переработок (и поэтому нечасто сюда пишу). Но результат, кажется, неплохой: во всяком случае, недавно кто-то из студентов сказал, что уже пользуется R на работе. Для всего двух месяцев освоения — неплохо.

Идем дальше.

#tar2024

Второй модуль позади, а значит мы с магистрами прошли еще 8 тем курса “Компьютерный анализ текста в R” #tar2024 . Как и в прошлый раз, делюсь ссылками на уроки и на видео.


2️⃣6️⃣1️⃣2️⃣


9️⃣ Регулярные выражения (видео, текст).

🔟 Веб-скрапинг (видео, текст). В этом уроке мы собрали “De Bello Gallico” из Wikisource.

1️⃣1️⃣ Токенизация, лемматизация, POS-тэггинг и синтаксический анализ (видео, текст). В этом уроке мы научились лемматизировать и размечать латинский датасет, который подготовили в предыдущем уроке.

1️⃣2️⃣ Распределения слов и анализ частотностей (видео, текст). В этом уроке мы изучали закон Ципфа и считали tf-idf на корпусе британских эмпириков: Локка, Юма и Беркли.

1️⃣3️⃣ Эмоциональная тональность: метод словарей (видео, текст). “Бедная Лиза” Карамзина как повод для sentiment analysis.

1️⃣4️⃣ Латентно-семантический анализ (видео, текст). Изучали на публикациях Lenta.Ru.

1️⃣5️⃣ Векторные представления слов на основе PMI. Word2Vec (видео, текст). На том же новостном датасете для удобства сравнения.

1️⃣6️⃣ Проекты под контролем версий в Git. Текста нет, видео.

🫥🫥🫥🫥🫥

Огромное спасибо всем, кто пишет issues! Так мне гораздо проще учитывать все замечания, а после доработки курса я буду знать, кого упомянуть в благодарностях. Я не всегда успеваю оперативно реагировать, простите — год выдался очень непростой, но я очень ценю такую поддержку и все обязательно поправлю.

И снова спасибо Софии Ф., которая помогает с проверкой дз и настройкой тестов. После НГ — целый модуль будет посвящен деревьям и сетям. До встречи 🌲

Третий модуль «Компьютерного анализа текста» #tar2024 (он же и 2025) подходит к концу, а значит я снова публикую текст и видео к урокам. Почти весь модуль посвящен деревьям и сетям 🕸️

1) Тематическое моделирование с LDA (текст, видео). Датасет: новости Lenta.Ru. Бонус: код и данные для статьи «Танцы, эрос и зачатие: о чем писали “Платоновские исследования” за последние 10 лет». К статье есть видео прошлогоднего выступления на «Цифровой среде».

2) Кластеризация и метод главных компонент (текст, видео). Датасеты: на дом — сценарий сериала «Друзья» из пакета {friends} для кластеризации персонажей; аудиторная — датасет Galbraith из пакета {stylo} на определение авторства романа, написанного Роулинг под псевдонимом. И еще немного пингвинов из {palmerpenguins} для упражнения. Потому что пингвины лишними не бывают.

3) Стилометрический анализ с пакетом stylo (текст, видео). Датасет: древнегреческая литература, собранная автором для статьи «Delta Берроуза для древнегреческих авторов: опыт применения» (выборочно, ссылка на репозиторий). Также очень пригодились данные, опубликованные Даниилом Скоринкиным @fckndh. Даня, спасибо, особенно за Ильфа и Петрова!

4) Консенсусные деревья и сети (текст, видео). Аудиторная работа на том же Galbraith (он же Роулинг), домашняя — датасет Бориса Орехова «Стилеметрические данные “Тихого Дона” и современной ему прозы». Бонус: видео выступления на «Цифровой среде» с докладом «Лес за деревьями: филогенетические методы на службе платоноведения» (дискутант: Артем Юнусов из ИФЕ @philosophy_diary).

5) Сетевые данные в igraph (текст, видео). Датасеты из пакета {networkdata}, а также собранный Борисом Ореховым «Словарь русских писателей XVIII века: сеть персоналий».

6) Графический дизайн сетей с ggraph и visNetwork (текст, видео). Датасет: Тюдоры из пакета {historydata}.

7) Анализ сетей и обнаружение сообществ (текст, видео). Датасет: драматический корпус Dracor. На дом: сети Ходасевича (снова спасибо Борису Орехову) и сети «Войны и мира» (снова спасибо Даниилу Скоринкину).

Ссылка на весь видео-плейлист. Всего там 23 записи за этот учебный год.

🖥 Ссылка на репозиторий для issues и пул-реквестов.

Я уползаю готовиться к четвертому модулю, в планах добраться до многослойного перцептрона, но это уж как пойдет