Ivan Begtin
8.01K subscribers
1.94K photos
3 videos
101 files
4.64K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
加入频道
4 февраля пройдет хакатон по теме культуры [1] организуемый АНО "Инфокультура", Министерством культуры РФ,
НИУ «Высшая школа экономики» Магистерская программа «Журналистика данных» и компанией SocialDataHub

Приходите, будет много интересных открытых данных и большая тусовка тех кто ими интересуется.
Кстати, для хакатона, мы всегда предлагаем использовать наши данных из проекта Госзатраты где есть данные по всем госконтрактам [2]

Ссылки:
[1] https://www.facebook.com/events/393132777694057/?acontext=%7B%22ref%22%3A%22108%22%2C%22action_history%22%3A%22null%22%7D
[2] https://clearspending.ru

#opendata #opengov #culture
Для тех кто хочет поработать с большими данными, но не знает с какими, Национальная библиотека Новой Зеландии опубликовала набор данных Papers Past [1] включающей 235GB сканов газет Новой Зеландии с 1839 по 1899 годы и CSV файл с метаданными описывающими эти газеты. Всё вместе после распаковки 1.6TB данных

Ссылки:
[1] https://natlib.govt.nz/about-us/open-data/papers-past-metadata/papers-past-newspaper-open-data-pilot/dataset-papers-past-newspaper-open-data-pilot

#opendata #nz #papers #culture
Enslaved. Большой проект с данными и историческими материалами по рабовладению в США с базой всех кто был рабами, их родственниками, рабовладельцами и так далее [1]. Более 384 тысяч записей через веб интерфейс и как открытые данные и связанные данные [2], а также историями о судьбах отдельных людей.

Интересный проект, современная форма, акцент на повторном использовании данных. Если делать подобное в России то как бы его называли, "Закрепощённые?" или "Крепостные?"

Ссылки:
[1] https://enslaved.org/
[2] https://enslaved.org/data

#data #culture
Тем временем обновился европейский проект глобального каталога произведений искусств Europeana [1] теперь в новой версии нет такого акцента на поиске, и куда больший акцент на коллекциях и на историях. Истории - это новая форма рассказов о произведениях искусства, в виде галерей и постов в блоге. Ближе к журналистике истории/журналистике данных даже.

И, что интересно, наконец-то в Europeana появились интерактивные возможности для пользователей. Теперь можно зарегистрироваться и создавать личные публичные и непубличные галереи из выставленных в Europeana материалов.

Это чуть ближе к австралийскому проекту Trove [2], который тоже недавно обновился, и является примеров одного из крупнейших проектов краудсорсинга исторического наследия. Пример того как государство создаёт сообщество вокруг культурного наследия и это успешно получается.

Ссылки:
[1] https://www.europeana.eu
[2] https://trove.nla.gov.au

#digitalculture #digitalheritage #opendata #open #culture
Цифровые гуманитарные проекты (digital humanities) - это необязательно древняя история, они могут быть посвящены и самому что ни на есть настоящему. Например, AusStage. The Australian Live Performance Database
[1] австралийский проект живых выступлений австралийских артистов в своей стране и по всему миру.
В базе
- 31 998 событий
- 21 295 организаций
- 20 966 работ
- 76 186 ресурсов
- 12 881 площадок

Самое давнее событие происходило в 1789 году [2] в виде празднования дня рождения короля Георгия II заключёнными в хижине на земляном полу.

Проект научный, поэтому из него экспортируются данные, а информация собирается, в том числе, из архивов и библиотек, где хранятся афишы, билеты, флаеры, обзоры и многое другое.

А самые актуальные вносятся за 2023 год довольно оперативно.

Ссылки:
[1] https://ausstage.edu.au
[2] https://www.ausstage.edu.au/pages/venue/19230

#digitalhumanities #culture #australia #open #digitalpreservation
Forwarded from Open Data Armenia (Ivan Begtin)
[RU] Многие открытые данные и материалы культурного наследия Армении и армян разбросаны по архивам по всему миру, картины художников, работы скульпторов, книги писателей доступны на сайтах музеев, галерей и архивов. Чаще всего их невозможно найти просто указанием страны, не все архивы позволяют искать идентифицируя по культурному происхождению или по стране.

В некоторых странах, например, в Российской Федерации значительная часть культурных данных доступны в виде больших наборов данных, доступных для выгрузки, анализа и исследований. Где найти эти культурные данные?

Госкаталог музейного фонда (https://goskatalog.ru)

Создан Минкультуры РФ, включает описание и превью более чем 37 миллионов экспонатов. В каталоге много материалов относящихся к Армении, например, картины Ованесса Айваязана (Ивана Айвазовского) [1] или картины и иные материалы связанные с работой Мартироса Сарьяна [2]. Данные из Госкаталога доступны в на портале открытых данных Минкультуры РФ, их можно скачать и найти в них эти и другие материалы связанные с культурой и историей Армении и армянского народа.

Артефакт – гид по музеям России (https://ar.culture.ru)

Другой проект Минкультуры России охватывает множество музеев РФ и предоставляет изображения экспонатов в высоком качестве. В этом проекте, также, немало картин имеющих отношение к Армении и армянским художникам. Там есть страница и галерея посвящённая Ивану Айвазовскому (Ованесу Айвазяну) [4], или Налбандяна Дмитрия Аркадьевича [5] и многих других художников. В системе Артефакт не публикуются открытые данные, но есть недокументированное API и возможность собрать данных через скрейпинг данных.

Национальная электронная библиотека (https://rusneb.ru)

В Национальной электронной библиотеке собраны миллионы книг открытого доступа из библиотек и архивов России. Многие книги в НЭБ написаны армянскими писателями на русском языке или переведены на русский язык. Например, в НЭБ есть книги Мартироса Сарьяна [6] и Ованеса Туманяна [7], а также небольшое число книг на армянском языке [8]. У НЭБ нет открытого API или открытых данных, но эти и другие материалы можно найти поиском и собрать скрейпингом с веб-страниц НЭБ. Также в НЭБ немало документов Российской Империи включающих историю и статистику губерний населённых армянами.

Этот список источников далеко не исчерпывающий, многие художественные произведения публикуются на сайтах других музеев, галерей, библиотек и архивов. Мы собираем список таких источников данных со всего мира и если Вы знаете такие сайты, обязательно напишите нам, мы опубликуем итоговый список в в каталоге данных Open Data Armenia и организуем сбор этих данных.

Ссылки:
[1] https://t.ly/MbOQ
[2] https://t.ly/g2-LI
[3] https://opendata.mkrf.ru/opendata/7705851331-museum-exhibits
[4] https://ar.culture.ru/ru/person/ayvazovskiy-ik
[5] https://ar.culture.ru/ru/person/dmitriy-arkadevich-nalbandyan
[6] https://t.ly/A9ph
[7] https://t.ly/T71z
[8] https://t.ly/FAsT

#opendata #digitalheritage #culture #armenia #datasets
Forwarded from Open Data Armenia
Номинация "Culture Apps" нашего конкурса [1] в мире относится к теме Цифровых гуманитарных наук, на английском языке Digital Humanities. В последние годы появляется всё большее число проектов в это области и для тех кто хочет поискать вдохновения для себя стоит взглянуть на проекты участников победителей международной премии Digital Humanitarian Awards [2] где есть множество интерактивных и визуальных проектов по представлению культуры и истории.

Вот некоторые из них, победители прошлых лет.

TravellersMap ( https://travellersmap.gr)

Проект наложением на карты современной Греции и Турции видеолекций о исторических местах и событиях связанных с древнегреческой культурой, со ссылками на Wiki и базы знаний по истории Греции

Archivo de Literatura Digital en América Latina (https://www.cartografiadigital.cl)

Интерактивная инфографика цифровой литературы Южной Америки

Battle of Hong Kong 1941
(https://digital.lib.hkbu.edu.hk/1941hkbattle/en/map.php)

Интерактивная карта визуализации битвы за Гонконг в 1941 году, с таймлайном события.

А также существует множество других технологических интересных гуманитарных проектов о которых мы будем рассказывать здесь в телеграм канале и на наших семинарах.

Подумайте о том какие события в истории Армении и армянского народа могли бы быть представлены наглядно. Как собрать данные и нужно ли их много? Иногда достаточно сесть с книгой в руках и выписать даты и события, пройтись по открытым источникам и найти фотографии, использовать удобные low-code инструменты и собрать на их основе интересный проект.

Если у Вас есть вопросы, идеи, мысли и желание продвинуться в этом, задавайте вопросы в нашем чате @opendataamchat.

И напоминаю заявки на конкурс мы принимаем до 18 февраля включительно.

Ссылки:
[1] https://contest.opendata.am
[2] http://dhawards.org

#digitalheritage #opendata #contest #history #dataviz #culture #armenia
В рубрике закрытых данных в РФ с декабря 2021 года с портала данных Министерства культуры РФ [1] исчезло 8 наборов данных. Было 62 [2], а стало 54 на начало декабря 2024 г. Новости портала не обновлялись также с середины 2021 года [3]

Хорошая новость в том что оставшиеся наборы данных пока ещё обновляются.

А когда-то это был один из лучших порталов открытых данных в России. Говорю как человек которые уже пересмотрел тысячи сайтов с открытыми данными.

Ссылки:
[1] https://opendata.mkrf.ru/opendata
[2] https://web.archive.org/web/20211130053406/https://opendata.mkrf.ru/opendata
[3] https://opendata.mkrf.ru/item/newslist

#closeddata #data #opendata #russia #culture
В прошлом году я поучаствовал в нескольких мероприятиях относящихся к тому что называют Digital Humanities и работе с данными в гуманитарных науках и понял что мне много что есть об этом сказать, но это будет долгий разговор.

Какие-то мысли отдельными тезисами фиксирую сейчас чтобы не потерять:
1. Работу с данными в гуманитарных науках можно разделить на три части: научную, культурную и образовательную.
2. Научная часть характерна тем что данные в науках особенно активно используются и культура работы с ними культивируется когда у этой работы есть экономический смысл. Иначе говоря, есть деньги - есть данные. Это справедливо для лингвистики, биоинформатики, метеорологии и ещё многих дисциплин которые в последние даже не годы, а десятилетия переходили в режим data-first (вначале-данные) когда данные или создаются, или используются, но всегда присутствуют, причём данные всё большего объёма.
3. Почти все гуманитарные науки всё ещё очень далеки от data-first подхода, слишком много дискуссий идёт вокруг того являются ли данные важным аспектом гуманитарных наук, много разговоров про то нужна ли инфраструктура для работы с ними, а если нужна то кто её будет делать, поддерживать и, самое главное, оплачивать.
4. С точки зрения профессиональной дата инженерии и естественных наук, в гуманитарных науках почти нет того что называют "большие данные" и применение ИИ. Здесь также ощущается "естественно-научный снобизм" когда для людей из условной биоинформатики всё что касается гуманитарных наук выглядит как "детский сад". Отдельный вопрос насколько такой взгляд обоснован, но он имеет место быть
5. Большая часть того что называют цифровыми гуманитарными проектами - это в меньшей степени научные и в большей степени культурные проекты. Они ближе к дата журналистике, дата сторителлингу и медиа, чем к чему-либо другому. Их можно смело относить к медиа проектам и форма их представления сильно доминирует над содержанием.
6. В странах с непостоянным прошлым культурные аспекты приобретают и сильный политический акцент текущей общественно-политической повестки.
7. Образовательный аспект самый сложный и заключается в таких вопросах как "должны ли историки программировать?", "должны ли искусствоведы уметь работать с данными?", "должны ли архивисты уметь работать в GIS системах?" и так далее. Опять же во многих научных дисциплинах такие вопросы уже не возникают. Юристы учатся и изучают LegalTech, экономисты осваивают R и Python.
8. Часто цифровую гуманитаристику приравнивают к лингвистике с чем лично я не готов согласится. Скорее это история + цифровая журналистика, современные способы представления не современных данных.
9. Второй серьёзный барьер после денег - это закрытость данных. Это касается, и архивов, и библиотек, и доступности данных и иных цифровых материалов под свободными лицензиями. Есть страны где с этим очень неплохо и есть те где всё довольно печально.
10. К примеру если начать проектировать аналог Europeana для ряда стран это будет просто невозможно. Просто потому что всё очень немного оцифровано и даже описи оцифрованы далеко не все.
11. Реальные изменения начинаются с тех кто выделяет средства на культурные проекты. Без их воли (и требований) не возникнет ни открытости, ни кооперации в достаточно серьёзном масштабе.
.
#digitalhumanities #culture #opendata
В рубрике закрытых в России данных открытые данные Государственного каталога музейного фонда [1] на портале открытых данных Минкультуры РФ не обновлялись с сентября 2023 года, почти полтора года.

В виде сайта эти данные доступны на goskatalog.ru [2] и, похоже, там эти данные обновляются поскольку количественно объектов там больше чем на портале открытых данных в этом датасете.

Это, конечно, печальное известие потому как с точки зрения организации доступа к данным именно этот ресурс Минкультуры был сделан лучшем чем большая часть порталов открытых данных в России. Печально если он окончательно помирает, впрочем новости там не публикуются с 2021 года, датасеты потихоньку исчезают, а теперь и не обновляются.

Ссылки:
[1] https://opendata.mkrf.ru/opendata/7705851331-museum-exhibits
[2] https://goskatalog.ru

#opendata #culture #russia #closeddata