Я практически никогда не размещаю рекламу здесь в телеграм канале, а если и делаю это, то только некоммерческую.
—
Один из ответов на вопрос "что делать?" в текущей ситуации в мире и в России - это помогать благотворительным фондам. У многих из них исчезли институциональные доноры, у бизнеса сейчас свои проблемы и потребность в выживании на первом месте, поэтому многие благотворительные фонды лишаются финансирования. При этом президентских грантов или региональных грантов никогда не было достаточно для решения даже малой части социальных проблем. Сейчас этих проблем будет больше с каждым месяцем.

Я лично знаю Фонд Реликт, его команда занимается тем что помогает детям в трудной жизненной ситуации, детям у которых есть ограничения физические, ментальные, ситуационные (семейные обстоятельства) и иные ограничения. Фонду можно помочь прямым однократным или регулярным пожертвованием https://fond-relikt.ru/howtohelp/

#сharity #adv #howtohelp

В качестве регулярного напоминания.

Я веду телеграм канал @begtin и также пишу в телеграм каналы Национального цифрового архива @ruarxive о цифровой архивации и о проекте APICrafter @apicrafter по работе над каталогом структурированных данных. APICrafter - это коммерческий проект по предоставлению доступа данных через API.

Мои тексты здесь про работу данными, открытыми данными, устройство государства, цифровую архивацию, технологии и простой русский язык.

Также пишу в Facebook'е https://facebook.com/ibegtin и большие лонгриды публикую на своём сайте begtin.tech и в рассылке begtin.substack.com, в последнее время чаще в рассылке чем на сайте. У меня также всегда был резервный аккаунт в VK https://vk.com/ivbeg куда я пишу реже чем в телеграм.

У АНО Инфокультура которое я возглавляю есть телеграм канал @infoculture и рассылка (сейчас она переносится). О проектах Инфокультуры можно узнать на сайте https://www.infoculture.ru/projects/

Мы ведём каталог открытых данных (datacatalogs.ru), куда также можно направить ссылки на ресурсы которые туда не включены, но Вы их знаете и хотите добавить.

На Github'е:
- мой аккаунт https://github.com/ivbeg
- аккаунт Инфокультуры https://github.com/infoculture
- аккаунт Национального цифрового архива https://github.com/ruarxive/

Время сейчас такое когда многие каналы связи могут исчезать/разрушаться, поэтому остаёмся на связи.

#contacts #reminders

Я тут начал было только перечислять то какие проекты мы планировали делать до вот-этого-всего, но список получался очень грустный, и для поиска финансирования общественных проектов сложности в России уже давно. Но какие то планы можно вспомнить:
- День открытых данных - вели активную подготовку, всё было готово, отменили в последний момент потому что теперь всё это кажется малоцелесообразным. Хотя нам и надо как-то поддерживать сообщество и не терять связи с миром, но абсолютно непонятно теперь что будет дальше с открытостью государства. Вернее понятно что будет хуже.
- Прозрачный нефтегаз - проект который я проектировал ещё 3 года назад и к которому были планы вернутся, по систематизации того как добывающие компании платят налоги, поддерживают социальную инфраструктуру и тд. В мире есть несколько таких проектов, было желание сделать его и в России. Будет ли он актуален? Сомневаюсь
- Государственные НКО - у меня на руках уже с полгода лежит доклад дописанный на 80% о том как из госбюджета государство раздаёт средства госНКО для выполнения государственных функций. Важная была тема в мирное время, сейчас уже кажется неактуальным. Как бы вообще траты бюджета не закрыли.

Это не полный список. Ещё остались система мониторинга законотворчества, база муниципальных показателей, переделка нашего портала Открытые НКО (openngo.ru) с наполнением новыми данными и многое другое.

Но теперь всё это кажется проектами из другого мира. Что можно будет делать в нашей новой реальности? Самое главное мне представляется архивацией данных, сайтов, цифрового наследия которое сейчас исчезает. На всё это никогда не было финансирования в России и сейчас тоже это проблема его найти. Но в плане исторической ценности - это важнейшее направление.

По крайней мере в том что касается некоммерческих проектов.

#thoughts #projects #infoculture

Новости проекта на 23 марта 2022 года

- расширили наши ресурсы хранения двумя SAS дисками по 14TB для нашего сервера хранения
- приобрели диск на 14TB и Synology Diskstation420j в качестве промежуточного хранилища (потребуется ещё 3 аналогичных дисков)
- продолжаем работу над запуском новой версии сайта с базой знаний, обязательно подключим всех кто выражал желание помочь в её создании.

Текущие архивационные кампании
- сайты заблокированных СМИ: сохранены colta.ru, theins.ru, paperpaper.ru, agentura.ru, news.doxajournal.ru. Все загружаются в общедоступное хранилище. Общий объём около 100GB
- Эхо Москвы: архив сайта доступен для выгрузки по запросу и медиа-архив загружается в промежуточное хранилище с разделением по программам. К сожалению, заняло больше времени чем ожидалось из за необходимости параллельно архивировать многие другие ресурсы
- начата кампания по архивации сайтов имеющих культурную ценность. Чуть позже они будут добавлены в план архивации.
- начата кампания по архивации Instagram аккаунтов официальных лиц. Она идёт с большим трудом из-за ограничений Instagram.

#digest #archives #webarchival #digitalpreservation

Для тех кто интересуется цифровой архивацией, поделюсь презентацией на эту тему с которой я в разных вариациях выступал в прошлом году [1]

Там есть ответы на многие вопросы о том какие инструменты существуют, для чего они нужны, что такое формат файлов WARC, как работают веб-архивы и многое другое.


Ссылки:
[1] https://www.beautiful.ai/player/-MyrA7JYDeVnxU1lqQlA

#webarchives #digitalpreservation #archives

Полезное чтение про данные
- Hello Datasphere — Towards a Systems Approach to Data Governance [1] о системном подходе к регулировании датасферы и её отличия от других сфер регулирования. Полезный текст для тех кто думает о том "как нам жить дальше" с регулированием рынка данных
- What is Data Ingestion? | The Definitive Guide [2] что такое загрузка данных, неплохой разъясняющий текст описывающий отличия загрузки данных о событиях и данных в виде батчей.
- IATIConnect [3] свежая платформа для обсуждения работы с данными о международной помощи. Несколько оторвано от российских реалий, но неразрывно связано со всеми странами на территории которых идут военные конфликты и которым оказывается гуманитарная помощь
- GAIA-X [4] европейский проект по стандартизации управления и доступом к данным в облаках. Европейская бюрократия медленная и редко рождает инициативы быстрые к практическому применению, но польза в них бывает.

Ссылки:
[1] https://medium.com/@thedatasphere/hello-datasphere-towards-a-systems-approach-to-data-governance-d602f96c9e1d
[2] https://medium.com/operationalanalytics/what-is-data-ingestion-the-definitive-guide-97be6ed86f27
[3] https://iaticonnect.org/
[4] https://www.gaia-x.eu/

#opendata #data #dataregulation #regulation #reading

Кстати, вот вопрос, про Яндекс.Облако я уже писал что они цены повышают, недавно на CNews была статья про повышение цен Selectel и Datafort. А что с MailRu Cloud который теперь VK Cloud ?

Последний раз они что-то в своём блоге писали в сентябре 2021 г., последняя новость была в ноябре 2021 г. ну и странно что цены не повышают. Или повышают, но молчат?

Просто интересно "бобик сдох" или мы ещё от него чего то ждём? А то выбор между хостинг провайдерами в России невелик, тревожно за родину. Да и в целом с облачными сервисами обработки данных совсем негусто, хоть на китайские переходи, за юани.

#cloud #hosting #data #question

В рубрике интересных продуктов для работы с данными - Meilisearch [1] система поиска с открытым кодом написанная на Rust и чья команда в январе 2022 года получила $5M инвестиций на создание облачного продукта. Обещают поддержку любого языка использующего пробелы для разделения слов, поддерживают китайский (что сейчас особенно актуально в России) и имеют кучу интеграций. На Github у них почти 24 тысячи звезд [2] и растущая популярность. Пока ещё не обгоняют ElasticSearch, но уже показывают высокую востребованность.

У них же хорошее сравнение с другими поисковыми системами, по ощущениям весьма правдивое [3].

Ссылки:
[1] https://www.meilisearch.com/
[2] https://github.com/meilisearch/meilisearch
[3] https://docs.meilisearch.com/learn/what_is_meilisearch/comparison_to_alternatives.html

#opensource #startups #search #data

Не стоит полагать что политическая открытость даже в развитых странах даётся легко. В Австралии есть фонд OpenAustralia [1] которые много лет создают и развивают проекты по прозрачности власти. Например, они создали проект They Vote For You [2] с трекингом голосов каждого члена палаты представителя и сенатора.

Один из сенаторов, Andrew Bragg, нанял юристов которые теперь пишут угрозы фонду (юридические угрозы, конечно), а через комиссию по делам НКО и вовсе пытаются его ликвидировать [3]. Причина очень проста, сенатору не нравится то в каких формулировках указываются факты его голосования [4] поскольку в проекте указаны самые разные категории вроде "Creating a federal Anti-Corruption Commission" или "Increasing funding for public schools" и там ещё много другого с формулировками чего сенатор оказался не согласен.

Конечно, это всё проблемы парламентской демократии. В России все подобные проекты исчезли примерно 10 лет назад. Отслеживать голосования депутатов было бессмысленно потому что типовое голосование выглядело так: партия власти, или голосует единогласно за, или единогласно не голосует.

Проектов по парламентской открытости в мире много, ко многим из них часто возникают вопросы их политической ангажированности, но в чём их создатели точно правы - в том что без открытости парламентов доверие к ним сильно ограничено.

Ссылки:
[1] https://www.oaf.org.au
[2] https://theyvoteforyou.org.au
[3] https://www.oaf.org.au/2022/03/14/senator-for-nsw-andrew-bragg-threatens-openaustralia-foundation-with-legal-action/
[4] https://theyvoteforyou.org.au/people/senate/nsw/andrew_bragg

#opengovernment #opengov #australia

Новые порталы открытых данных в мире

- radars.mosti.gov.my - портал открытых данных для исследователей от Министерства науки, технологий и инноваций Малайзии
- dataportal.ponderful.eu - портал открытых данных европейского проекта Ponderful о акватических экосистемах
- madih.hu.edu.jo - портал цифрового культурного наследия Иордании, в основном неструктурированные данные, на портале открытых данных
- www.hetor.it - проект по каталогизации открытых данных в сфере культурного наследия в Италии
- opendata.heilbronn.de - портал открытых данных города Хайльбронн, Германия
- datos.legislaturaneuquen.gob.ar - портал открытых данных законодательного собрания Аргентины
- dados.ufscar.br - портал открытых данных Университета Сан Карлоса в Бразилии

#datacatalogs #opendata #dataportals #data

На фоне многочисленных сервисов которые отключают оплаченные аккаунты российским пользователям не могу не выделить beautiful.ai которые не только ничего не отключают, но даже на запрос об альтернативных способах оплаты перевели мой аккаунт в статус образовательного что позволяет пользоваться ими бесплатно. Для тех кто не знает, beautiful.ai - это онлайн редактор презентаций с большим числом готовых шаблонов позволяющих делать презентации простыми и чистыми (clean and simple).

Вот, например, моя презентация про технологии внутри Datacrafter с одной из конференций https://www.beautiful.ai/player/-MyuEBYfxB9mV7TacFFI

Так что если Вы делаете презентации и можете оплачивать сервисы в USD, то всячески рекомендую Beautiful AI.

#presentations #visualizations #services

К вопросу "о табунах ИТшников покидающих страну" и мерах которыми наше государство пытается удержать оставшихся. Я вот как оставшийся, и ИТшник, и работодатель для ИТшников много что могу сказать.

Не все понимают природу этого явления, а отсюда и предлагаемые решения довольно бессмысленные.

В России в части бизнеса некомфортно почти всем. Хотя возможностей и перспектив по многим направлениям было много, но есть какие-то базовые тренды которые не менялись:
- ужесточение ответственности работодателей (уголовные дела за задержку зарплаты)
- сохранение "псевдосоциального гос-ва". Псевдо потому что процедуры увольнения с 3-мя окладами привели лишь к тому что работодатели стали заключать договора с самозанятыми и ИП
- нагрузка на компании непрофильным. Например, почему работодатель должен отвечать за приход сотрудника в военкомат? Почему у нас до сих пор работодатели являются принудительными налоговыми агентами, а работники не сами платят налоги и отчисления в фонды? И такого пруд-пруди
- невозможность кредитования. Это на словах нам обещают льготные кредиты, а на практике пойди получи его, это реально сложно для малого и микробизнеса под более менее разумный процент. Чаще всего директора/владельцы берут личные кредиты на себя
- штрафы и проверки. Все эти разговоры про то "давайте мы Вам заморозим проверки на 1-2 года" звучат примерно так. "Давайте мы пару лет вашу кровушку пить не будем, зато потом оттянемся". А может вообще кровь не надо пить и все эти проверки отменить раз и навсегда?

Это всё взгляд только со стороны работодателя в ИТ. А ещё есть взгляд от ИТ специалиста где возникают вопросы по карьере, востребованности, перспективам, возможности работать с самыми последними технологиями и так далее. Вместо этого призывы в кибервойска, "шутки" про создание шарашек для ИТ, общая массовая депрессия у всех кому текущий военный и гуманитарный апокалипсис противны.

В итоге у нас есть отрасль которая хреново живёт в репрессивной модели госуправления, а эта репрессивная модель меняется только в худшую сторону. Из российских официальных лиц только разве что министр цифры Максут Шадаев более-менее последовательно говорил про поддержку отрасли. Почти все остальные, включая не-буду-называть-по-именам, окологосударственных лоббистов, вызывают только оторопь. И не только у меня. Вот эти мероприятия вроде заседания комитета по ИТ при ГосДуме посылают недвусмысленный сигнал "валите как можно скорее! видите, мы даже Шпака и Касперскую позвали чтобы Вам на это ещё прозрачнее намекнуть".

Поэтому я лично прекрасно понимаю тех кто уезжает, хотя и сам вместе с теми кто остаётся.

Нет другого пути восстановления не только ИТ, но и всех остальных отраслей экономики, кроме резкого и безальтернативного и безоговорочного снижения репрессивности государственной машины. Без резкой либерализации всей экономической деятельности.

Но возможно ли это? Вот в чём вопрос.

#thoughts

Голосуем за планы на будущее: уезжать, оставаться, что делать?
anonymous poll

Не уезжаю потому что немогу – 436
👍👍👍👍👍👍👍 35%

Не уезжаю принципиально – 301
👍👍👍👍👍 24%

Не уехал(-а), но планирую до конца года – 236
👍👍👍👍 19%

Я уже уехал(-а), не вернусь – 143
👍👍 11%

Не уехал(-а), но планирую в 1-2 месяца – 101
👍👍 8%

Уехал(-а), но вернусь – 34
👍 3%

👥 1251 people voted so far.

Если вы владете JavaScript или SvelteKit, вы можете помощь проекту Национального цифрового архива, который спасает всё то, что сейчас закрывается.

В связи с архивацией Телеграм каналов, чатов, возникла задача:
4. Визуализация и поиск по JSON-архивам каналов и чатов в Telegram.
Оригинал задачи: https://yangx.top/ruarxive/22


Позволил себе запилить небольшой PoC
Сделано на SvelteKit, используя ES6 (Vanilla JS) с простым входом даже для не-фронтендеров.
👉 https://github.com/roboteam-digital/telegram-json-ui

Demo:
https://telegram-json-ui.netlify.app

Если есть желание помочь, пожалуйста, дополните список минимально необходимых фич, чтобы проект был востребован:
https://github.com/roboteam-digital/telegram-json-ui#todo


💎 Для тех кто задаётся вопросом «Зачем это всё?», ответ тут:
https://yangx.top/ruarxive/5

TL;DR: В связи с последними событиями, ресурсы массово закрываются, поэтому АНО Инфокультура в ускоренном порядке архивирует сейчас всё что ещё можно спасти.
В т.ч. общественно-важные Телеграм-каналы.

Microsoft выпустили Open Data Social Framework [1] большой документ в помощь тем кто собирается достигать общественных и социальных целей с использованием открытых данных. Авторы его Open Data Policy Lab и сам документ подготовлен в рамках вот уже 2-х летней программы.

Microsoft молодцы в последовательной политике открытости, многие опасались что Github'у сильно похужеет после покупки и что компания, в принципе, не про открытость. Но в части открытых данных они и другие BigTech компании делают много полезного. Конечно, всегда не так много как хотелось бы, но много.

Ссылки:
[1] https://news.microsoft.com/open-data-social-impact-framework/

#opendata #microsoft #data

Ничто так не ускоряет выезд IT-специалистов как такие вот "законопроекты".

Тем временем, компания Евгения Пригожина инициирует закон, который затрудняет выезд IT-специалистов за границу и найм их в зарубежные компании.

Минцифра и комитет по информационной политики ГД выступили с пресс-релизами резко против инициативы по ограничению выезда ИТшников. Но мы то понимаем что такое "вбросы для оценки общественного мнения". Здесь не пресс-релизы нужны, а немедленный арест сотрудников Конкорда которые это публично предложили.

Статью для них, я не сомневаюсь, следователи подберут. Что, не арестуют? Хреново ребята, даже репрессивная машинка в государстве не работает уже. Произнести слово "война" нельзя, а предложить закрыть в стране миллионы людей значит можно.

#thoughts

Результаты опроса, выводы можете сделать сами.

Не уезжаю потому что немогу – 282
👍👍👍👍👍👍👍 35%

Не уезжаю принципиально – 207
👍👍👍👍👍 26%

Не уехал(-а), но планирую до конца года – 156
👍👍👍👍 20%

Я уже уехал(-а), не вернусь – 76
👍👍 10%

Не уехал(-а), но планирую в 1-2 месяца – 53
х👍 7%

Уехал(-а), но вернусь – 25
👍 3%

👥 799 people voted so far.

Свежее исследование ОЭСР The Strategic and Responsible Use of Artificial Intelligence in the Public Sector of Latin America and the Caribbean [1]
о том как ИИ используются в Южной Америке и на Карибах и о том какая реакция на такое использование возникает.

Много кейсов и сравнений, в соответствии с принципами ОЭСР для ИИ, принципами ИИ для G20 и ещё много чего. Множество примеров и, забегая вперед, в лидерах там Колумбия, Мексика, Уругвай и кое-где Аргентина.

От наших реалий это кажется далёким, но не стоит забывать что внедрение ИИ никуда не делось, и социальное неравенство от несправедливого его применения тоже никуда не исчезает.

Ссылки:
[1] https://www.oecd-ilibrary.org/governance/the-strategic-and-responsible-use-of-artificial-intelligence-in-the-public-sector-of-latin-america-and-the-caribbean_1f334543-en

#ai #oecd #reports