Самое частое что я наблюдаю на большинстве хакатонов - это то что многие приходящие участники, или не определились с идеей и могут потратить на поиск несколько часов, или не владеют/не знают о существовании ключевых инструментов которые позволяют очень быстро вести разработку.

Вот некоторые инструменты, полезные не только на хакатонах:

Огромный список программ скрейперов помогающих извлекать данные из веб-сайтов. Это инструменты на всех языках программирования и несложные в освоении
Ссылка: https://github.com/cassidoo/scrapers

Быстрая визуализация табличных данных с помощью React Visualized. Например, Вы берете любой более-менее большой набор данных в CSV и делаете над ним надстройку.
Ссылка: https://github.com/bvaughn/react-virtualized

Обработка текста с командной строки. Большая подборка инструментов позволяющих быстро обрабатывать CSV, JSON, XML и другие структурированные документы
Ссылка: https://github.com/dbohdan/structured-text-tools

Быстрая сборка статического сайта с использованием "Jekyll"
Ссылка: https://jekyllrb.com/

Малоизвестный в России открытый движок JKAN для быстрой сборки статического портала открытых данных. Очень просто устроен, очень быстро разворачивается.
Ссылка: https://jkan.io/

#opendata #hackathons

Одна из важных областей применения открытых данных - это расследования на открытых источниках информации. Эти расследования используют, обычно, не только открытые данные, но и данные полученные другими путями или общедоступную информацию, не обязательно под свободными лицензиями.

Это направление называется Open Source Intelligence (OSINT) [1] и в последние годы оно особенно активно используется государственными разведслужбами и частными агентствами.

Одни из основных источников информации для расследований являются открытые базы данных. Расследование о "латинице в госзакупках" или "слепых закупках" [2] построено как раз на OSINT.

Аналогично расследования проводят и многие организации занимающиеся публичными расследованиями, вроде OCCRP.

Но не все знают о том как из открытых источников используются скрытые знания.

Например, Justin Seitz, автор блога по автоматизации расследований регулярно пишет про применение баз данных.
Я могу порекомендовать к прочтению, как минимум, две его краткие заметки:
Vacuuming Image Metadata from The Wayback Machine [3] и Using Python to Mine Common Crawl [4]

В первом случае это извлечение метаданных из глобального интернет-архива, а во втором из крупнейшего слепка всех веб-страниц в интернете.

В обоих случаях эти источники данных используются для сокрытия интереса исследователя к объекту исследования. Например, часто чтобы собрать информацию о той или иной организации необходимо провести анализ данных. В этом случае, при использовании открытых источников информации - исследователь может скрыть свой интерес к организации и предотвратить контрмеры.

Извлечение данных из Archive.org и из Common Crawl - это один из способов подобного сокрытия исследования.

Я не открою большого секрета в том что, иногда, чиновники задающие вопросы "А зачем Вам эти данные? Их же будут использовать против нас" бывают правы. Открытые данные хорошо ложаться в идею сокрытия интереса расследователя от расследуемого. Опубликование данных о госзакупках в России, например, привело к значительному всплеску интереса к публичными расследованиям.

Аналогично и во многих других темах, открытые данные активно применяются для самых разных задач, исследования инфраструктуры, подготовки преступлений и многого другого. В статье "The Dark side of Open Data" [5] Matteo Mauri, Alessio Mulas, Davide Ariu пишут о возможностях применения открытых данных в преступных целях.

Что еще нагляднее видно из их презентации [6].

О чем пишет и Abhinav Biswas в заметке "https://Open Government Data Analysis to retrieve OSINT insights into Critical Infrastructure security.linkedin.com/pulse/open-government-data-analysis-retrieve-osint-insights-abhinav-biswas" [7]

Такие открытые проекты как Censys [8] с самого начала настроены именно на Open Source Intelligence, равно как и множество других, менее известных открытых баз данных и основанных на них инструментов используются так же.

Открытые данные в мире всегда находятся в противостоянии с приватностью. Например, в соревновании Outbrain click prediction [9] участникам соревнования по анализу данных явным образом запрещается их повторно идентифицировать, проводить реидентификацию.

В Австралии уже рассматривается законопроект об ответственности за реидентификацию анонимизированных данных [10] причем презумпция невиновности в данном случае не действует.

В качестве итога хочу завершить той мыслью что открытость не означает вседозволенность. Если улица открыта для прохода - это не означает что она доступна для того чтобы на ней гадить. В мире где технологии развиваются гораздо быстрее чем отношения в обществе мы очень рискуем оказаться когда забыв о приватности и этике использования больших данных мы столкнемся с тем что открытость в личном станет приглашением к насилию.

Баланс приватного и открытого - это важнейшая тема на повестке. Это же одна из причин почему я считаю что существование тематики открытых данных самой по себе в России невозможно без диалога со сторонами отвечающих за приватность и безопасность данных. И "Совет по открытым данным" при Правительственной комиссии в текущей своей форме не имеет сколь бы то ни было шансов на системное развитие темы открытых данных именно по причине игнорирования баланса между открытостью и приватностью.

Ссылки:
[1] https://ru.wikipedia.org/wiki/OSINT
[2] https://clearspending.ru/media/analytics/Open%20data%20as%20a%20tool%20for%20civil%20society%20and%20expert%20control%20in%20public%20procurement.pdf
[3] http://www.automatingosint.com/blog/2016/12/vacuuming-image-metadata-from-the-wayback-machine/
[4] http://www.automatingosint.com/blog/2015/08/osint-python-common-crawl/
[5] http://ceur-ws.org/Vol-1748/paper-19.pdf
[6] https://pralab.diee.unica.it/sites/default/files/The_dark_side_of_open_data_Mauri_KDWEB_2016_609x914.pdf
[7] https://www.linkedin.com/pulse/open-government-data-analysis-retrieve-osint-insights-abhinav-biswas
[8] https://censys.io/
[9] https://www.kaggle.com/c/outbrain-click-prediction
[10] http://www.aph.gov.au/Parliamentary_Business/Bills_Legislation/Bills_Search_Results/Result?bId=s1047
[11] http://www.zdnet.com/article/australian-data-re-identification-defendants-will-need-to-prove-their-innocence/


#opendata #osint

Не зря активисты сохраняли данные и сайты федеральных департаментов США. Дональд Трамп обозначил реформу - http://www.cnbc.com/2017/03/13/trump-to-sign-executive-order-aiming-to-see-where-money-is-being-wasted-in-government-spicer-says.html в которой многие из ведомств могут исчезнуть.

Ведомства не жалко, данные жалко!

#opendata

Techcrunch пишет что в США следователи установили что за взломом Yahoo стояло 4 россиян которых уже обвиняют в связях с российскими спецслужбами [1].
Странно что в этой цепочке они еще не дошли до главных бенефициаров взлома, а они то точно должны быть за пределами РФ. Особенно если вспомнить что акции Yahoo резко упали после анонса утечки и кто-то вполне на этом заработал.

Самое важное в этой заметке - упоминание что между США и Россией нет договора об экстрадиции поэтому наиболее вероятны новые санкции как ответные действия.

Ссылки:
[1] https://techcrunch.com/2017/03/15/doj-accuses-two-russian-spies-and-two-criminals-of-2014-yahoo-hack/

#privacy #security

В России из несиловых ведомств накапливающих большие данные одним из наиболее закрытых можно смело назвать Минюст России. И дело не только в открытых данных, но и в недолговечности того что они уже публикуют.

В разделе открытые данные [1] на сайте Министерства выложено 6 наборов данных минимального объема и ни один из них не относится к данным которые содержаться в их информационных системах, неполный перечень которых опубликован в разделах "Правовые информационные системы" [2] и "Перечень государственных информационных систем" [3].

Ни одна из этих систем не является системой ограниченного доступа, информация в них так или иначе общедоступна, но не в форматах открытых данных.

У Минюста России есть план реализации концепции открытости [4] согласно которой в декабре 2016 года должна была быть обеспечена выгрузка данных в машиночитаемых форматах. Но, в декабре 2016 года вышел их приказ N305 от 26.12.2016 согласно которому все перенесено на декабрь 2017, а ряд пунктов просто исключены [5].

Обратите внимание что концепция открытости должна утверждаться с учетом совета по открытым данным и правительственной комиссии по координации деятельности открытого правительства, а изменения принимаются внутренним приказом Минюста.

А если поднять их план информатизации то можно обнаружить что даже перечни информационных систем у них на сайте неполны [6].

Беглый аудит контрактов Минюста показывает что в требованиях к модернизации и разработке систем открытые данные у них нигде не упоминались. Пример - система АИС УНРО. Последний контракт на ее модернизацию был заключен 16.10.2015 и в тексте контракта отсутствуют требования по раскрытию информации [7] или на примере ФГИС "Учет адвокатов" [7] где ТЗ также Главный вывод который можно из этого сделать в том что Приказ N305 - это лишь констатация ранней позиции Минюста в том чтобы не открывать данные настолько насколько это возможно.

И, наконец, "на закуску". Из системы регистрации отчетов НКО исчезли _все_ отчеты до 2015 года. И это уже вопрос не открытых данных, а принципиальной сохранности всего того цифрового что Минюст России хранит в своих системах и необходимости безусловно архивации всех накопленных материалов.

Ссылки:
[1] http://minjust.ru/ru/opendata_old
[2] http://minjust.ru/activity/databases
[3] http://minjust.ru/press/news/perechen-gosudarstvennyh-informacionnyh-sistem
[4] http://minjust.ru/sites/default/files/konechnyy_plan.docx
[5] http://minjust.ru/sites/default/files/izmeneniya_v_plan_myurf_po_realizacii_koncepcii_otkrytosti.pdf
[6] http://minjust.ru/sites/default/files/plan_informatizacii_minyusta_rossii_na_2016_god_i_planovyy_period_2017_-_2018_godov.pdf
[7] http://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=1770721141815000090
[8] http://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=1770721141815000084
[9] http://unro.minjust.ru/NKOReports.aspx?request_type=nko

#opendata #opengov #digitalpreservation

Почему я с каждым годом все критичнее отношусь к публичным предложениям Яндекса могу проиллюстрировать на последней их инициативе для ЦИКа - https://roem.ru/20-03-2017/245408/new-service-for-voters/

Яндекс _не предлает_ ЦИКу публиковать открытые данные избирательных участков и их регулярно обновлять.
Яндекс _предлагает_ ЦИКу загружать данные по избирательным участкам в их проприетарный Яндекс.Справочник откуда потом никто их как открытые данные не получит.

Яндекс не помогает общей экосистеме, Яндекс использует GR ресурс для замыкания инфраструктуры данных на себя.
Пока это еще какое-то время будет прокатывать,
но рано или поздно это придет к антимонопольному регулированию в Интернете и прямым жалобам конкурентов в ФАС и не только.

Подобное отношение - это лишнее подтверждение того что профессиональные продукты и этика не обязательно идут рядом.

Если делать регулярный рейтинг врагов открытых данных, то туда войдут не только некоторые Министерства, но и некоторые компании.

#opendata #yandex

Я вот недавно спрашивал зачем нужно архивировать данные. А теперь сам могу ответить. Минюст потерял все отчеты НКО до 2015 года в их реестре [1] . Теперь самый давний отчет там датируется 01.01.2015

А МИД России недавно обновляли свой сайт и старые ссылки на их страницы более не работают. Новый сайт [2] устроен по другому и многие базы данных и наборы данных которые там были теперь очень сложно найти. А копию старого сайта в МИДе не сохранили.

Поэтому во всех моих мыслях про архивацию государство стоит на первом месте и архивацию данных тоже.

5 лет назад я писал в Московских новостях о том к чему привело объединение всех сайтов МВД под один домен mvd.ru [3]

При этом я не могу не оговориться что в подавляющем числе случаев потери данных - это отсутствие культуры, а не злой умысел.

Что делать в этой ситуации? Создавать архивы всех органов власти. Часто они нужны им самим же, когда материалы теряются и найти их невозможно. Но ждать когда этим займется Росархив лично я уже давно не готов

Ссылки:
[1] http://unro.minjust.ru/NKOReports.aspx?request_type=nko
[2] http://www.mid.ru
[3] http://www.mn.ru/oped/columns/82477

#opendata #opengov #digitalpreservation

Пришла пора написать публично о изменениях в моей жизни - я с марта месяца выступаю в роли члена и председателя экспертного совета по информационным технологиям при Генпрокуратуре РФ. Правильнее сказать что это совет по цифровой трансформации.

Анонс уже прошел еще 20 февраля http://genproc.gov.ru/smi/news/genproc/news-1165272/
но я до поры до времени его не афишировал.
Чуть позже я напишу подробнее о том чем будет заниматься совет. Но общая повестка я уверен уже понятна - подружить консервативное ведомство с новой цифровой реальностью.

Задача непростая, но первые шаги уже делаются.

Обратите внимание на слова Генпрокурора на недавно прошедшей коллегии
...
Будущее объективного учета преступлений за высокими технологиями, исключающими любые махинации со статистикой.
Но цифровые технологии должны применяться не только в данной сфере. Прокурорам следует готовиться к тому, что в ближайшие годы мы начнем использовать их на всех направлениях надзора.
Месяц назад моим приказом создан Экспертный совет при Генеральной прокуратуре по вопросам информационных технологий. Он объединил специалистов, признанных лучшими не только в нашей стране, авторитетных в мировом масштабе. Реализация на практике их идей откроет для нас дополнительные возможности осуществления надзора, определит принципиально новые его направления в сфере IT (ай-ти).
Поэтому, уважаемые коллеги, начинайте учиться сами и учить своих подчиненных.
...

Полный текст выступления
http://genproc.gov.ru/upload/17%2003%2013%20%D0%94%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4.doc

Моя должность общественная, это даже скорее не должность, а роль накладывающая ответственность и обязанность во взаимодействии с ИТ сообществом в принципе.

Если Вы журналист и у Вас будут вопросы касательно деятельности совета, то пишите мне в телеграм t.me/ibegtin, по почте на [email protected] или в фэйсбуке и я буду готов рассказать подробнее в форме заметки или интервью.

Если у Вас есть идеи или вопросы по ИТ в контексте органов прокуратуры, то пишите мне на [email protected] и туда же входят любые идеи которые у Вас могут возникнуть про органы прокуратуры в контексте ИТ, новых технологий и интернета. Лучше почтой, продублировать, тогда я точно ничего не потеряю. Я не могу пообещать что все идеи и предложения сразу получат отклик, но они точно будут прочитаны и донесены до руководства ГП.

Ну а "на закуску" ссылка на канал Генпрокуратуры в Телеграм'е - https://yangx.top/genprocrf - подписывайтесь и пишите идеи если вдруг Вам бы хотелось что-то новое узнать в том числе про деятельность прокуратуры, открытые данные и тд

#genproc #opendata #opengov #digitalgov

И вдогонку к новости - в экспертном совете при ГП я являюсь председателем и вот первая новость на сайте в которой рассказано подробнее о заседании совета http://www.genproc.gov.ru/smi/news/genproc/news-1177071/

Обязательно обратите внимание что сейчас Генеральная прокуратура собирает идеи от граждан и бизнеса по тому как реорганизовать свою работу в цифровом мире - если такие идеи у Вас есть, пишите на [email protected]

#opendata #genproc #digitalgov

Для тех кто любит и ищет новые датасеты по самым разным темам - мы выложили на хаб открытых данных обновленный список дипломатов в рангах послов и посланников. Датасет можно скачать в CSV тут [1] и там же он есть в XLSX формате, а сами данные собраны с сайта МИД России [2]

Но не просто собраны, а расширены. Набор включает дополнительные атрибуты, такие как:
- фамилия, имя, отчество по отдельности
- пол
- этническая принадлежность (насколько можно оценить по ФИО)
- возраст на 27 марта 2017 года
- возраст в котором получил текущий ранг

Было еще желание собрать биографии и показать траектории назначения послов, но этих данных на сайте МиД России маловато, надо собирать их из многих источников.

Откуда данные по полу и по этносу? Много лет назад, в 2008 году я сделал несколько простых алгоритмов по распознаванию пола и, отчасти, этнической принадлежности по ФИО.

Периодически с тех пор я натравливал его на списки сотрудников разных органов власти, вот и, к примеру, на список послов.

Если у Вас есть другие интересные наборы данных по персонам пригодных для гендерного, этнического или возрастного анализа - пишите мне

Ссылки:
[1] https://hubofdata.ru/dataset/midrf-ambassadors
[2] http://mid.ru/activity/shots/personnel/extraordinary_ambassador

#opendata #opengov #midrf

Вышло исследование "Access to New Data Sources for Statistics: Business Models and Incentives for the Corporate Sector"
за авторством Thilo Klein и Stefaan Verhulst посвященное тому как коммерческие компании предоставляют принципиально новое знание о происходящих социальных процессах и то как эти данные используются на практике.

Примеры таких инициатив:
- Telefonica Smart Steps [2] (теперь стало LUCA [3]) - данные телекомов
- Orbital Insight [4] - мониторинг бедности со спутников и с анализом данных
- Open Diversity Data [5] - общественный проект по добровольному раскрытию компаниями информации о их национальном и гендерном составе. Например, Google [6] и Microsoft [7] раскрывают подобную информацию.

В исследовании есть много других примеров. И описание подхода Trusted Third Party позволяющее использовать данные третьих сторон для подсчета статистики.

Ссылки:
[1] http://www.paris21.org/sites/default/files/Paper_new-data-sources_final.pdf
[2] http://dynamicinsights.telefonica.com
[3] https://luca-d3.com
[4] https://orbitalinsight.com
[5] http://opendiversitydata.org
[6] https://www.google.com/diversity/
[7] https://www.microsoft.com/en-us/diversity/inside-microsoft/default.aspx#epgDivFocusArea

#opendata #statistics

Несколько лет жесткого и, иногда, бездумного регулирования Интернета в России оказалось достаточно чтобы теперь при любом намеке на госрегулирование крупные игроки сбегались в СРО. Вот и с "большими данными" такая же история. Mail.ru, Яндекс, Ростелеком и многие банки собираются создать профильное СРО чтобы лоббировать свои интеерсы [1].

Шаг для них правильный, возможно, единственно возможный. Но, как и во всех подобных ситуациях важно помнить что их интересы - это интересы крупного бизнеса. Давний вопрос, а кто же представит интересы граждан? Остается без ответа.

Среди депутатов нет тех кто понимает что такое "большие данные", Общественная палата тоже не является таким институтом.

А структуры защищающие права потребителей в России также неживые. Может опять оказаться так что государство, со всеми его избыточными регуляторными амбициями окажется единственным защитником общественных интересов.

Возможно.

Ссылки:
[1] http://kommersant.ru/doc/3260507

#opendata #personaldata #bigdata

Примеры исчезающих сайтов или зачем нужна веб-архивация.

В 2013-2014 годах когда шла подготовка к Олимпиаде и само грандиозное мероприятие десятки организаций были созданы и десятки сайтов для них также были созданы.

Тогда же с начала 2014 года я начал их архивировать.
Прошло 3 года и значительной части этих сайтов уже либо не существует, либо там нет тех материалов что были раньше. Вот примеры:

- Коллекция "Сочи 2014" Bosco http://sochi2014.bosco.ru/ сайт исчез, теперь там редирект на основной сайт Bosco с частью материалов с сайта (описанием коллекции)
- Управление Олимпийскими Объектами http://www.olimp-ps.ru/ был сайт общества с ограниченной ответственностью "Промсервис", теперь какой-то украиноязычный блог.
- Сайт Росгидромета по погоде на Сочи-2014 http://meteosochi2014.ru/ исчез и вместо него какой-то блог
- Волонтерский центр Томского политехнического университета http://2014.tpu.ru/ более не открывается
- Спецпроект компании Кока-кола по Сочи-2014 http://sochi2014.coca-cola.ru/ не открывается
- Спецпроект Сбербанк-Сочи-2014 http://sochi2014-sberbank.ru/ все материалы удалены, сайт заполнен непонятно чем
- Сайт с информацией о логистике Информация о логистике http://tdog2014.com отсутствует, вместо него запаркованная страница
- Информация о вещании из Сочи-2014 http://panoramahd.ru/ закрыт паролем
- Информация о переселении жителей Сочи http://www.relocation.olympdep.ru/ более не работает
- Информация о деятельности администрации Краснодарского края в предверии Олимпиады Сочи-2014 http://www.olympdep.ru/ вместо него какой-то сайт визитка
- Госкорпорация Олимпстрой http://www.sc-os.ru сайт полностью переделан с 2014 года, доступность материалов надо тщательно перепроверять
- Спецпроекты Оргкомитета http://job.sochi2014.com и http://culture.sochi2014.com сейчас все недоступны

Это не полный список, это список того что я успел заархивировать в 2014 году. Ресурсов у меня тогда было маловато и вся коллекция в сжатом виде около 24 гигабайт.

Я примерно в то же время проводил тотальную архивацию всех ресурсов РИА Новостей и больше сил приходилось на них. Кстати, многие из них также не пережили последние 3 года.

Причем чаще все потери всех ресурсов - это отсутствие культуры, а не злой умысел. Многих просто не волнует что становится с архивными проектами, а еще больше владельцев просто не знают что делать.

Поэтому у меня есть даже такие странные явления как заархивированные сайты МММ (среднее время жизни каждого из них - 1 год), сайты банков поскольку каждый день все они под угрозой и многое другое.

Если Вы знаете какие-либо интернет-ресурсы имеющие культурную ценность и которые могут исчезнуть в любой момент - пишите мне на [email protected] и он будет сохранен.

#digitalpreservation #archival

Я поднял сейчас свои самые ранние архивы сайтов которые я начинал делать в 2012 году и выяснилось
что с 2012 года исчезло не менее 73 государственных или связанных с государством сайтов и порталов. Причем эти 73 - это только по результатам проверки доступности ранее заархивированных сайтов. Это те 73 архивы которых были созданы. Надо полагать что реальные потери составили многократно большее число сайтов и материалов.

Причина этого банальна - в России нет практики архивации цифрового контента, нет государствен
ной цифровой архивной службы, нет обязательной архивации всех документов, всей переписки госслужащих.

Вот тут полный список всего что было сохранено в 2012 году https://docs.google.com/spreadsheets/d/1wQoBFSvEWoUMubqUj3t2q3AaUUFash7RKX2aJZWSBcE/edit#gid=0

И вот лишь некоторые примеры теперь уже несуществующих сайтов, но копии которых сделаны:
http://01-112.ru/ Архив сайта - Оказание помощи пострадавшим в ДТП
http://2004.kremlin.ru/ Архив сайта Администрации Президента до 2004 года
http://2018.minsvyaz.ru Архив сайта Обсуждение целей Минкомсвязи России 2012—2018
http://contract.mil.ru/ Архив сайта контрактной службы Минобороны России
http://duty.mil.ru/ Архив сайта военной службы Минобороны России
http://fssn.ru/ Архив федеральной службы страхового надзора (ныне расформированной)
http://g8finance.ru/ Архив сайта встречи G8 в 2006 году
http://kursk1943.mil.ru/ Архив проекта Курск 1943
http://lib.adm.gov.ru Библиотека Администрации Президента Российской Федерации
http://www.medvedev2008.ru Архив сайта кандидата в Президенты Медведева Д.А.
http://www.mgdf.ru Сайт конференции организованной Министерством Финансов Российской Федерации в 2010 году
http://presscenter.minsvyaz.ru Архив Связьэкспоком 2011 (конференции Минкомсвязь России)
http://roskart.rosreestr.ru/ Архив сайта Роскартографии
http://rosnedv.rosreestr.ru/ Архив сайта Роснедвижимости
http://rosreg.rosreestr.ru/ Архив сайта Росрегистрации
http://rost.ru Совет при Президенте по реализации приоритетных проектов
http://russianlang.ru/ Архив госпрограммы ФЦП "Русский Язык"
http://sovet.mil.ru/ Общественный совет при Минобороны России. Архив сайта
http://www.transport.spb.ru Архив сайта Комитета транспорта Санкт-Петербурга. Комитет расформирован в 2013 году
http://w3.rfbr.ru/ Архив сайта РФФИ до 2011 года
http://rosohrancult.ru/ Архив официального сайта Росохранкультуры
http://zhirinovskiy2012.ru/ Архив кандидата в Президенты Жириновского В.В. за 2012 год
http://210.minfin.ru Архив сайта празднования 210 летия Минфина

#digitalpreservation #archive

Open Aerial Map [1] - краудсорсинговый проект по сбору изображений показывающих Землю со спутников, самолетов и дронов. Уже более 3 тысяч изображений из 51 сенсора и от 46 поставщиков изображений.

Все накопленные изображения можно посмотреть с помощью онлайн инструмента OAM Browser [2], скачать и использовать по своему усмотрению.

На сайте нет информации даже о команде, о ней можно догадаться по репозиторию исходного кода [3] относящегося к HotOSM (Humanitarian OpenStreetMap Team) [4].

Ссылки:
[1] https://openaerialmap.org
[2] https://map.openaerialmap.org
[3] https://github.com/hotosm/OpenAerialMap
[4] https://www.hotosm.org/

#opendata #osm

Отличный проект Electricity Map [1] по визуализации импорта/экспорта электричества в Европе и доли возобновляемых источников энергии на энергобалансе стран.

У проекта открыт исходный код [2] и она работает на открытых данных собранных в том же репозитории кода. Основным источником данных послужил европейский портал прозрачности в энергетике ENTSOE [3].

Это не единственный проект по визуализации сетей в электроэнергетике. На том же проекте ENTSOE есть интерактивная карта всей энергосети Евросоюза [4] и европейской части России.

А у агентства EIA в США есть интерактивная карта их энергосистемы [5]. Вполне возможно что и в России есть аналоги таких проектов, но они явно не являются открытыми.

Ссылки:
[1] http://www.electricitymap.org
[2] https://github.com/tmrowco/electricitymap
[3] https://transparency.entsoe.eu/content/static_content/Static%20content/web%20api/Guide.html
[4] https://www.entsoe.eu/map/Pages/default.aspx
[5] https://www.eia.gov/beta/realtime_grid/#/status?end=20170413T02

#opendata #electricity

Сегодня был на пресс-конференции посвященной новым президентским грантам. В коей-то веки выбрался на мероприятие не поговорить, а послушать.

Многое понравилось, и про требования к прозрачности НКО, и про новый подход к оценке и про управление конфликтами интересов.

Я там хотел задать несколько вопросов о том чего я не услышал.

1. Будут ли требования ко всем грантополучателям публиковать результаты под свободными лицензиями Creative Commons и открытые данные когда создаются базы данных?
2. Будут ли открыты результаты работы НКО по грантам и будут ли публиковаться все их отчеты и иные материалы созданные в процессе?
3. Будут ли обязательно архивироваться все результаты всех грантов в цифровом архиве?

Приведу пример по последнему пункту. Новый сайт президентских грантов http://pgrants.ru сменил предыдущий http://grants.oprf.ru , но материалы со старого сайта не были перенесены. Теперь они доступны только по прямым ссылкам, например, https://grants.oprf.ru/grants2016-1/ но это еще надо догадаться и для незнающего человека старый сайт просто исчез.

Безусловно у меня была его копия и еще одну я делаю прямо сейчас по ссылкам которые остались в доступе, но сохранение результатов работы - это важная задача.

Про открытость НКО подробнее напишу в другой раз.

#opendata #opengov #grants

Илья Массух, директор Центра компетенций по импортозамещению в сфере ИКТ, у себя в фэйсбуке [1] приводит ссылку на годовалой давности судебное разбирательство управления Роскомндзора с МГТС по поводу "больших данных" [2]

Дело примечательное тем что там "всплывают" коммерческие отношения между МГТС и группой компаний рекламодателей по продаже им истории посещений сайтов браузеров пользователей.

Из разбирательства можно узнать что:
1. В МГТС была реализована система сбора данных о пользователях на базе решения ООО "Безопасный интернет" [3]
2. МГТС заключало следующие договора с компаниями о передаче им данных:
- от 31.07.2015 № D150075282 с ООО "АМБЕРДАТА" (договор действующий);
- от 29.08.2014 № 62104 с ООО "ОБМР" (договор приостановлен);
- от 29.10.2015 № 015s00081938 с ЗАО "Современные технологии рекламы"
(договор действующий);
- от 30.07.2014 № 61876 с ООО "Кроссмедиа - Видео Интернешнл" (договор
расторгнут 12.03.2015).
3. Штраф составил всего 30 тысяч рублей.

К этому судебному разбирательству я дополню:
1. ООО "Безопасный интернет" [3] напрямую почти не поставляет, но все же поставляет по госзаказу. Из их профиля на Госзатратах [4] можно найти 1 их контракт на 392 тысячи рублей [5].
2. Компания получала поддержку от РВК [6] и ее заявленная специализация была в фильтрации трафика.

Что важно в этой истории - в том что компании поставляющие контентной фильтрации и DPI включают в свои решения то возможность сбора истории посещений пользователей и передача рекламным компаниям.

Пользуясь Интернетом и без "закона Яровой" Вы всегда должны помнить что можно поднять всю историю Вашего посещения всех сайтов если они не поддерживают HTTPS или если Вы не работает через VPN.

Основные пользователи этой информации - рекламные холдинги, но, при необходимости, доступ к ней могут получить и правоохранительные органы. И, конечно, всегда есть риск что эту информацию могут украсть хакеры, слить сотрудники провайдера или тех компаний которым провайдер продает эти данные.

Если кратко - соблюдайте информационную гигиену, помните что наедине с компьютером рядом с Вами еще и Ваш провайдер.

Ссылки:
[1] https://www.facebook.com/ilya.massuh/posts/1099118726900363?pnref=story
[2] http://kad.arbitr.ru/PdfDocument/898157da-8f67-4c18-8a6b-d74d68162eac/A40-14902-2016_20160311_Reshenija%20i%20postanovlenija.pdf
[3] http://ubic.tech/
[4] https://clearspending.ru/supplier/inn=7704780110&kpp=770401001
[5] https://clearspending.ru/contract/0301100003713000013/
[6] http://www.rvc.ru/investments/innovative_projects/3027/?sphrase_id=2593

#personaldata #privacy

Giorgia Lupi: How we can find ourselves in data [1] отличное выступление о том как визуализировать данные о человеке наглядно, как рассказывать истории о себе на основе собственных данных.

У нее много отсылок на интересные проекты по визуализации. Например Dear Data [2] книга о визуализации данных и примеры работ группы из компании Accurat [3]

Ссылки:
[1] https://www.ted.com/talks/giorgia_lupi_how_we_can_find_ourselves_in_data
[2] http://www.dear-data.com/
[3] http://www.accurat.nyc/

#data #dataviz