Большая область работы в дата инженерии - это геокодирование данных. Причём относится это не только к датасетам, но ко всем цифровым объектам для которых привязка к конкретной геолокации необходима.

Например, в Dateno есть геопривязка датасетов к странам, макрорегионам и субрегионам (территориям). Она, в большей части, реализована относительно просто. Изначально полувручную-полуавтоматически геокодированы источники данных, а их всего около 10 тысяч и далее с них геопривязка транслируется на датасеты. Это довольно простая логика работающая со всеми муниципальными и региональными порталами данных и куда хуже работающая в отношении национальных порталов данных, реестров индикаторов, каталогов научных данных и так далее.

Главная причина в том что национальные порталы часто агрегируют данные из локальных, научные данные могут происходить из любой точки мира, а индикаторы могут быть как глобальными, так и локализованными до стран, групп стран и отдельных городов и территорий.

Для самых крупных каталогов данных у нас есть дополнительная геопривязка датасетов через простое геокодирование стран по внутреннему справочнику и использованию pycountry.

Но это всё даёт геокодирование, максимум, 40-60% всех датасетов и многие значимые наборы данных привязки к конкретной стране/региону могут не иметь.

Что с этим делать?

Один путь - это использовать существующие открытые и коммерческие API геокодирования такие как Nominatim, Geonames, Googe, Yandex, Bing и другие. У автора библиотеки geocoder они хорошо систематизированы и можно использовать её как универсальный интерфейс, но одно дело когда надо геокодировать тысячи объектов и совсем другое когда десятки миллионов. Кроме того остаётся то ограничение что может не быть отдельных полей с данными геопривязки у первичных датасетов. На национальном портале могут быть опубликованы данные у которых геопривязка может быть только в названии или в описании, но не где-то отдельным полем.

Вот, например, набор данных исторических бюджетов города Мальмо в Швеции на общеевропейском портале открытых данных. Там геопривязка есть только до страны поскольку сам датасет в общеевропейский портал попадает со шведского национального портала открытых данных. При этом в публикации на шведском портале открытых данных можно через API узнать что там есть геокод города Malmo через Geonames и есть он в оригинальных данных на портале данных города.

При этом геоидентифицирующие признаки могут быть разнообразны, начиная со ссылок на geonames, продолжая ссылками на справочники Евросоюза, тэгами и просто текстовым описанием на любом условно языке.

Другой путь в попытке применить LLM для геокодирования в идеале так чтобы отправить туда JSON объект с кучей атрибутов и запросом на то чтобы по нему получить код территории/страны по ISO 3166-1 или ISO 3166-2.

Что выглядит интересно ещё и потому что у всех API геокодирования есть серьёзные ограничения на число запросов и на их кеширование.

И, наконец, данные о геопривязке могут быть в самих данных датасета, но это самая дорогая операция поскольку требует уже принципиально других вычислительных усилий.

#opendata #dateno #geodata #thoughts

В Москве прошел VI федеральный ИТ-форум агропромышленного комплекса России «Smart Agro: Цифровая трансформация в АПК».

В рамках форума прошла выставка, на которой были представлены отраслевые инновационные разработки, решения, продукты разработчиков ИТ-решений, программного обеспечения и пр.

Компания «Проксима» приняла активное участие в работе выставки, представив возможности гиперспектрального дистанционного зондирования для целей сельского хозяйства.

Гиперспектральная съемка позволяет выявлять болезни растений на ранних стадиях, определять виды и генотипы растений, получать биофизические показатели для селекции культур, осуществлять мониторинг и оптимизацию питания растений, включая основные макро- и микроэлементы, оценивать влажность почвы.

Получение, обработка и применение гиперспектральных данных как с космических аппаратов, так и с помощью гиперспектральных камер вкупе с развитием технологий искусственного интеллекта (ИИ) является актуальным вызовом для современного мира.

В Арктике растаял остров Месяцева на Земле Франца-Иосифа

Остров Месяцева исчез на Земле Франца-Иосифа. Это определили по космическим снимкам школьники и студенты из межрегиональной проектной группы "РИСКСАТ" под руководством доцента МАИ, кандидата технических наук Алексея Кучейко.

Источник: https://nauka.tass.ru/nauka/22293877?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fsearch

Цифрую экосистему для прикаспийского сотрудничества обсудили на площадке цифрового форума

В рамках второго дня Каспийского цифрового форума на площадке развлекательного комплекса «Москва» прошло пленарное совещание на тему «Цифровая экосистема для прикаспийского сотрудничества».
В рамках пленарного совещания прошла презентация результатов работы рабочих групп по своим направлениям, а также обсудили предложения к резолюции форума и подвели ключевые итоги.

Источник: https://riadagestan.ru/news/economy/tsifruyu_ekosistemu_dlya_prikaspiyskogo_sotrudnichestva_obsudili_na_ploshchadke_tsifrovogo_foruma/?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fsearch

Sitronics Group представила опыт использования цифровых сервисов на СМП

Вице-президент по программным продуктам и решениям Sitronics Group Павел Дрейгер рассказал о цифровых проектах компании, направленных на развитие и обеспечение безопасности судоходства на Севморпути, а также о перспективных сервисах, которые сейчас развивают разработчики. В качестве примеров успешно реализованных ИТ-компанией проектов Павел Дрейгер привел систему спутникового мониторинга судоходства и подсистему комплексного управления безопасностью в акватории СМП.

Источник: https://companies.rbc.ru/news/ndwgRIVSKE/sitronics-group-predstavila-opyit-ispolzovaniya-tsifrovyih-servisov-na-smp/?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fsearch

День географических информационных систем (День ГИС): Что за праздник

20 ноября отмечается День географических информационных систем — День ГИС.
Географическая информационная система (геоинформационная система, ГИС) — это система сбора, хранения, анализа и графической визуализации пространственных (географических) данных и связанной с ними информации о необходимых объектах местности.

Источник: https://newsib.net/dopolnenie/den-geograficheskix-informacionnyx-sistem-den-gis-chto-za-prazdnik-2.html?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fsearch

Спутниковые снимки помогут защитить прибрежные леса от изменения климата

С помощью спутниковых снимков ученые могут отслеживать изменения в растительности и определять, какие участки леса наиболее подвержены риску. Это позволит принимать более эффективные меры по сохранению этих ценных экосистем.

Источник: https://www.ferra.ru/news/techlife/sputnikovye-snimki-pomogut-zashitit-pribrezhnye-lesa-ot-izmeneniya-klimata-02-11-2024.htm?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fstory%2F38598c2d-b0e6-5986-8e48-fe42a50a83d8

«Роскосмос» показал снимок циклона «Мартина»

«Сегодня на столицу обрушился североатлантический циклон "Мартина". Он несет серьезную непогоду — ливни, штормовой ветер, снег и гололедицу», — отметили в сообщении.

В «Роскосмосе» сообщили, что российские спутники следят за прохождением циклона.

Источник:https://lenta.ru/comments/news/2024/11/01/roskosmos-pokazal-snimok-tsiklona-martina/

Во Владивостоке пройдет научно-практическая конференция «Актуальные вопросы недропользования твердых полезных ископаемых»

Роснедра — Государственная комиссия по запасам полезных ископаемых (ФБУ «ГКЗ») при поддержке Федерального агентства по недропользованию (Роснедра) в период с 31 октября по 1 ноября 2024 года в г. Владивостоке проводит научно-практическую конференцию «Актуальные вопросы недропользования твердых полезных ископаемых»

Конференция проводится с целью повышения качества оказываемых государственных услуг и выполняемых функций Роснедрами, таких как выдача лицензий на право пользования недрами, государственная экспертиза запасов месторождений, согласование проектов разработки месторождений и других государственных услуг и функций.

Источник: https://geoinfo.ru/product/sluzhba-novostej-geoinfo/vo-vladivostoke-projdet-nauchno-prakticheskaya-konferenciya-aktualnye-voprosy-nedropolzovaniya-tverdyh-poleznyh-iskopaemyh-54046.shtml

В России создадут единый центр мониторинга мерзлоты к 2025 году

ГеоИнфо — В 2025 году в России может начать работу единый центр мониторинга вечной мерзлоты, при условии выделения соответствующих средств. Как сообщил Михаил Кузнецов, директор федерального автономного научного учреждения «Востокгосплан», учреждение планирует разработать протоколы для сбора данных и провести дополнительные работы, которые позволят объединить разрозненные потоки информации из федеральных и региональных центров.

Источник: https://geoinfo.ru/product/sluzhba-novostej-geoinfo/v-rossii-sozdadut-edinyj-centr-monitoringa-merzloty-k-2025-godu-54043.shtml

«Газпром» проводит испытания многофункционального робота с лазерным газоанализатором

Беспилотный робот предназначен для проведения регулярных осмотров производственных объектов. Он оснащен лазерным газоанализатором ДЛС-КС мини и способен самостоятельно выполнять сканирование мест возможных утечек метана. А с навесным оборудованием — убирать территорию. Масса робота-обходчика — 0,95 тонны, рабочая скорость — до 25 км/ч.

Источник: https://isup.ru/news/20942/?utm_source=yxnews&utm_medium=desktop&utm_referrer=https%3A%2F%2Fdzen.ru%2Fnews%2Fsearch

Нигер приобрел у России три спутника для укрепления суверенитета

Приобретение и развертывание трех орбитальных спутников российского производства будет использовано для укрепления суверенитета трех стран Сахеля — Нигера, Мали и Буркина-Фасо, 1 ноября сообщило агентство Agence nigerienne de presse.

Источник: https://rossaprimavera.ru/news/d8a3a8c9

С Восточного готовятся запускать спутники «Ионосфера-М» — какие у них задачи?

5 ноября будем наблюдать старт «Союза» с научной аппаратурой на борту. «Ионосфера-М» № 1 и № 2 — часть проекта «Ионозонд», который решает задачи мониторинга околоземного космического пространства, исследований ионосферной плазмы и волновых процессов в ней.

Кроме зондирования ионосферы, приборы на спутниках будут изучать космическую радиацию и электромагнитные поля.

Одновременно с наблюдениями «Ионосфер-М» планируются и измерения плотности плазмы методом резонансного зондирования на кубсате «СамСат-Ионосфера». Аппарат запустят вместе с «Ионосферами-М» в качестве попутной нагрузки, всего состоящей из 53 малых спутников.

Читайте подробнее о проекте на нашем сайте.

Фото: Иван Тимошенко

Источник: ИКИ РАН

👽Эксперты «по тарелочкам» насчитали с 1906 по 2021 годы более 100 тысяч случаев наблюдения НЛО, многие из них не имеют достоверного объяснения. Инфографика позволяет оценить, где это происходило.

Кроме того, управление по исследованию аномальных явлений (AARO) при минобороны США детально изучило сообщения об НЛО, начиная с 1945 года, но не нашло никаких признаков существования внеземной жизни.

Учёные Карельского научного центра РАН осуществили аэрофотосъёмку восточной части Ладожских шхер с помощью квадрокоптера и мультиспектральной камеры, которая позволила обследовать даже труднодоступные участки, где невозможно наземное наблюдение, такие как скалы или болотистые местности. За три дня беспилотник совершил пять вылетов и отснял территорию общей площадью 486 га.

Порядка 700 мультиспектральных снимков будут обработаны совместно с данными наземной съёмки. На их основе составят ортофотоплан и цифровую модель местности. Эти материалы помогут при анализе видов растительности и ландшафтных особенностей национального парка «Ладожские шхеры».

«Мониторинг на такой сложной территории планируется комплексный с сочетанием наземных исследований, данных дистанционного зондирования, а также материалов крупномасштабной спектрозональной и лидарной съёмок», — рассказал Борис Раевский, ведущий научный сотрудник лаборатории экологического мониторинга и моделирования отдела комплексных научных исследований КарНЦ РАН.

#БАС #беспилотники #регионы #Карелия

@bespilotny1