Уточнение пространственного разрешения данных Sentinel-2 с помощью нейросетей
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN
This media is not supported in your browser
VIEW IN TELEGRAM
QDANN — карты урожайности кукурузы, сои и озимой пшеницы на внутриполевом уровне
В 🛢 наборе данных QDANN 30m Yield Map for Corn, Soy, and Winter Wheat in the U.S представлены общедоступные 30-метровые годовые карты урожайности кукурузы, сои и озимой пшеницы для основных растениеводческих штатов США, начиная с 2008 года. В отличие от других подобных данных, эти карты показывают урожайность на каждом пикселе поля.
Набор данных основан на снимках Landsat и погодных данных Gridmet. Он проверен с помощью записей мониторов урожайности, содержащих около миллиона полевых наблюдений за год.
Карты созданы по методике Quantile Loss Domain Adversarial Neural Networks (QDANN), которая для нас может оказаться гораздо интереснее, чем готовые карты. QDANN использует информацию из наборов данных на уровне округов (county) для картографирования урожайности в более тонком пространственном разрешении, и призвана устранить ограничения, связанные с нехваткой наземных данных для обучения и оценки моделей. QDANN использует стратегию адаптации домена без обучения (unsupervised domain adaptation strategy), обучаясь на маркированных данных уровня округа и используя при этом немаркированные данные подполей, что устраняет необходимость в информации об урожайности на уровне подполей.
Данные объединены в две коллекции — для кукурузы-сои и озимой пшеницы. По сравнению с оригинальной статьей, к данным на GEE добавлены аббревиатуры штатов (свойство ‘state_abbv’) и календарные даты. Это позволяет легко фильтровать по штатам и датам коллекции:
🔹 Corn & Soybean. Слои: b1 – corn, kg/ha; b2 – soybean, kg/ha
🔹 Winter Wheat. Слои: b1 – winter wheat, kg/ha
📖 Ma, Y., Liang, S.-Z., Myers, D. B., Swatantran, A., & Lobell, D. B. (2024). Subfield-level crop yield mapping without ground truth data: A scale transfer framework. Remote Sensing of Environment, 315, 114427. https://doi.org/10.1016/j.rse.2024.114427
#данные #GEE #сельхоз #GAN
В 🛢 наборе данных QDANN 30m Yield Map for Corn, Soy, and Winter Wheat in the U.S представлены общедоступные 30-метровые годовые карты урожайности кукурузы, сои и озимой пшеницы для основных растениеводческих штатов США, начиная с 2008 года. В отличие от других подобных данных, эти карты показывают урожайность на каждом пикселе поля.
Набор данных основан на снимках Landsat и погодных данных Gridmet. Он проверен с помощью записей мониторов урожайности, содержащих около миллиона полевых наблюдений за год.
Карты созданы по методике Quantile Loss Domain Adversarial Neural Networks (QDANN), которая для нас может оказаться гораздо интереснее, чем готовые карты. QDANN использует информацию из наборов данных на уровне округов (county) для картографирования урожайности в более тонком пространственном разрешении, и призвана устранить ограничения, связанные с нехваткой наземных данных для обучения и оценки моделей. QDANN использует стратегию адаптации домена без обучения (unsupervised domain adaptation strategy), обучаясь на маркированных данных уровня округа и используя при этом немаркированные данные подполей, что устраняет необходимость в информации об урожайности на уровне подполей.
Данные объединены в две коллекции — для кукурузы-сои и озимой пшеницы. По сравнению с оригинальной статьей, к данным на GEE добавлены аббревиатуры штатов (свойство ‘state_abbv’) и календарные даты. Это позволяет легко фильтровать по штатам и датам коллекции:
🔹 Corn & Soybean. Слои: b1 – corn, kg/ha; b2 – soybean, kg/ha
🔹 Winter Wheat. Слои: b1 – winter wheat, kg/ha
📖 Ma, Y., Liang, S.-Z., Myers, D. B., Swatantran, A., & Lobell, D. B. (2024). Subfield-level crop yield mapping without ground truth data: A scale transfer framework. Remote Sensing of Environment, 315, 114427. https://doi.org/10.1016/j.rse.2024.114427
#данные #GEE #сельхоз #GAN