Уточнение пространственного разрешения данных Sentinel-2 с помощью нейросетей
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN