Уточнение пространственного разрешения данных Sentinel-2 с помощью нейросетей
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN
1. Lanaras et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network (2018).
Предложен способ уточнения пространственного разрешения каналов Sentinel-2 (так называемое super-resolution) с более низким разрешением (20 и 60 метров) до 10 метров. Для этого разработана сверточная нейросеть (CNN), названная DSen2. Сеть обучается на загрубленных данных: 40 м — для каналов с разрешением 20 м и 360 м — для 60 м. Для обучения использованы данные, отобранные по всему миру в различных климатических зоны и классах почвенно-растительного покрова. В результате сеть может уточнять разрешение снимков Sentinel-2, сделанных в различных районах Земли, без необходимости переобучения. Код: https://github.com/lanha/DSen2
2. Latif et al. Super-resolution of Sentinel-2 images using Wasserstein GAN (2022).
В работе представлен подход, использующий генеративно-состязательную сеть Вассерштейна (WGAN), названную DSen2-WGAN, для уточнения низкого разрешения (20 м и 60 м) каналов Sentinel-2 до пространственного разрешения 10 м. Является развитием работы Lanaras et al. (2018).
3. Tao et al. Towards Streamlined Single-Image Super-Resolution: Demonstration with 10 m Sentinel-2 Colour and 10–60 m Multi-Spectral VNIR and SWIR Bands (2021).
Для уточнения пространственного разрешения данных Sentinel-2 предложена генеративно-состязательная нейросеть TARSGAN (learning Terrestrial image deblurring using Adaptive weighted dense Residual Super-resolution Generative Adversarial Network). Кроме того, предлагается способ оценки эффективного разрешения изображения, использующий автоматическое определение и фильтрацию краев изображения — ELF (automated image Edge detection and measurements of edge spread function, Line spread function, and Full width at half maximum). Измерения ELF на снимках, обработанных TARSGAN показало, что разрешение увеличивается в среднем в 2,91 раза, что эквивалентно 3,44 м для каналов с исходным разрешением 10 м. Приводятся примеры применения TARSAGAN для различных типов сцен — от городских пейзажей до сельскохозяйственных сцен и морских льдин.
4. Зуев и др. Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей (2022).
Для уточнения разрешения спутниковых данных применятся модифицированный алгоритм GAN, с использованием сверточной нейросети VGG-19 для вычисления показателя потерь во время обучения. Рассмотрены вопросы подготовки обучающего набора данных.
5. Статьи Razzak et al. Multi-spectral multi-image super-resolution of Sentinel-2 with radiometric consistency losses and its effect on building delineation (2023) и Multi-temporal Super-Resolution on Sentinel-2 Imagery (2021) посвящены уточнению разрешения при помощи нейросети HighRes-Net. Существенно, что на вход подаются несколько разновременных спутниковых снимков, а на выходе получается один, с более высоким разрешением. В обоих случаях код прилагается.
#superresolution #sentinel2 #GAN #CNN
Комплексная платформа для тестирования алгоритмов повышения резкости снимков Sentinel-2
Развитие алгоритмов повышения резкости (sharpening) и разрешения (super-resolution) спутниковых снимков невозможно без стандартных тестовых данных и протоколов оценки качества результатов. В работе предложена комплексная платформа для тестирования алгоритмов повышения резкости снимков Sentinel-2 (каналы с разрешениями 60 и 20 метров доводятся до 10-ти метрового разрешения). В ней анализируются несколько передовых алгоритмов повышения резкости — от традиционного паншарпенинга до подходов на основе глубокого обучения. Все выбранные методы были реализованы в единой среде на основе Python и протестированы на специально созданном крупномасштабном наборе данных Sentinel-2. Этот набор данных охватывает разнообразные географические регионы, типы покрытия поверхности и условия съемки. Производительность методов повышения резкости оценивается с использованием разнообразных индексов качества, подчеркивая сильные и слабые стороны, а также открытые вызовы современных алгоритмов. Предложенная платформа, набор данных и протоколы оценки находятся в открытом доступе.
📊 Пример результатов повышения резкости 60-метровых каналов Sentinel-2, обрезанных до 145×180 пикселей. Изображения H (B2, B3, B4 — 10-ти метровые каналы) и L (B1, B1, B9 — 60-ти метровые каналы), увеличенные с помощью интерполяции ближайших соседей, сопровождаются соответствующими результатами повышения резкости для каждого метода.
📖 Ciotola, M., Guarino, G., Mazza, A., Poggi, G., & Scarpa, G. (2025). A Comprehensive Benchmarking Framework for Sentinel-2 Sharpening: Methods, Dataset, and Evaluation Metrics. Remote Sensing, 17(12), 1983. https://doi.org/10.3390/rs17121983
#sentinel2 #superresolution #датасет #софт
Развитие алгоритмов повышения резкости (sharpening) и разрешения (super-resolution) спутниковых снимков невозможно без стандартных тестовых данных и протоколов оценки качества результатов. В работе предложена комплексная платформа для тестирования алгоритмов повышения резкости снимков Sentinel-2 (каналы с разрешениями 60 и 20 метров доводятся до 10-ти метрового разрешения). В ней анализируются несколько передовых алгоритмов повышения резкости — от традиционного паншарпенинга до подходов на основе глубокого обучения. Все выбранные методы были реализованы в единой среде на основе Python и протестированы на специально созданном крупномасштабном наборе данных Sentinel-2. Этот набор данных охватывает разнообразные географические регионы, типы покрытия поверхности и условия съемки. Производительность методов повышения резкости оценивается с использованием разнообразных индексов качества, подчеркивая сильные и слабые стороны, а также открытые вызовы современных алгоритмов. Предложенная платформа, набор данных и протоколы оценки находятся в открытом доступе.
📊 Пример результатов повышения резкости 60-метровых каналов Sentinel-2, обрезанных до 145×180 пикселей. Изображения H (B2, B3, B4 — 10-ти метровые каналы) и L (B1, B1, B9 — 60-ти метровые каналы), увеличенные с помощью интерполяции ближайших соседей, сопровождаются соответствующими результатами повышения резкости для каждого метода.
📖 Ciotola, M., Guarino, G., Mazza, A., Poggi, G., & Scarpa, G. (2025). A Comprehensive Benchmarking Framework for Sentinel-2 Sharpening: Methods, Dataset, and Evaluation Metrics. Remote Sensing, 17(12), 1983. https://doi.org/10.3390/rs17121983
#sentinel2 #superresolution #датасет #софт
❤4🔥1