Как извлечь часть информации из спутниковых данных OLCI формата .nc в python?

Question

[Елена Скороход]

Здравствуйте! Пытаюсь осваивать python. Мне необходимо извлечь часть данных из файла формата .nc и сохранить в табличном виде (спутниковый сканер цвета OLCI, заморочка еще в том, что это не 1 файл со всей информацией, а целая папка nc файлов, отдельно координаты, отдельно флаги, отдельно продукты и т.д.). Проведя целую вечность в интернете вышла на satpy.

В данный момент мой скрипт выглядит следующим образом:

import satpy
from satpy import Scene, find_files_and_readers
from datetime import datetime
import xarray as xr

#Поиск и чтение файлов формата .nc OLCI L2 
files = find_files_and_readers(sensor='olci',
                                             start_time=datetime(2019, 5, 9), #YYYY, MM, DD
                                             end_time=datetime(2019, 5, 11),
                                             base_dir="C:/Users/79788/OLCI", #здесь все просто, папка, где находятся файлы nc 
                                             reader='olci_l2') #указываем каким образом читать файл 'availible_readers'

Через scn.available_dataset_ids() вышла на список данных
Из них мне нужны 'latitude', 'longtitude', 'chl_nn', 'chl_oc4me', 'iop_nn', 'trsp', 'tsm_nn', 'wqsf'
Как это правильно сделать?

Comments

[Рамис]

Через scn.available_dataset_ids() вышла на список данных
Из них мне нужны 'latitude', 'longtitude', 'chl_nn', 'chl_oc4me', 'iop_nn', 'trsp', 'tsm_nn', 'wqsf'

покажи список

[Елена Скороход]

Рамис, [DataID(name='Oa01', wavelength=WavelengthRange(min=0.3925, central=0.4, max=0.4075, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa02', wavelength=WavelengthRange(min=0.4075, central=0.4125, max=0.4175, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa03', wavelength=WavelengthRange(min=0.4375, central=0.4425, max=0.4475, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa04', wavelength=WavelengthRange(min=0.485, central=0.49, max=0.495, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa05', wavelength=WavelengthRange(min=0.505, central=0.51, max=0.515, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa06', wavelength=WavelengthRange(min=0.555, central=0.56, max=0.565, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa07', wavelength=WavelengthRange(min=0.615, central=0.62, max=0.625, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa08', wavelength=WavelengthRange(min=0.66, central=0.665, max=0.67, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa09', wavelength=WavelengthRange(min=0.67, central=0.67375, max=0.6775, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa10', wavelength=WavelengthRange(min=0.6775, central=0.68125, max=0.685, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa11', wavelength=WavelengthRange(min=0.70375, central=0.70875, max=0.71375, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa12', wavelength=WavelengthRange(min=0.75, central=0.75375, max=0.7575, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa13', wavelength=WavelengthRange(min=0.76, central=0.76125, max=0.7625, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa14', wavelength=WavelengthRange(min=0.760625, central=0.764375, max=0.768125, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa15', wavelength=WavelengthRange(min=0.76625, central=0.7675, max=0.76875, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa16', wavelength=WavelengthRange(min=0.77125, central=0.77875, max=0.78625, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa17', wavelength=WavelengthRange(min=0.855, central=0.865, max=0.875, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa18', wavelength=WavelengthRange(min=0.88, central=0.885, max=0.89, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa19', wavelength=WavelengthRange(min=0.895, central=0.9, max=0.905, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa20', wavelength=WavelengthRange(min=0.93, central=0.94, max=0.95, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='Oa21', wavelength=WavelengthRange(min=1.0, central=1.02, max=1.04, unit='µm'), resolution=300, calibration=, modifiers=('sunz_corrected', 'rayleigh_corrected')), DataID(name='chl_nn', resolution=300, calibration=, modifiers=()), DataID(name='chl_oc4me', resolution=300, calibration=, modifiers=()), DataID(name='iop_nn', resolution=300, calibration=, modifiers=()), DataID(name='latitude', resolution=300, modifiers=()), DataID(name='longitude', resolution=300, modifiers=()), DataID(name='mask', resolution=300, modifiers=()), DataID(name='satellite_azimuth_angle', resolution=300, modifiers=()), DataID(name='satellite_zenith_angle', resolution=300, modifiers=()), DataID(name='solar_azimuth_angle', resolution=300, modifiers=()), DataID(name='solar_zenith_angle', resolution=300, modifiers=()), DataID(name='trsp', resolution=300, calibration=, modifiers=()), DataID(name='tsm_nn', resolution=300, calibration=, modifiers=()), DataID(name='wqsf', resolution=300, modifiers=())]

[Елена Скороход]

Рамис, мне удалось получить общую информацию

import satpy
from satpy import Scene, find_files_and_readers
from datetime import datetime
import xarray as xr
#import numpy as np

#Поиск и чтение файлов формата .nc OLCI L2 
files = find_files_and_readers(sensor='olci',
                                             start_time=datetime(2019, 5, 9), #YYYY, MM, DD
                                             end_time=datetime(2019, 5, 11),
                                             base_dir="C:/Users/79788/OLCI", #здесь все просто, папка, где находятся файлы nc 
                                             reader='olci_l2') #указываем каким образом читать файл 'availible_readers'
scene = Scene(filenames=files)
scene.load(['latitude', 'longitude', 'chl_nn', 'chl_oc4me', 'iop_nn', 'trsp', 'tsm_nn', 'wqsf']) #выводит всегда одинаковые цифры вне зависимости от продукта (x1, x2)
print(scene['latitude']) #выдает общую информацию, дата, время, разрешение
#open(files)

В IDLE выводится:

dask.array
Dimensions without coordinates: y, x
Attributes:
long_name: DEM corrected latitude
standard_name: latitude
units: degrees_north
valid_max: 90000000
valid_min: -90000000
start_time: 2019-05-10 08:10:32
end_time: 2019-05-10 08:13:32
name: latitude
resolution: 300
modifiers: ()
_satpy_id: DataID(name='latitude', resolution=300, modifiers=())
ancillary_variables: []

Но мне нужны все данные

[Рамис]

Елена Скороход, тык, тык, если не получиться разобраться отпиши на почту, так вряд ли я помогу.

[Елена Скороход]

Рамис, спасибо за желание помочь! Во всей документации в основном речь идет об изображениях, их наложении и представлении. Это немного не то, что нужно. Буду искать дальше

[Алан Гибизов]

Возможно, в scene находится словарь, ключи - имена файлов. А значения - объекты, у которых могут быть атрибуты типа .lat и .lon и другие, надо внимательно изучать.

Может сработать что-то вроде:

for key, value in scene.items():
    print(f'{key}\nlat: {value.lat}')

Если же там не словарь, то все равно можно попробовать как-то так:

nc_file_path = '/'.join([basedir, 'filename.nc')
print(scene[nc_file_path].lat)