Как решить проблему в minio?

Question

[maestro07]

Задача
1) Надо скачать все файлы (objects) с minio
2) Сжать размеры
3) Загрузить сжатые файлы

Общий объем файлов примерно 60 гб. Когда запускаю для всего контента получаю ошибку

the difference between the request time and the server's time is too large

А когда узкий запрос (взять файлы по определенному префиксу) работает. Но так не удобно и каждый раз менять префикс и запускать. Как можно решить проблему?

Запускаю локально у себя и стучусь в minio (который подняли на сервере)

Answer 1

[Олех]

Локальное время и время сервера должно быть синхронизировано. У вас в ошибке это как раз описано. Если windows включите авто-синхронизацию времени и перезагрузитесь, если linux то ntp поставьте.

Comments

[maestro07]

MacOS у меня. Надо тогда узнать время на сервере

[maestro07]

Если windows включите авто-синхронизацию времени и перезагрузитесь, если linux то ntp поставьте.

Это сделать на сервере?

[Олех]

maestro07, не думаю что на сервере у вас проблема со временем, но вообще оно должно быть одинаковым и там и там.

[maestro07]

Олех, на сервере и локально стоят одинаковое время. но все равно получаю ошибку. в чем может быть причина?

[Олех]

maestro07, напишите как получаете файлы, через list или listObjectsV2? Используете ли cursor пагинацию?

[maestro07]

Олех,

var stream = minioClient.listObjectsV2('mybucket','', true,'')
stream.on('data', function(obj) { console.log(obj) } )
stream.on('error', function(err) { console.log(err) } )

[Олех]

maestro07, https://github.com/minio/minio-js/issues/733 используйте cursor, возможно у вас очень много элементов, разбейте их по 1000 к примеру и получайте.

[maestro07]

Олех,

let startAfter = '10';

getObject = async () => {
  let stream = await mc.listObjectsV2(  'bucket', 
                                        '', 
                                        true, 
                                        startAfter,
                                      );
  let bname = "bucket";
  stream.on('data', async (obj) => {
    try {
      let oname = obj.name;
      let format = oname.substr(oname.indexOf('.')).replace(/./, '');
      let optimizedName = oname.replace(/\.[^/.]+$/, "") + (format === "jpg" ? "-optimized.jpg" : "-optimized.png");
      imageType = (format === "jpg" ? "image/jpg" : "image/png");
      if((/\.(?:jpg|jpeg|png|gif)$/i).test(oname)) {
        try {
          let dataStreamForOptimized = await mc.getObject(bname, oname);
          await (new Promise(function (resolve, reject) {
            mc.putObject( mcConfig.destBucket,
                          optimizedName,
                          dataStreamForOptimized.pipe(
                            sharp()
                            .on('error', e => reject(e))
                            .rotate()
                            .on('error', e => reject(e))
                            .resize(null, 768)
                            .withMetadata()
                            .on('error', e => reject(e))
                          ),
                          imageType,
                          function(error, etag) {
                            if (error) {
                              reject(error)
                            } else {
                              resolve(etag)
                            }
                          }
                        );
          }));
          _lg(`Successfully uploaded: ${optimizedName}`);
        } catch(error) {
          _lg('Failed to convert image:', oname, error.message);
        }
      }
    } catch (err) {
      _err('Failed to handle notification:', err);
    }
  });
}

все равно получаю ошибку ту же

[Олех]

maestro07, Ну конечно она будет, вы await операцию загрузки, тем самым блокируя поток stream, разделите задачу на получение файлов и последующей обработке. А не обрабатывайте каждый файл. Тут выгоднее всего будет паттерн очередей.
1. Вы получаете список файлов, заносите их в очередь.
2. Из очереди получаете список файлов (getObject), складируете локально или итеративно (по 100 шт, через startAfter).
3. Обрабатываете файлы и загружаете на сервер используя данные из очереди и локальные файлы, удаляя имя файла из очереди, после успешной загрузки.

Почему происходит ошибка в вашем подходе? Т.к. вы блокируете поток, происходит рассинхрон времени получения файла с его обработкой и получение нового.