И снова мой ненавистный tar с ошибкой?

Question

[Denis Stok]

Почему происходит паника при записи хидера?

failed to add /root/Projects to tar: archive/tar: missed writing 443 bytes

в следующем коде

// ...
walker := func(file string, finfo osFileInfo, err error) error {
  // ...
  if err := tw.WriteHeader(hdr); err != nil {
    return err
  }
  tw.Flush()
  // ...
}

Полный код можно взять отсюда
https://github.com/vladimirvivien/go-tar/blob/mast...

Comments

[Everything_is_not_so_bad]

Приведи пример параметров запуска и вывод ошибки.

[Denis Stok]

После этого кода
https://github.com/vladimirvivien/go-tar/blame/e1a...

Я добавил
tw.Flush()

Answer 1

[uvelichitel]

Мало кода, но на первый взгляд это не паника при записи header, а error при попытке tw.Flush(), который вы не проверили. После записи header, нужно залить собственно данные tw.Write(data []byte) и уже потом делать tw.Flush(). Вы в header пообещали залить данные и не залили. Кажется должно быть что то вроде

if err := tw.WriteHeader(hdr); err != nil {
    return err
}
if n, err := tw.Write(content); err != nil { //вот это не видно как вы сделали
    return err
}
if tw.Flush(); err != nil{ //и нужно проверять все ошибки
    return err
}

Comments

[Denis Stok]

uvelichitel, спасибо, за разъяснение, и за предоставленный код.

Действительно, не паника, а выхлоп ошибки с завершением программки в этом месте https://github.com/vladimirvivien/go-tar/blob/e1a9...

С этого проекта полностью взят код, добавил проверку на симлинков.

И не знал, что tw.Flush() надо обрабатывать на ошибку.

Answer 2

[falconandy]

Если непринципиально, попробуйте https://github.com/mholt/archiver. Или подсмотрите как там сделано.

Comments

[Denis Stok]

falconandy, не понимаю почему ошибка происходит...

CentOS 7, go1.13.3

Впервые вижу такую ошибку, выхлоп в консоли:

github.com/andybalholm/brotli
go build github.com/andybalholm/brotli: /usr/local/go/pkg/tool/linux_amd64/compile: signal: killed

[falconandy]

Denis Stok, на Ubuntu 18.04, go1.13.4 всё хорошо.
Судя по нагугленным данным, причина может быть в нехватке памяти для компиляции.
Например, в https://github.com/kubernetes/dashboard/issues/2733 пишут:

The cause is that go build is using too much memory, you have to upgrade your memory to 3GB+ to avoid go build process run out of memory.

У меня 16ГБ.