Как извлечь из поля таблицы, BLOB c JSON данными, и сделать декомпресс данных gzip?

Question

[Sergio_Hunter]

Здравствуйте. Нужен совет с чего начать и как правильно реализовать. Есть база данных SQL, в которой таблица с полем data и типом BLOB. Нужно извлечь из этого поля BLOB c JSON данными и сделать декомпресс данных gzip(есть данные сжатые и нет в данном поле) и потом парсить как JSON. Буду благодатен за какую-нибудь помощь в реализации в данном коде.

package main

import (
	"database/sql"
	"encoding/csv"
	"fmt"
	"log"
	"os"
	_ "github.com/go-sql-driver/mysql"
	_"src/golang.org/x/crypto/acme"
)
func main() {
	db, err := sql.Open("mysql", "user:password@tcp(127.0.0.1:port)/database")

	if err != nil {
		panic(err.Error())
	}
	
	rows, err := db.Query(`SELECT field FROM table_1 ORDER BY table_2 LIMIT 10`)
	if err != nil {
		log.Fatal(err)
	}
	defer rows.Close()
	defer db.Close()

	file, err := os.Create("result.csv")
	if err != nil {
		fmt.Println(err)
	}
	defer file.Close()

	var (
		data string
	)

	cont := 0
	writer := csv.NewWriter(file)
	for rows.Next() {
		err := rows.Scan(&data)
		if err != nil {
			log.Fatal(err)
		}

		if cont == 0 {
			var record []string
			record = append(record, "Date")
			writer.Write(record)
			cont++

		}

		var record []string
		record = append(record, data)
		writer.Write(record)
		cont++

	}
	defer writer.Flush()
}

Comments

[d'Ivan]

Кто писал этот код?

[Sergio_Hunter]

Я, а что?

Answer 1

[x32net]

var b []byte
rows.Scan(&b)
fmt.Printf("%s\n", b)

r, err := gzip.NewReader(&b)
io.Copy(os.Stdout, r)
r.Close()

Comments

[Sergio_Hunter]

Что-то не так
cannot use &b (type *[]byte) as type io.Reader in argument to gzip.NewReader:
*[]byte does not implement io.Reader (missing Read method)

[x32net]

Сделайте так
```
buf := bytes.NewBuffer(b)
r, err := gzip.NewReader(buf)
```

[Sergio_Hunter]

x32net: Можете еще подсказать? Я Вам буду очень благодарен.
Не получается вывести в csv файл, компилятор пишет cannot use data (type []byte) as type string in append в строке record = append(record, data). Вся проблема в этом var record []string
record = append(record, data)
writer.Write(record)
cont++
Надо чтоб оно как-то байты записывало.

package main

import (
"database/sql"
"encoding/csv"
"fmt"
"log"
"os"
_"github.com/go-sql-driver/mysql"
_"src/golang.org/x/crypto/acme"
"compress/gzip"
"bytes"
"encoding/base64"
"io"
_"golang.org/x/net/html/atom"
)

func main() {
db, err := sql.Open("mysql","name:password@tcp(127.0.0.1:9011)/database")
if err != nil {
panic(err.Error())
}
defer db.Close()

rows, err := db.Query(`SELECT data FROM user_stats ORDER BY created_at LIMIT 20`)
if err != nil {
log.Fatal(err)
}
defer rows.Close()

file, err := os.Create("result.csv")
if err != nil {
fmt.Println(err)
}
defer file.Close()

var (
//b []byte
data []byte

)

buf := bytes.NewBuffer(data)
dec := base64.NewDecoder(base64.StdEncoding, buf)
io.Copy(os.Stdout, dec)
gzipReader, err := gzip.NewReader(buf)
if (err != nil) {
log.Fatal(err)
}
defer gzipReader.Close()

cont := 0
writer := csv.NewWriter(file)
for rows.Next() {
err := rows.Scan(&data)
if err != nil {
log.Fatal(err)
}

if cont == 0 {
var record []string
record = append(record, "Data")
writer.Write(record)
cont++

}

var record []string
record = append(record, data)
writer.Write(record)
cont++

}

defer writer.Flush()
}

[x32net]

Sergio_Hunter: `cannot use data (type []byte) as type string` можно сделать так `string(data)`

[Sergio_Hunter]

Я поменял, спасибо Вам, но теперь компилятор выдает вот что 2016/11/02 16:37:06 EOF
exit status 1
Что это может означать?

[x32net]

Sergio_Hunter: в переменной `var data []byte` ничего нет, она пустая, поэтому EOF.
Проверка:
...
io.Copy(os.Stdout, dec)
fmt.Println("data:", string(data), "buf:", string(buf.Bytes()))
gzipReader, err := gzip.NewReader(buf)
...

[Sergio_Hunter]

data и buf пустые и в конце EOF

[Sergio_Hunter]

Подскажите, в чем может быть проблема? Данный ниже код выводит из БД не архивные строки, архивные не хочет разархивировать, пишет ошибка
panic: Cannot read gzip archive EOF
Возможно декодер не подходит?

var data []byte
for rows.Next() {
err := rows.Scan(&data)
if err != nil {
log.Fatal(err)
}

buf := bytes.NewBuffer(data)
dec := base64.NewDecoder(base64.StdEncoding, buf)
io.Copy(os.Stdout, dec)
fmt.Println(string(data))
gzipReader, err := gzip.NewReader(buf)
if err != nil {
log.Panicf("Cannot read gzip archive %v", err);
}
defer gzipReader.Close()

[Sergio_Hunter]

Возможно надо вставить эту строку scanner := bufio.NewScanner(gzipReader)

[x32net]

Пример https://play.golang.org/p/K-Czk3pyDJ
base64 https://golang.org/src/encoding/base64/base64_test...
gzip stackoverflow.com/a/16890765