Как в go получить результат sql запроса по частям?

Question

[Костян Кондр]

Пытаюсь сделать запрос к бд, который возвращает крайне много данных. Как можно обрабатывать их по мере получения, допустим по 1000 строк? Позволяет такое стандартная либа database/sql?

Comments

[Толстый Лорри]

TOP + OFFSET

[Толстый Лорри]

https://www.microsoftpressstore.com/articles/artic...

Answer 1

[Иван Томилов]

Позволяет по дефолту, но не по тысяче строк, а в виде курсора, который двигается при каждом вызове rows.Next(), о чем подробнее можно прочитать в документации database/sql:
https://golang.org/pkg/database/sql/#Rows

Там же есть пример, который это иллюстрирует:

rows, err := db.Query("SELECT ...")
...
defer rows.Close()
for rows.Next() {
    var id int
    var name string
    err = rows.Scan(&id, &name)
    ...
}
err = rows.Err() // get any error encountered during iteration
...

Только в Go для конкретных баз данных написаны разные драйверы: https://github.com/golang/go/wiki/SQLDrivers
И хорошо бы заранее проверить в исходниках, что драйвер, который вы используете, действительно использует курсор внутри, а не считывает, например, сразу все в слайс и выдает элементы из него по одному.

Answer 2

[Александр Аксентьев]

это позволяет сам sql сервер, go здесь вообще не при делах.

limit offset в гугле

Comments

[AJ]

limit offset? На 400 000 000 записей например, вот здорово то будет серверу фулсканом по выборке отсчитывать 150 000 000 + 1000. Курсор и только. Либо хаки вроде id > ? limit 1000 по PK.

Answer 3

[d'Ivan]

stackoverflow.com/a/9261762/2840001