Как физически хранятся блоки биткоин?

Question

[alxsmrn]

Кто может объяснить, как физически хранятся блоки биткоин в базе данных? Не входы-выходы, связи по хэшам, а именно как в базу данных записывается блок?

Answer 1

[Максим Мосейчук]

Там фактически нет никакой базы. Блоки хранятся в сыром виде в файлах. А индексы по этим файлам хранятся в LevelDB.

Comments

[alxsmrn]

То есть каждый блок, это отдельный файл? Что за индексы хэши заголовков? В leveldb записи хранятся в виде ключ:значение, вы можете привести пример?

[Максим Мосейчук]

alxsmrn: Нет. Все блоки храниться одним большим блобом. Блоб поделен на файлы (по 2 гигабайта, если не ошибаюсь). В LevelDB храниться индексы - смещение блока в блобе. Необходимо для быстрого поиска.
При необходимости так же создается индекс транзакций - запись какая транзакция в каком блоке лежит. Так же необходимо для быстрого поиска в блобе, но уже транзакций.

[alxsmrn]

fshp: а что формирует блоб? Тогда индекс это значение, а что является ключом?

[Максим Мосейчук]

alxsmrn: значением является смещение, а ключом в индексе номер блока и его хеш.

[alxsmrn]

fshp: то есть, в блобе сплошым потоком идут блоки, один за другим. А в leveldb номер или заголовок по которому его можно быстро вытащить из блока?

[Максим Мосейчук]

alxsmrn: да. Только повторюсь - не номер, а смещение в байтах. Блок имеет переменную длину, ограниченную сверху, поэтому ни о каких индексах (как в массиве array[n]) не может идти речи. Это то, что на low-level. Ну а поверх блоба и DB уже можно накрутить всё, что угодно, в том числе и привычную индексацию.

[Максим Мосейчук]

alxsmrn: В DB грубо говоря хранятся кортежи (hash, number, offset). Смещение блока можно получить либо по его уникальному хешу (https://blockchain.info/ru/block/00000000000000000... либо по уникальному номеру (номера по порядку идут https://blockchain.info/ru/block-height/455291)

[Максим Мосейчук]

fshp: парсер скобки взял. Из url скобку в конце удалите

[alxsmrn]

Спасибо!

[alxsmrn]

fshp: а не могли бы уточнить откуда берется блоб? Кто его формирует? Получается, что он связан с leveldb только логически, но что у него за формат, я не могу понять, это тоже бд? И как хранятся строки которые непосредственно формируют блок?

[Максим Мосейчук]

alxsmrn: блоб формирует клиент из блоков, выкаченных из сети. Нет у него формата, это просто кучка блоков склееных в один файл.

|BLOCK1|BLOCK2|BLOCK3|
<-----------128 MiB-------->

[alxsmrn]

fshp: большое спасибо, теперь все выстроились в единую картину! Вы очень помогли

[Максим Мосейчук]

alxsmrn: Подытожим.
Смещение первого блока мы знаем, оно всегда 0. В заголовке блока хранится его длина. Зная длину первого блока можно вычислить смещение второго блока. И т.д.

Но если нам нужно прочитать блок с номером 1000, необходимо прочитать все предыдущие блоки. Что бы этого не делать в LevelDB хранятся записи - какой блок где находится. Это просто лишь кэш для увеличения производительности.

bitcoin-core умеет строить индексы по транзакциям (включается через опцию) - так же делается проход по всему блобу, и сохраняются смещения каждой транзакции в LevelDB.

Сами блоки хранятся в бинарном виде, в том же, в каком рассылаются по сети (возможно с другим порядком байтов, не уверен).

Начинать копать можно отсюда https://github.com/bitcoin/bitcoin/blob/master/doc...