Как измерить скорость записи одной ячейки Json в базу MongoDb?

Question

[Олег Петров]

Хочу сравнить скорость записи и чтения Mongodb и Postgres, подскажите какие инструменты существуют для измерения скорости записи и чтения из базы? Хочу попробовать на простых запросах

Answer 1

[Иван Корюков]

Можно написать на своём любимом языке программирования простую программу, которая подключается к СУБД, берёт точное время, выполняет сотню тысяч запросов и снова берёт время. Вычитает одно время из другого и делит на количество запросов.

Comments

[Олег Петров]

Я пишу на Python. Вашу идею я понял. Просто вопрос от какого момента считать, что запрос был отправлен? Момент отправки первого JSON?
И как узнать факт того, что я json записался? Просто факт окончания работы программы?

То есть момент окончания работы минус момент старта по сути?

[Fixid]

Олег Петров, по сути да. Но это будет приблизительное время, на самом деле фактическая процедура записи будет быстрее

[Олег Петров]

Fixid, Понял, спасибо, я как раз имел ввиду скорость записи применительно к одному конкретному проекту на Python. Что будет быстрее 1000 строк в PostgreSQL или 1000 JSON в MongoDB, если использовать один и тот же скрипт.

[Fixid]

Олег Петров, тогда без разницы, главное используйте pooling, либо все в пределах одного коннекта. И вы же понимаете что без pooling невозможно получить максимальную скорость?

[Иван Корюков]

Fixid, зачем пуллинг, зачем коннект? Надо делать cli скрипт.

[Fixid]

Иван Корюков, например redis в один поток выдает 1000 попугаев, а в несколько уже 3000. Я почти уверен что в вашем тесте PostgreSQL будет медленнее.
P.S. сравнивать SQL и NoSQL не очень корректно. Тут надо опираться на функционал для дальнейшей работы с данными

[Олег Петров]

Fixid, Спасибо, пойду изучать что вообще такое pooling )

[Fixid]

Олег Петров, костыльно можно имитировать pooling параллельным запуском нескольких скриптов. Например 4 скрипта по 250 запросов запущенные одновременно будут работать с базой через 4 коннекта и суммарно сделают 1000 запросов. Так проще, быстрее, не надо разбираться, но с пониженной точностью

Answer 2

[ky0]

Уверены, что у вас в проекте предполагаются такие космические нагрузки, что выбор СУБД должен основываться именно на этом показателе?

Вряд ли без нормального нагрузочного тестирования вы получите сколь-либо полезные данные - недаром же для СУБД стараются выделять много памяти, именно для того, чтобы до определённого момента скорость не упиралась в диски. А то, что поместится в память и кэш рейд-контроллера, будет работать примерно с одинаковой скоростью в любой базе.

Comments

[Олег Петров]

Я просто почитал, что хороший специалист в базам должен уметь тестировать скорость, и знать, что на нее влияет на практике. Вот я собираюсь научиться этому. К тому же все сказали, что MongoDB намного быстрее PostgreSQL ,вот интересно проверить это на практике.

[ky0]

Олег Петров, ну, вы же понимаете, что постгрес - это честная РСУБД, а монго формально относится к nosql и заточена под работу с иерархическими структурами, в т. ч. json`ом? Сравнивать в лоб нельзя.

[Олег Петров]

ky0, Ну мне нужно хранить биржевые данные, а это можно и так и так. Надо делать выбор как-то.