Как быстро записываются данные?

Question

[hrvasiliy]

Как быстро по времени(можно в секундах) запишутся данные по следующей схеме: Парсинг -> Запись в БД -> Обработчик -> Запись в БД? И как можно ускорить этот процесс? Запись в БД (Около 2000 переменных) В обработчике никаких сложных действий.

Answer 1

[Anton Kalashnikov]

Зависит от вычислительной мощности машины на которой исполняется код.

Comments

[hrvasiliy]

Можете ли вы написать время в сравнении обычного хостинга и, скажем, хорошего сервера?

[Anton Kalashnikov]

@hrvasiliy можете ли вы написать примеры обычного хостинга или хорошего сервера? Конкретной формулы расчета нет, надо запускать код и смотреть время выполнения.

[Anton Kalashnikov]

@hrvasiliy 2000 переменных это строк или столбцов?
2000 строк запишутся примерно за секунд 60, это по личному опыту и на глаз, так как не замерял.

Answer 2

[Alex Chistyakov]

Прежде всего, это зависит от скорости дисковой подсистемы сервера и от количества индексов в таблице и количества данных, которые в ней уже находятся. А также от того, как именно осуществляется запись - является ли движок хранения транзакционным или нет (и такие встречаются), как часто происходит fsync (и происходит ли вообще), из скольких мест одновременно в одну таблицу ведется запись. Если пишете в один поток подряд в одну таблицу, то я бы ожидал сотен операций вставки в секунду. Что-то между 100 и 500-700 (если записи небольшие, индексов мало и данных в таблице тоже мало, база данных настроена не дергать fsync на каждый конец транзакции и т.п.). Это если у вас один SATA винчестер или же зеркало из двух SATA винчестеров.

Answer 3

[xmoonlight]

Парсинг -> Запись в БД -> Обработчик -> Запись в БД? И как можно ускорить этот процесс?

Минимум так: Парсинг -> Обработчик -> Запись в БД
Готовьте данные блоками (не по-штучно, а сразу несколько) и кладите их в базу одной транзакцией.

Answer 4

[Viktor Vsk]

Данные записываются очень быстро. Так быстро, что обычно их прочесть не успеваешь, а они уже записались. Сделать этот процесс можно быстрее если: 1) уменьшить количество данных, 2) увеличить мощность вычислительных средств