@hrvasiliy

Как быстро записываются данные?

Как быстро по времени(можно в секундах) запишутся данные по следующей схеме: Парсинг -> Запись в БД -> Обработчик -> Запись в БД? И как можно ускорить этот процесс? Запись в БД (Около 2000 переменных) В обработчике никаких сложных действий.
  • Вопрос задан
  • 2295 просмотров
Решения вопроса 2
kalashnikau
@kalashnikau
Зависит от вычислительной мощности машины на которой исполняется код.
Ответ написан
alexclear
@alexclear
A cat
Прежде всего, это зависит от скорости дисковой подсистемы сервера и от количества индексов в таблице и количества данных, которые в ней уже находятся. А также от того, как именно осуществляется запись - является ли движок хранения транзакционным или нет (и такие встречаются), как часто происходит fsync (и происходит ли вообще), из скольких мест одновременно в одну таблицу ведется запись. Если пишете в один поток подряд в одну таблицу, то я бы ожидал сотен операций вставки в секунду. Что-то между 100 и 500-700 (если записи небольшие, индексов мало и данных в таблице тоже мало, база данных настроена не дергать fsync на каждый конец транзакции и т.п.). Это если у вас один SATA винчестер или же зеркало из двух SATA винчестеров.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Парсинг -> Запись в БД -> Обработчик -> Запись в БД? И как можно ускорить этот процесс?
Минимум так: Парсинг -> Обработчик -> Запись в БД
Готовьте данные блоками (не по-штучно, а сразу несколько) и кладите их в базу одной транзакцией.
Ответ написан
Комментировать
viktorvsk
@viktorvsk
Данные записываются очень быстро. Так быстро, что обычно их прочесть не успеваешь, а они уже записались. Сделать этот процесс можно быстрее если: 1) уменьшить количество данных, 2) увеличить мощность вычислительных средств
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы