Как правильно выстроить логику записи в BD парсером?

Question

[Risen]

Есть парсер, который собирает инфу с форума.
Логика такая: получить список ссылок, затем в цикле: пройти по ссылке, записать полученную информацию в БД.
У меня возник вопрос на сколько правильно каждую итерацию цикла делать запрос к БД на запись. Возможно правильнее будет собрать всю информацию в какой-либо словарь, а потом одним обращением к БД её туда записать?

Comments

[Andrey]

Конечно пакетный режим работает лучше, тем более если приложение многопоточное
Другой вопрос что можно зас..ть всю память но выход из положения - пихать в БД порциями

[Risen]

seven5674, спасибо за ответ. Нет, парсер, пока что, не асинхронно работает и в один поток. У меня не более 30 ссылок парсер обрабатывает, так что, думаю, памяти много не съест. Но мне теперь интересно как работа с БД происходит в больших проектах.

[Andrey]

Risen, на insert так и происходит - БД зачастую одно из самых узких мест в проекте так что нет нужды дергать ее по каждому запросу

[Akina]

По сравнению с "пройти по ссылке, получить текст веб-страницы" нагрузка на запись - плюнуть и растереть. Вот даже не парься.

Answer 1

[ThunderCat]

Как абсолютно верно заметил Akina, время получения данных со сторонних серверов во много раз превышает время записи строки в бд, так что пакетную запись имеет смысл делать только если у вас сотни источников и параллельные потоки скачивания. В вашем конкретном случае выгоднее писать "налету", меньше памяти и нагрузка более равномерно распределена.

Comments

[Akina]

скорость получения данных со сторонних серверов во много раз превышает время записи строки в бд

Наверное, всё же время. Со скоростью как раз всё наёборот.

[ThunderCat]

Akina, да, фраза получилась кривой, поправил.

[Risen]

спасибо за ответ

[Andrey]

Akina, т.е. вы утверждаете что при прочих равных условиях например на таблице из N записей select all сработает медленнее чем insert такого же кол-ва записей ?

[Akina]

Andrey, ?? Вы сам вопрос-то читали? что и откуда там получаем и что и куда записываем - поняли? Какой ещё SELECT?

[Andrey]

Akina, Не, не понял потому и уточняю
Вы же тут бандой утверждаете следующее

Как абсолютно верно заметил Akina, время получения данных со сторонних серверов во много раз превышает время записи строки в бд

т.е. переводя с вашего китайского на наш великий и могучий получается что вы утверждаете что select работает медленнее чем insert

Или я чего-то не так понял в ваших словах ?

[Akina]

@seven5674
Ответьте на пару вопросов:

1. Что есть сторонний сервер, но не вообще, а в конкретном, вот том, что наверху, вопросе?
   
2. Кто и где вообще говорил о запросе на получение данных (SELECT) именно из таблицы БД (кроме Вас, конечно)?
   

[Andrey]

Akina, какой-то еврейский диалог получается :)
Это же у вас написано что вы SQL-программист вот собственно и поясните при каких условиях ваше утверждение верно ибо сторонний сервер это ваша терминология а не моя и я могу лишь только догадываться что вы имеете ввиду как впрочем что для вас получения данных

Еще раз. Вот цитата хоть и не ваша но вы с ней согласились

скорость (время) получения данных со сторонних серверов во много раз превышает время записи строки в бд

Ну и собственно вопрос - что это за фигня ?? :)

[ThunderCat]

Andrey,

т.е. переводя с вашего китайского на наш великий и могучий получается что вы утверждаете что select работает медленнее чем insert

Гляньте одним глазком вопрос, чисто в целях не заниматься фигней. И гляньте теги вопроса. И где там говорилось про селект? И что такое парсинг прочитайте что ли...

[Andrey]

ThunderCat, аааа... блин

скорость (время) получения данных со сторонних серверов

теперь я понял о каких серверах идет речь

сорян пацаны - бес попутал

[ThunderCat]

Andrey, бывает, фигли...

[Akina]

поясните при каких условиях ваше утверждение верно ибо сторонний сервер это ваша терминология а не моя

Не мой это термин, это термин, употреблённый автором ответа, причём в совершенно определённом и вроде бы не допускающем двоякого толкования в контексте основного вопроса смысле... но Вам это удалось.