Как ускорить работу парсера?

Question

[Spheniscus]

Программа реализует следующий алгоритм:
- прохожу по урл (http://сайт/id=значение)
- получаю данные, среди которых есть ссылка "подробнее"
- прохожу по ссылке "подробнее"
- получаю данные
- заношу данные в бд

Сейчас программа работает в 3 потока и скорость составляет 3-4 записи в базу за 2 секунды.
Страниц, которых необходимо спарсить больше 2 млн и чтобы пройтись по всем при текущей скорости работы понадобится очень много времени.
Получение страницы и парсинг происходит с помощью библиотеки HtmlAgilityPack

Как можно ускорить работу?

Answer 1

[sim3x]

Запустить 300 потоков

Comments

[Spheniscus]

пробовал ставить 5 потоков - работает некоторое время, потом ошибка вываливается, что данные с сайта не получены, либо таймаут работы с базой.
А если делать задержку в потоках, то смысла от большого количества, получается никакого

[sim3x]

Spheniscus: а в чем проблема нормально настроить СУБД?

В чем проблема найти максимум, который выдержит сайт-донор?

[Tom Nolane]

sim3x: 1023 потока максимум даёт на 2-ух ядерном и ещё 1000 для IO

[Tom Nolane]

Spheniscus: быстрее HtmlAgilityPack работает только Regex.
+ скорость соединения с инетом влияет + и скорость "сайта" на который вы заходите, т.к. он может быть расположен на очень "худых" серверах с минимальными возможностями (для всего)

[Tom Nolane]

Spheniscus: и как именно вы создаёте потоки? (покажите кусок кода создания потоков)

[Spheniscus]

Tom Nolane:

Thread thread1 = new Thread(One);
thread1.Start();

private void One()
{
получение информации с сайта
запись в базу
}

[Tom Nolane]

Spheniscus: ThreadPool.QueueUserWorkItem

Answer 2

[ThunderCat]

Или как sim3x советует, или есть еще вариант - не лить в базу, а фигачить все как есть в файлы, а на локале уже парсить. Уходит проблема с бд, ну, временно, разобраться что за косяки с бд все равно предстоит, но данные уже будут расположены локально, их можно и чем-то побыстрее пыха запарсить. И например в цсв сохранить, а потом тупо залить в базу.