hoarywolf

Потому что connection.connect не должен быть внутри app.get, что по-вашему должно произойти, если одновременно несколько пользователей обратятся к вашему серверу? connection у вас глобальная переменная каждый из пользователей будет пытаться ей делать connect, хотя она и так уже connected и обрабатывает в это время запрос другого пользователя.

Вам либо надо вынести connect и делать подключение сразу как запускается скрипт, либо использовать пул подключений и выделять из него соединения каждому пользователю.

https://github.com/segmentio/nightmare

Вы странно вопросы задаете
— одни сайты можно спарсить одностроковым perl-скриптом, другим из-за скриптов и ajax-ов нужны тяжелые phantom или nightmare.
— в одном случае парсят, например, название и цены, которые можно в csv положить, в другом данных так много, что проще сразу в БД, а в третьем огромные статьи с картинками, для которых csv не особо подходит