Александр Павлюк: Можно спросить для чего на nginx делать proxy-pass и почему нельзя отправить запрос на определённый домен сразу на обработчик net/http на Go?
Suxoi: У меня тоже задействована БД была и я брал из неё данные и в ней же обновлял по результатам. Почему работа с БД исключает 10 одинаковых скриптов? nodejs? Переходите конечно но смысл? Для php это ерундовая задача...
Александр Павлюк: Правку принял, вообще я имел ввиду что сервере стоит всё что нужно - nginx, apache и работают обычные сайты, т.е. он не заточен под Go-разработку
Suxoi: какие 2 месяца? у меня в однопоточном режиме 140 запросов в минуту где-то, 10 скриптов моно параллельно запустить легко, итого 2 млн ссылок скачаются за 23 часа