Как использовать proxy на node.js?

Question

[game802]

Добрый день уважаемые знатоки. Купил доступ к proxy листам, но не могу понять как их использовать..
у меня есть (пример реальных прокси) огромный листинг этих серверов:

120.77.158.173:80
120.132.52.111:8888
189.35.153.168:53281
185.25.10.114:8080
120.132.52.188:8888
78.94.131.126:80
180.150.191.238:8888
120.132.52.230:8888
120.132.53.2:8888
218.201.98.196:3128
120.132.52.99:8888
95.143.143.59:53281
91.121.209.52:3129
54.201.251.90:80
36.67.78.225:53281
120.132.52.7:8888
61.183.8.61:3128
190.116.175.2:3128
60.249.19.50:8080
159.203.50.248:3128
66.78.19.25:11442
112.74.101.239:8080
172.104.99.26:3128
138.197.79.163:3128
192.241.150.188:3128
120.132.52.254:8888
116.62.125.12:28080
116.62.125.12:80
180.150.191.248:8888
120.132.52.141:8888
120.132.52.148:8888
120.132.52.98:8888
222.186.153.164:8080
180.150.191.156:8888
120.132.52.137:8888
138.68.173.29:8080
116.62.116.68:80

У меня есть парсер, в который я передаю ip и порт этого proxy:

needle.get(url, { proxy: '120.132.52.125:8888' }, function (err, res, body) {

Проблема в том, что я не могу сделать запрос к сайту через прокси... в чем может быть проблема??
на сколько я понимание, запрос образуется следующим образом: 120.132.52.125:8888/sitename.com
каким образом мне использовать эти прокси сервера для парсера...? Спасибо за любую помощь! В знак благодарности за помощь, поделюсь элитными прокси! Спасибо!
P.S. Есть VPS на Ubuntu 16.04, может быть этот список можно засунуть куда-нибудь туда..? (глупый вопрос, но все же)

Answer 1

[Alexander]

120.132.52.125:8888/sitename.com
Таким образом разве что анонимайзеры работают какие-нибудь.

Просто делайте запрос к sitename.com, указав прокси в библиотеке для запросов (в вашем случае needle).

Comments

[game802]

Здравствуйте! Большое спасибо за ответ! Но, я прописал в библиотеке proxy.. и ничего не работает. Не могли бы Вы мне помочь в решении этой проблемы..?
Я указал

needle.get(url, { proxy: '120.132.52.125:8888' }, function (err, res, body) {

, как это написано в документации но ничего не выходит.. в чем может быть проблема..? Большое спасибо!

[Alexander]

HackOwnB: проблема в ваших прокси, не в библиотеке или неправильной работе с ней. На многих прокси из списка в первом посте выдается сообщение об ошибке squid'а (прокси сервера).



Я попробовал первый попавшийся прокси с https://free-proxy-list.net/ и с вашим кодом все нормально сработало.

[game802]

Alexander: какие бы прокси я не использовал, все время происходит какая-то фигня с ошибкой запроса...

110.77.187.62:3128
1.82.132.75:8080
и какие я только прокси сейчас не попробал, все бестолу..
Единственный, который заработал - это 42.115.88.153:53281
в чем может быть бяда..?

[Alexander]

HackOwnB: возможно проблема в запросах к https-ресурсам. По-крайней мере я попробовал еще раз сейчас на https и http одну и ту же прокси и не работают именно https.

Попробуйте вот так: codingmiles.com/node-js-making-https-request-via-proxy (внизу поста там полезные ссылки). У меня сходу не получилось, но может вам повезет больше :)