Есть ли сервис proxy серверов для node.js?

Question

[LemanRass09]

Здравствуйте. У меня пару вопросов по поводу работы с прокси серверами на node.js.
Ниже я напишу пару своих предположений, пожалуйста поправьте меня если я не прав.

1. Я так понимаю что для node.js какой попало прокси сервер найденный в интернете - не подойдет. Я подозреваю что он должен быть специально подготовлен для работы с node.js источниками.

2. Судя по всему мне нужно будет поднять свой собственный прокси сервер который должен будет принимать ответы от других прокси серверов которым я отправляю запрос.

3. Схема работы с прокси серверам на node.js должна выглядеть приблизительно так: Создаю сервер для приема ответов с прокси серверов и прослушиваю конкретный порт. Отправляю запрос на прокси сервер указывая при этом айпи и порт прокси сервера который я в данный момент хочу использовать, айпи и порт своего сервера для получения ответа и каким то образом поместить свой собственный запрос который должен быть выполнен на прокси сервере и результат которого должен быть возвращает прокси сервером на мой собственный.

4. Не могли бы вы показать пример того как можно заставить прокси сервер допустим вернуть мне html конкретной страницы?

5. Не могли бы вы мне посоветовать пакет из npm репозитория для node.js учитывая мои потребности описанные в этих рассуждениях?

6. Не могли бы вы мне посоветовать сайт где можно получить бесплатный доступ или даже купить доступ к некому количеству прокси серверов которые подходят для работы через node.js? Интересует приличное количество серверов, к примеру 50.

Заранее спасибо за ваши ответы.

Comments

[LemanRass09]

Артём Петренков: Ну например что бы транслировать пакет через свой собственный прокси сервер допустим на родном мне C# мне надо было бы сделать там к примеру TCP сервер и некую логику ретрансляции пакета полученного от клиента. Без этой серверной части тупо машинка с ОС разумеется не подошла бы.

Answer 1

[Антон Л]

Три первых пункта мимо, т.к. никаких специальных прокси для ноды не существует. Проски не зависимый от платформы на которой вы разрабаиываете.
4. https://github.com/request/request/blob/master/REA...
5. https://github.com/chill117/proxy-lists
6. Ничего не покупайте, посмотрите на пункт 5.

//Для начала установите модуль request
//npm i request --save
/**
 * make get request through proxy
 * @param {string} url -   uri of resource
 * @param {object[]} proxyList - array of proxies
 * @param {string} proxyType='http' - type of proxy
 * @param {function} cb - callback
 */
const testProxy = (url, proxyList, proxyType, cb) => {
    if(!(proxyList instanceof Array) && !(cb instanceof Function) && !url){
        throw new Error('testProxy() arguments not set');
    }
    proxyType = proxyType || 'http';

    const proxyIndex = parseInt(Math.random() * (proxyList.length - 1));
    const proxy = proxyList[proxyIndex];
    const proxyUrl = `${proxyType}://${proxy.ipAddress}:${proxy.port}`;
    
    const anyParam = {method : 'GET', proxy : proxyUrl, strictSSL: false};
    
    request(url, anyParam, (error, response, body) => {
        if(error){
            cb(error);
        } else {
            cb(null, response, body);
        }
    });
};

Comments

[LemanRass09]

function TextProxy()
{
console.log("Testing proxy...");
var url = 'steamcommunity.com/inventory/76561198335988248/730/2';

var proxy = proxyList[parseInt(Math.random() * (proxyList.length - 1))];

var options = ({
port: proxy.port,
host: proxy.ipAddress,
method: 'GET',
uri: url
});

http.request(options, function(response)
{
var body = '';
response.on('data', function(chunk)
{
body += chunk;
});

response.on('end', function()
{
console.log("Received body");
fs.writeFile('response.html', body, 'utf-8', function()
{
console.log("Body writted into response.html.");
});
setTimeout(function() { console.log(body); }, 2000);
});
}).end();
}

Не подскажите что я делаю не так? Никак не могу найти годный пример кода базовой работы через прокси.

[Антон Л]

Отформатируйте код пожалуйста, хотя-бы отступы сделайте адекватными.

[LemanRass09]

Антон Л: Извините. Увидев, что нет функции форматировки кода в комментариях я почему то не подумал про pastebin... Вот адекватная версия: pastebin.com/H41Z4ZzP