• Как парсить сайт через proxy?

    @noremorse_ru
    Я проксирую запросы через ТОР, никакого гемороя с покупкой прокси и прочим, спарсил больше 2 млн страниц вообще без отрубов. Чуть позже выложу на гитхаб, сможете взять себе для примера
    Ответ написан
    Комментировать
  • Как парсить сайт через proxy?

    dimonchik2013
    @dimonchik2013
    non progredi est regredi
    мобильные прокси
    тру прокси
    просто другой прокси
    например, бесплатные и много

    это во вторых

    и методы анонимизации во первых
    Ответ написан
    Комментировать
  • Как запустить программу на сервере?

    NeiroNx
    @NeiroNx
    Программист
    в коде обработчика запроса делаете условие по которому запускается программа и запускаете через
    child_process.spawn()

    В любом случае когда к серверу обращается клиент по какой то ссылке - то сервер выполняет какой-то код чтобы вернуть необходимые данные, вот в этом коде и производить запуск и отдавать данные о запущенном процессе.
    Ответ написан
    Комментировать
  • Как запустить программу на сервере?

    IceRD
    @IceRD
    const express = require('express');
    const http = require('http');
    const app = express();
    app.get('/', function (req, res) {
            //code
    	res.send('GET request to the homepage');
    });
    const http = http.createServer(app);
    http.listen(3000, () => console.log('app run on port 3000'));

    Создаете сервер на NodeJS, в app.get указываете какие роуты и что с ними делать, запускаете сервер. (висит активным, по аналогии как веб сервер, по которому можно зайти и что-то посмотреть).
    Далее, по созданным роутам выполняете скрипты и/или забираете данные вашим скриптом из Python.
    Ответ написан
    Комментировать
  • Что такое такое rest api?

    @eandr_67
    web-программист (*AMP, Go, JavaScript, вёрстка).
    API социальных сетей - это вполне типичные примеры реализации REST API.

    REST (RESTful) - это общие принципы организации взаимодействия приложения/сайта с сервером посредством протокола HTTP. Особенность REST в том, что сервер не запоминает состояние пользователя между запросами - в каждом запросе передаётся информация, идентифицирующая пользователя (например, token, полученный через OAuth-авторизацию) и все параметры, необходимые для выполнения операции.

    Всё взаимодействие с сервером сводится к 4 операциям (4 - это необходимый и достаточный минимум, в конкретной реализации типов операций может быть больше):
    1. получение данных с сервера (обычно в формате JSON, или XML)
    2. добавление новых данных на сервер
    3. модификация существующих данных на сервере
    4. удаление данных на сервере

    Операция получения данных не может приводить к изменению состояния сервера.

    Для каждого типа операции используется свой метод HTTP-запроса:
    1. получение - GET
    2. добавление - POST
    3. модификация - PUT
    4. удаление - DELETE

    Т.е. :

    GET-запрос /rest/users - получение информации о всех пользователях
    GET-запрос /rest/users/125 - получение информации о пользователе с id=125
    POST-запрос /rest/users - добавление нового пользователя
    PUT-запрос /rest/users/125 - изменение информации о пользователе с id=125
    DELETE-запрос /rest/users/125 - удаление пользователя с id=125
    Ответ написан
    20 комментариев