Как изменить наcтройки Python проекта «ProxyBroker» для парсинга и чека прокси и заставить его работать бесконечно?

Question

[Михаил Компас]

Запустил сервер на Ubuntu 16.04
На сервере установил и запустил этот Python проект по чеку и парсингу прокси: https://github.com/constverum/ProxyBroker

скриншот

Подскажите, как изменять эти параметры данного Python проекта?
- указать на какой сайт чекать,
- как оставлять только https и socks5 прокси,
- ГЕО прокси на выходе должны быть не из Китая

Как запустить данный скрипта на непрерывную работу 27/7 с сохранением результатов, который можно в увидеть например сделав запрос из браузера, к примеру в таком виде: http://site.ru/results.txt

Такого в инструкции вроде нет github

Comments

[Михаил Компас]

Dr. Bacon, такого в доках нет. Если ошибаюсь, то прошу ткнуть пальцем ))

Answer 1

[Алан Гибизов]

Полистал github и доки проекта, сходу мне видится вот что:
Прогу можно использовать несколькими разными способами.
Как отдельную программу:
Можно запускать и получать распечатку;
Можно запускать и получать выгрузку в файл;
Можно запустить как сервер прокси.
Как модуль программы на python:
Импортировать её в программу и оттуда вызывать с нужными параметрами и результат получать то же самое, что и в случае отдельной программы, но с возможностью менять параметры запросов и использовать полученные данные внутри программы.

Не совсем понял, что значит «запустить скрипт на непрерывную работу». Он должен непрерывно дописывать новые прокси в конец списка? Или он должен регулярно выдавать новую десятку прокси взамен предыдущей? Или он должен сам начать безостановочно работать как один из цепочки прокси, которые он находит по своим каналам?

Comments

[Михаил Компас]

он (как в инструкции указано) имеет 50+ источников откуда парсит прокси. Скрипт должен делать это не по моему запросу, а непрерывно например каждые 1-2 минуты.

либо же чекать мой список (указанных мною URL, см. спойлер с примером ниже) сайтов, на которых присутствует раздача проксей. Также он должен делать это по таймеру, например каждые 1-2 минуты

спойлер с примером моего URL c раздачей прокси

При любом раскладе, после каждого парсинга и чека, он должен результаты записывать в txt файл , именно полностью перезаписывая TXT файл новыми проксями (удалять старые прокси из этого файла)

Финальный txt файл должен быть доступен мне, желательно через браузер например сделав запрос из браузера, в таком виде: site.ru/results.txt

[Алан Гибизов]

Михаил Компас, как я вижу это всё:
1. Пишем скрипт на чём-нибудь, например на python:

import time

pausesec = 60
while True:
    вызов модуля прокси с параметрами и выводом в тхт. 
    time.sleep(pausesec)

Такая конструкция будет раз в 60 сек. запускать Вашу проксепроверялку, которая будет выгружать результат в файл. Как именно указать параметры - это уж вы сам разберитесь с проверялкой. Не забудьте также вписать import для модуля проксепроверялки, как в примерах.

2. А чтобы ваш файл можно было увидеть через web как вы показали, этот текстовый файл надо класть в корень вашего web-сервера. И, соответственно, зная имя файла, Вы его своим запросом в браузере получите. Конечно, если сервер доступен оттуда, откуда к нему делаете запрос.