Как мониторить работу скрипта?

Сергей Горностаев, Формально опрашивает большое количество урлов через head запрос пока со скоростью +/- 520 запросов в секунду(пытаюсь выжать больше). За описание способа спасибо я бы о таком не подумал. Однако в текущией реализации я думаю что таймауты aiohttp должны перехватывать такое вмешательство в процесс парсинга формально сейчас сессия живёт не больше 14 секунд(вынужденная мера как раз таки от зависания соеденения). Добавил частично код к вопросу за критику буду благодарен. )

Как мониторить работу скрипта?

Вадим, Основные фрагменты забросил в вопрос.

Какой конструктор моб. приложении подойдет для доска обьявлении?

asito asito, "Посоветуйте пожалуйста конструктор моб. приложении для доска обьявлении?"
Смотрится как вставка текста в шаблон. =)

Какой конструктор моб. приложении подойдет для доска обьявлении?

К вашему конструктору вопросов есть вопросы. XD

Как оптимизовать скорость скрапера?

Dr. Bacon, Регулировка скорости парсинга через него идёт. Душим количество доступных дескрипторов когда мало информации. =)

Как оптимизовать скорость скрапера?

Dr. Bacon, По коду визуально сам склоняюсь попробовать распараллелить фрагмент с чанками. Просто не до конца разбираюсь как правильно паралелить такой участок. По факту асинхроная функция опроса получает все необходимые данные, но я не совсем уверен в том как параллелится event loop.

Как реализовать распределение вероятностей в зависимости от значений?

dmshar, Спасибо большое.)

Как реализовать распределение вероятностей в зависимости от значений?

Спасибо, большую часть так и сделал. В вопросе и правда есть ошибка "чем меньше значение тем больше вероятность". Грубо говоря нужно обратное распределение.
Так же думал над нормализацией но пока без неё.

Сейчас у меня есть возможность использовать список весов тем самым я могу отнимая от единицы получившийся маленький вес 2-ки сделать большим. Но это не совсем правильно не могу понять как сделать так что бы вероятность имела отрицательную обратную связь в зависимости от величины.

Ага кажись понял если я отниму от единицы получившуюся вероятность то если я опять сложу все такие обратные вероятности для чисел и начну делить эти обратные вероятности на их сумму то получу ситуацию когда меньшему числу соответствует большая вероятность.

Как правильно закончить код?

Эрнест Варданян, Увы ваш стиль изложения не даёт понять смысл вашей задумки. Но если он всё время в цикле, то либо закрывайте и открывайте в этом цикле либо выводите из цикла.

Как организовать возможность прослушать запросы которые делает Android приложение?

Предположительно схема с фидлером(allow remote pc галку поставил) могла не заработать или из-за смарта или из-за PC, но я так и понял что у меня что-то пошло не так. По идее браузер должен был хотя бы сказать, что не доверяет сети однако он диагностировал её как без подключения к интернету после указания адреса лаптопа и порта фидлера. Забавно что в вайбер сообщения проходили а вот медиа файлы уже нет.)

Telegram автоматическое открытие ссылок?

Endru, Мне кажется это более понятнымmedium.

AWS vs GoogleCloud vs DigitalOcean – как выбрать облако?

DevMan, Я посмотрю пока видимо не хватает опыта без итогового инструмента, что бы сформировать точный образ всех требований. Так что пока использую облако да и возможно очередь задач позднее вернётся на реализацию через лямбду. Надо будет ещё увидеть счёт за aws первая версия ела 12$(при в 4 меньшей загружености) но если поправлю все нюансы с производительностью и бесперебойностью то можно будет задуматься о том чтобы что-то переводить. Пока в aws очень радует интернет соединение, отсутствие платы за загрузку CPU и конечно очень хорошая бесперебойность работы инстанса.

AWS vs GoogleCloud vs DigitalOcean – как выбрать облако?

Иван Шумов, Ну если кратко пока нащупал требования фулл up-time 5 TB канал и 330RPS даже при мелких сбоях в сети прокси. Утилизация процессора, 2 vCPU по 3.4, правда всего лишь 50% резерв уйдёт на дополнительные функции.

AWS vs GoogleCloud vs DigitalOcean – как выбрать облако?

Если я к примеру не использую ничего кроме EC2 инстанса. Это простой парсер и единственная загвоздка это то что даже со слоем прокси он должен иметь скорость свыше 330 запросов в секунду. Api и задачи для lambda в итоге всё равно переехали на инстанс сервера просто потому что так оказалось проще. На сколько я ошибаюсь используя aws, на ваш взгляд и опыт?
Возможности и нужды системы покрывает уровень c5.lager а трафик пока визуально за месяц не выходит за 5TB.

Почему phantomjs парсит не все?

Да пусть развлекается на все деньги так сказать. )

На какой стороне может быть затык с максимальным количеством tcp соеденений?

Спасибо ушел развлекаться.)

На какой стороне может быть затык с максимальным количеством tcp соеденений?

Да на одной. Система linux вроде AMI Amazon Linux.

На какой стороне может быть затык с максимальным количеством tcp соеденений?

Dr. Bacon,

Cannot connect to host 45.153.216.172:80 ssl:default [Too many open files]
Cannot connect to host 45.87.249.66:80 ssl:default [Too many open files]
Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]
Cannot connect to host 45.136.172.91:80 ssl:default [Too many open files]
Cannot connect to host 45.128.24.10:80 ssl:default [Too many open files]
Cannot connect to host 45.135.36.199:80 ssl:default [Too many open files]
Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]
Cannot connect to host 138.128.40.171:80 ssl:default [Too many open files]
Cannot connect to host 104.227.27.126:80 ssl:default [Too many open files]
Cannot connect to host 195.158.192.129:80 ssl:default [Too many open files]

Что то и забыл про лог ошибок.

Как запустить multiprocessing Pool в одном из потоков?

Ivan Yakushenko, Не я именно про обработку результатов после eventloop, это просто массив на прогонку по условиям, там по идее await не должен иметь смысл, так как формально процессор не имеет точек ожидания в функции разбора результатов. Но это как я это понимаю. Вероятно позже подумаю над добавлением редиса и распараллеливания по процессам сейчас боюсь не хватит времени переписать код под это.

Как запустить multiprocessing Pool в одном из потоков?

Ivan Yakushenko, Ну редис отказывался ставится на первой легкой конфигурации инстанса так что я его и не трогал. Касательно выброса результатов в редис не уверен но формально не так уж и много мегабайт должно получится. В общем-то основное немного сжатые рамки по времени запуска и отсутствие опыта работы с Redis в качестве хранилища очередей. Касательно этапа обработки формально асинхронность не особо нужна так как обработка это набор if и редкая вставка в очереди.