Что делать если kali linux live не запускается дальше командного журнала?

DarKXoll, в терминале пароль нигде не отображается при наборе.

Ускорить обработку файла?

sim3x, что-бы записать файл его нужно открыть. Или питон умеет открывать 1 строку файла?

Ускорить обработку файла?

sim3x, какое это отношение имеет к размеру списка?

Ускорить обработку файла?

sim3x,

файл количеством строк в 8 тыс

Если взять среднюю длину строки за 120 символов, то размер списка с 8000 строками будет без малого 1 мегабайт.
Какой вообще сценарий возможен, что-бы в наличии иметь .txt для которого не хватит ОЗУ? Как его тогда вообще записывали, как открывали?

Проблема с установкой pip и тд. Можете помочь?

Lsplay, и добавьте python в переменное окружение, иначе вам скрипты python придётся выполнять каждый раз перемещаясь в папку python

Проблема с установкой pip и тд. Можете помочь?

Lsplay, python -m pip попробуйте

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, кстати, вы в своем примере все-же использовали Queue вместо брокера типа Redis - почему? В каких вообще ситуациях есть смысл использовать брокер, а когда можно обойтись и стандартной очередью?
Как я вижу - брокер удобнее использовать с точки зрения масштабируемости? Типа на сервере поднять именно парсер, который будет ждать новые страницы и по необходимости отдавать ему эти страницы.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, запись в бд - io-bound же, или на фоне простаивания запись будет занимать мизер времени?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, извиняюсь, я наверное вам окончательно надоел, но как лучше организовывать выгрузку данных? Создать еще одну очередь, которая будет писать в БД все спарсенные данные, или дожидаться окончания работы парсера и затем разом все данные записывать?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, большое спасибо, общая идея дошла.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev,
1. Т.е. я без проблем могу

pub = await aioredis.create_redis('redis://localhost')

оставить в __main__ и сам pub передавать в качестве аргумента? Ок.
2. Я использую публичные прокси конкретно для этого скрипта, там овер-много блоков и мертвых прокси. В том скрипте, который чисто на multiprocessing работает вроде ничего не зациклилось. Может поищу что-то среднее между паблик и приват прокси, тогда уберу while
3. Хорошо.

По поводу "впихнуть пару строк" — можно попробовать оставить в первом скрипте, который качает данные. Я почти уверен, что одна регулярка почти не помешает IO операциям

Вы не поняли. Основная проблема в том, что ссылку на страницу, где я применяю регулярку, получить можно распарсив 1 из 3 страниц, при чем на любой из этих страниц как может быть ссылка, так и нет.
Т.е. последовательность такая:
1. Паршу страницу.
2. Ищу на ней ссылку.
3. Если есть ссылка, то перехожу к п. 4, если нет, то повторяю п 1.
4. Загружаю новую станицу.
5. Прохожусь по ней регуляркой в поиске емеил.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, получаю html со всех страниц:
html_scrape.py (pastebin)
получаю данные из этих html:
html_parse.py (pastebin)
1. Насколько такой подход близкий к правильному?
2. И куда мне все-таки впихнуть вот эту пару строк:

response = await r.text()
match = re.search(r'[\w\.-]+@[\w\.-]+', response)

Суть в том, что этот кусок нужен для нахождения email на странице, ссылку на которую есть только на другой странице. Т.е. мне нужно: получить html страницы, распарсить её, найти ссылку на другую страницу и только на этой другой странице можно найти email. Все остальные страницы я могу в "сквозную" загружать с asyncio. Собственно, насколько сильно это может тормозить процесс парсинга html страниц, если я впихну туда 1 обычный реквест?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, извиняюсь, могу я в этом треде напоследок вам еще один вопрос задать касательно pub/sub механизма redis и создания multiprocessing pool?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev,

Ну и раз уж это парсить, то можно и всё остальное распарсить сразу

в смысле?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, не, дополнительные страницы можно парсить и по url, передавая его в качестве параметра в запросе. Единственное исключение:

response = await r.text()
match = re.search(r'[\w\.-]+@[\w\.-]+', response)

Я так понимаю это тоже CPU-bound и его нужно выкидывать из asyncio?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, а если обойтись все-таки 1 очередью?
Т.е. у меня есть основной сайт + 3 сайта с дополнительной информацией. Если я всегда с asyncio буду выгребать все 4 сайта и отдавать их через redis выполняться в multiprocessing?
С двумя очередями, как я вижу, будут плодиться лишние выполнения asyncio что может замедлить работу. Т.е. мне в любом случае нужно 100% грузить как минимум 2 страницы, если я буду грузить всегда 4 страницы, то это может быть быстрее, чем если создавать дополнительные асинхронные выполнения?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, понял, тогда что на счет другого:
Я захожу сначала на 1 страницу, нахожу на ней нужную мне ссылку, затем захожу по этой ссылке и там собираю нужную информацию, затем перехожу по еще одной ссылке и т.д.
Только для 1 записи мне нужно посетить минимум 3 страницы, иногда 5. Т.е. мне нужно зайти на страницу, спарсить с неё нужный результат и т.д.

Почему продолжает расти потребление ОЗУ?

загрузят процессор максимально возможно, не мешая друг другу

Т.е. эти условные 10 процессов будут отрабатывать максимально быстро и 100 задач по 10 процессов отработают быстрее, чем 100 процессов сразу?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, я правильно понимаю, что эффективнее будет загружать страницы с asyncio (aiohttp), загружать их в в условный html_pages = [] и оттуда процессами брать и парсить их?

Причём, количество процессов бессмысленно указывать больше, чем ядер у тебя в компуктере.

Почему? Если я запущу на данный момент 10 процессов, то они отработают гораздо медленнее, чем если запущу 100 процессов.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, нет, мой код работает и решает мою задачу, где вы вообще увидели в моем сообщении обратное?
Давайте еще раз продублирую вопрос: "Собственно: на что расходуется ОЗУ и можно-ли как-то это предотвратить именно для этого кода?". Сейчас "жор" ОЗУ очень незначительный, иногда даже память освобождается но вопрос всё еще актуальный.