Что значит элемент словаря не инициализирован?

1Tima1, код, который вы опубликовали здесь полностью рабочий.
"элемент словаря не инициализирован" означает, что вы пытаетесь обратиться к элементу словаря, который не инициализирован. Что именно вам не понятно?

Что значит элемент словаря не инициализирован?

1Tima1, на русском можно?
Что именно у вас не так?

Что значит элемент словаря не инициализирован?

Оба эти кода полностью рабочие и делают ровно то, что написано.
С чем у вас проблемы?

Кто слышал о нововведениях фл?

Анастасия Мр, да кто там сидит вообще - 4 миллиона посетителей в месяц, у того-же freelancehunt, который по сути сугубо украинский - чуть больше 3 миллионов, только вы сравните население Украины и России. На фрилансере - 15 миллионов, на апворке - 40 миллионов, вот и сравнивайте.
Отток пользователей все больше и больше, вот и пытаются выжимать максимум денег, пока окончательно не загнутся. Да и к тому-же все больше клиентов уходят на зарубежные биржи, т.к. лучше уж нарваться на индуса, чем на русского школьника, да и в целом на том-же апворке индуса идентифицировать гораздо легче, чем русского школьника на фл.

Vk бот на python, для масштабного применения?

Альберт Энштейн, в том-же, в чем и vk_api. Это просто библиотека которая облегчает доступ к api, что-бы вам не приходилось самостоятельно устанавливать подключение, писать все методы и т.д. Отличие aiovk в том, что все функции она выполняет асинхронно, т.е. у вас никогда не будет проблем с тем, что бот может не успеть обработать поток событий, т.к. именно для этого асинхрона и делалась.

Vk бот на python, для масштабного применения?

Альберт Энштейн, и да, что вы вообще собираетесь обрабатывать 15-20 минут? С чем связано это время ожидания?

Vk бот на python, для масштабного применения?

Альберт Энштейн, если после "кое-какой" обработки вы не планируете дальше опрашивать пользователя, то да, поток. Если планируете - можете столкнуться с кучей проблем и лучше все-же посмотреть в сторону aiovk.

Что делать если kali linux live не запускается дальше командного журнала?

DarKXoll, в терминале пароль нигде не отображается при наборе.

Ускорить обработку файла?

sim3x, что-бы записать файл его нужно открыть. Или питон умеет открывать 1 строку файла?

Ускорить обработку файла?

sim3x, какое это отношение имеет к размеру списка?

Ускорить обработку файла?

sim3x,

файл количеством строк в 8 тыс

Если взять среднюю длину строки за 120 символов, то размер списка с 8000 строками будет без малого 1 мегабайт.
Какой вообще сценарий возможен, что-бы в наличии иметь .txt для которого не хватит ОЗУ? Как его тогда вообще записывали, как открывали?

Проблема с установкой pip и тд. Можете помочь?

Lsplay, и добавьте python в переменное окружение, иначе вам скрипты python придётся выполнять каждый раз перемещаясь в папку python

Проблема с установкой pip и тд. Можете помочь?

Lsplay, python -m pip попробуйте

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, кстати, вы в своем примере все-же использовали Queue вместо брокера типа Redis - почему? В каких вообще ситуациях есть смысл использовать брокер, а когда можно обойтись и стандартной очередью?
Как я вижу - брокер удобнее использовать с точки зрения масштабируемости? Типа на сервере поднять именно парсер, который будет ждать новые страницы и по необходимости отдавать ему эти страницы.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, запись в бд - io-bound же, или на фоне простаивания запись будет занимать мизер времени?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, извиняюсь, я наверное вам окончательно надоел, но как лучше организовывать выгрузку данных? Создать еще одну очередь, которая будет писать в БД все спарсенные данные, или дожидаться окончания работы парсера и затем разом все данные записывать?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, большое спасибо, общая идея дошла.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev,
1. Т.е. я без проблем могу

pub = await aioredis.create_redis('redis://localhost')

оставить в __main__ и сам pub передавать в качестве аргумента? Ок.
2. Я использую публичные прокси конкретно для этого скрипта, там овер-много блоков и мертвых прокси. В том скрипте, который чисто на multiprocessing работает вроде ничего не зациклилось. Может поищу что-то среднее между паблик и приват прокси, тогда уберу while
3. Хорошо.

По поводу "впихнуть пару строк" — можно попробовать оставить в первом скрипте, который качает данные. Я почти уверен, что одна регулярка почти не помешает IO операциям

Вы не поняли. Основная проблема в том, что ссылку на страницу, где я применяю регулярку, получить можно распарсив 1 из 3 страниц, при чем на любой из этих страниц как может быть ссылка, так и нет.
Т.е. последовательность такая:
1. Паршу страницу.
2. Ищу на ней ссылку.
3. Если есть ссылка, то перехожу к п. 4, если нет, то повторяю п 1.
4. Загружаю новую станицу.
5. Прохожусь по ней регуляркой в поиске емеил.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, получаю html со всех страниц:
html_scrape.py (pastebin)
получаю данные из этих html:
html_parse.py (pastebin)
1. Насколько такой подход близкий к правильному?
2. И куда мне все-таки впихнуть вот эту пару строк:

response = await r.text()
match = re.search(r'[\w\.-]+@[\w\.-]+', response)

Суть в том, что этот кусок нужен для нахождения email на странице, ссылку на которую есть только на другой странице. Т.е. мне нужно: получить html страницы, распарсить её, найти ссылку на другую страницу и только на этой другой странице можно найти email. Все остальные страницы я могу в "сквозную" загружать с asyncio. Собственно, насколько сильно это может тормозить процесс парсинга html страниц, если я впихну туда 1 обычный реквест?

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, извиняюсь, могу я в этом треде напоследок вам еще один вопрос задать касательно pub/sub механизма redis и создания multiprocessing pool?