Почему продолжает расти потребление ОЗУ?

Влад Григорьев, я и так использую scrapy/asyncio где это удобно сделать. Сейчас мне нужно проверять по 3500-4000 страниц в минуту, ни scrapy ни asyncio не удовлетворяют этим требованиям.

Почему продолжает расти потребление ОЗУ?

Можно. Написать нормально

Хорошо, что в вашем понимании "нормально", что-бы была возможность за 1 минуту собирать 1000 записей с ~4000 страниц?
Допустим, BS выкинул, проблемы с памятью нет, отлично. asyncio работает в разы медленнее, чем multiprocessing в конкретно моем случае.

Увы, говнокод на то и говнокод

Мой говно-код решает мою задачу, вы предлагаете мне её не решать, только лишь потому что "нормального" способа решения задачи нет, а говно-код - это "фу". Я правильно вас понимаю?

Почему продолжает расти потребление ОЗУ?

но человек считает что все эти решения оверхед

Откуда придумали? Я использую большую часть того, что мне советуют здесь.

который считает себя умнее остальных

Считал-бы - не задавал-бы здесь вопросы.

Мы же тебе помочь хотим, а ты сопротивляешься

Чем? Советом, что 10 процессов лучше 1000? Единственный, кто в этой теме пытается помочь - это longclaps
Если вы не обратили внимания, то мой вопрос: на что расходуется ОЗУ и можно-ли как-то это предотвратить именно для этого кода?

Почему продолжает расти потребление ОЗУ?

Поставь семафор на 100 одновременных соединений, тебе хватит

И так стоял на 300 соединений. Больше - ValueError. Но при 300 соединениях все значительно медленнее.

О каких потоках в asyncio ты говоришь?

Я условно, не знаю как называются правильно асинхронные выполнения (или так и называются?).

Почему продолжает расти потребление ОЗУ?

Нет, это порядка на два больше, чем должно быть

Да и вообще что означает "чем должно быть"? Я делаю столько, сколько мне нужно, а не сколько "где-то там должно быть".

Сделай процессов 10 — тебе хватит.

Не смешно-же. У меня 1к потоков и я хочу больше, а вы мне 10 предлагаете =)

Почему продолжает расти потребление ОЗУ?

longclaps, т.е. в теории soup.decompose() мог-бы помочь избавиться от утечки памяти? Сейчас перезапускать скрипт точно не буду, но в следующий раз попробую, может действительно беда в том, что не сразу из памяти удаляется объект soup. Хотя если это так в 100% случаев, то у меня сразу после запуска скрипта память закончилась-бы.

Почему продолжает расти потребление ОЗУ?

Roman Kitaev, сеть не полностью нагружается даже сейчас при 1к процессов, страницы ооооочень малого размера. На asyncio писал, ValueError: too many file descriptors in select() при ~350-400 потоках. Этого недостаточно.

Почему продолжает расти потребление ОЗУ?

longclaps, с чем это может быть связано? К слову, когда делал последний замер в 16:03 было свободно 40,3 ГБ ОЗУ, сейчас - 40,5 ГБ. Т.е. спустя чуть больше 3х часов начало попускать.

Почему продолжает расти потребление ОЗУ?

Да ладно, не много же.
Тем-не менее память куда-то уходит постоянно и мне бы понять почему.

Почему продолжает расти потребление ОЗУ?

longclaps, т.е. это из-за bs?

Как выбрать элемент в Selenium из списка?

Eugene Chefranov, вы бы хоть немного посмотрели на код. вы второй раз уже ему отправляете одинарные кавычки в одинарных
Павел Рябов,
'//li[@id="l_pr"]/a[@onclick]'

Как выбрать элемент в Selenium из списка?

Павел Рябов, browser.find_element_by_xpath('//*[@id="l_pr"]/a')

Какие есть opensource ide/редакторы на Java?

С каких пор он на Java написан?

Какие есть opensource ide/редакторы на Java?

Спасибо, прям идеально.

Ошибка в коде Python?

Govnokod12, .lower() переводит все буквы в строке в нижний регистр и происходит проверка на 'y' таким образом вне зависимости от того введете вы Y или y оба варианта будут работать, что избавляет от возможных мелких проблем.

if start.lower() not in ["y", "n"] and timer != "y":

нужна для проверки, что на начальном этапе был выбран правильный вариант и при установке таймера так-же, иначе - возврат к началу с помощью continue

Как настроить пересылку данных от бота?

Не успеваю никак разобраться из-за сроков и нехватки знаний.

В следующий раз думайте, перед тем как браться за то, что вы не можете сделать.

Правильно ли я понимаю определение библиотек и фреймворков?

Oleg, в вопросе про python ни одной строчки про сам python. Более того все ваши вопросы настолько легко находятся в гугле, что вам следует просто вбить в поиск, например, фреймворк и нажать на первую ссылку.

Куда дальше развиваться it рекрутеру?

Denis, в странном вы мире живёте, раз у вас 100% != все.

Ошибка в коде Python?

javedimka, мешанина, но он близкий к оригинальному коду и он полностью работает так, как ТС того хочет, в отличии от предложенного Александр Шабельский вариантом, который мало того что не решает проблем упомянутых ТС, так еще и зацикливается на 2 вложенности.

Ошибка в коде Python?

Не позорьтесь, удалите ответ. Из 3х вопросов вы умудрились дать ответ на 0 из них и сделать код еще более неработоспособным.