Как решить вопрос с утечкой памяти?

i3a4em, Увы проект слишком большой уже, чтобы выложить его тут, с проблемой столкнулся буквально на днях, никаких глобальных правок не было.

Как решить вопрос с утечкой памяти?

shurshur, возможно, просто интересно почему тот же Pympler не показывает больших размеров у структур, еще раз проведу ревью кода, может реально что упустил, учитывая огромный поток данных, лог за день спокойно может занить гиг.

Как решить вопрос с утечкой памяти?

Dimonchik как я понял это предназначено для firefox.
Я использую

driver.execute_cdp_cmd("Network.setCacheDisabled", {"cacheDisabled":True})

для отключения кеширования

Не нажимаются клавижи в майнкрафт с помощью pyautogui, как это можно провернуть?

Kto Takoi, keyboard.is_pressed("w") не зажмет, а выдаст True если w нажата, возможно вы имели введу keyboard.press("w"), но проблему это не решает, это одиночное нажатие

Возможно ли добавить асинхронный def в синхронный скрипт Python?

Если вы используете синхронные методы, то не надо их мешать с асинхронными, ничего хорошего не выйдет, используйте потоки, а если хотите асинхронную библиотеку то socketio в помощь

Python Selenium как вставить текст с гиперссылкой?

Из вопроса не понятно куда вам надо вставить гиперссылку, если к примеру взять редактор текста на хабре то вот пример:

def paste_link(input_class: str, link: str, text: str):
    driver.find_element(By.CLASS_NAME, input_class).send_keys(f'<a href="{link}">{text}</a>')

Как получить уникальные значения поля ориентируясь по другому полю?

primitiv, поставьте нужное вам условие

$sql = 'SELECT DISTINCT color FROM TableName WHERE product=?;'

Как наиболее эффективно прочитать и работать с большим csv в Python?

ScriptKiddo Увы данный способ крайне ресурсоемкий на 10 ** 6 чтении из файла и записей в словарь ушло более минуты

1000000    69.301998615264894 сек.
memory usage:  297.9 MB

Тоесть только на запись в словарь уйдет около 30 минут и 7.6 GB оперативы
Вот код

import csv
from collections import defaultdict
import time
from memory_profiler import memory_usage


result = defaultdict(int)
st = time.time()

with open('test.csv') as f:
    reader = csv.DictReader(f)
    counter = 0
    for row in reader:
        full_address_tuple =(row["Postcode"],)
        result[full_address_tuple] += 1
        if counter == 10 ** 6:
            break
        counter += 1
        print(f"{counter}    {time.time() - st} ceк.", sep='',end='\r')
    print(f"\n\n{memory_usage()} MB")

Как наиболее эффективно прочитать и работать с большим csv в Python?

Импорт займет тоже не мало времени и ресурсов, а цель написать программу, которая должна потреблять как можно меньше памяти и процессорного времени.

Как наиболее эффективно прочитать и работать с большим csv в Python?

Vindicar пояснение по стобцам тут

Ошибки при использовании Selenium в Python при поиске элемента по имени класса, что не так?

Тульский Электронный самовар, попробуйте использовать только 1 класс, enJRDv

Ошибки при использовании Selenium в Python при поиске элемента по имени класса, что не так?

Тульский Электронный самовар, вместо Null он возвращает Exception, это упрощает процесс разработки, попробуйте указать указать full xpath, а лучше имя класса, это уже от сайта зависит

Проблемы с производительностью Selenium на python?

ab1 Спасибо за ответ, 1 пункт конечно есть, 2 пункт, проводил тесты, прироста в производительности не заметил, 3й пункт, я непосредственно взаимодействую с сайтом, путем вставкой разного js кода, и не только, и сложность валидации контента не позволяет взаимодействовать без webdriver, я не пользуюсь встроенным очистителем мусора от селениума, и держу сессию открытой до того момента пока ее не разорвет пользователь через тг, не засорять хром помогает 0й размер кеша.

Проблемы с производительностью Selenium на python?

rPman, eсть прогон 10 тестов на разных браузерах. Chrome показал лучший результат

Есть такая штука, как htmlunitdriver, самый быстрый вариант как минимум 2х раза быстрее ChromeDriver, но там свои недостатки

Проблемы с производительностью Selenium на python?

Владимир Куц, Пробовал, но давно, насколько помню хаб больше 10 нодов не держал, поэтому отказался

Почему при скачивании с heroku базы данных, бд скачивается в изначальном виде?

Огромное вам человеческое спасибо!

Как сделать неопределённое наследование в python?

Скажите пожалуйста, что ужасного вы увидели в этом кусочке кода, если вы про множественное наследование, разве это не одна из фич питона?

Как сделать неопределённое наследование в python?

Алан Гибизов, Поэтому я здесь, где как не тут новичкам улучшать свой код, пока требуется такая реализация, с опытом переделаю более профессиональнее, я уже молчу где можно получить код ревью проекта, без банального "Все херня, давай по новой"