Как решить вопрос с утечкой памяти?

Question

[Иван]

Суть вопроса, какие есть варианты выявить в каком месте утечка памяти.
Есть бесконечный цикл (selenium), который обрабатывает информацию на странице, использую chromedriver.
Для анализа потребления памяти использовал memory-profile

Тык

Тык

А так же заметил рост потребления памяти в файле подкачки, я предполагаю это хром, при достижении предела, экземпляры начинают закрываться с ошибкой, 0xc000012d или 0xc0000142, эти ошибки разобраны тут
Pympler же не показал какого либо неконтролируемого роста потребления памяти

tr = tracker.SummaryTracker()
tr.print_diff()

Тык

types |   # objects |   total size
================================================= | =========== | ============
                                             dict |         222 |     40.07 KB
                                              str |         257 |     22.63 KB
                                           method |         122 |      7.62 KB
                             urllib3.util.url.Url |          36 |      3.38 KB
                                       memoryview |          12 |      2.16 KB
                               _io.BufferedReader |          12 |      1.97 KB
                     urllib3.util.timeout.Timeout |          34 |      1.59 KB
                         urllib.parse.ParseResult |          18 |      1.55 KB
  selenium.webdriver.remote.webelement.WebElement |          33 |      1.55 KB
                                    managedbuffer |          12 |      1.50 KB
                                            bytes |          15 |      1.29 KB
                       builtin_function_or_method |          16 |      1.12 KB
                                        TypeError |          12 |    960     B
                                             cell |          21 |    840     B
                                             code |           4 |    824     B

Причем в какой то момент потребление оперативной памяти может сократиться в 2 раза, но рост потребления памяти в файле подкачки сохраняется

Тык

Тык

Comments

[AlbertForest]

Сложно ответить не видя код. Python в любом случае делает то, что ты написал. А вот что ты написал - это вопрос

[shurshur]

Ну что содержимое памяти по мере её исчерпания перемещается в swap это вполне нормально. А вот рост занимаемой памятью, скорее всего, вызван непосредственно используемым алгоритмом, который, например, запоминает в каком-нибудь словаре данные, которые не нужны после использования.

[Jack444]

Соглашусь с выше написаны, в питоне сложно реализовать утечку из-за сборщика мусора но вот недоглядеть и где-то забивать хламом дикт или лист вполне реально

[Иван]

shurshur, возможно, просто интересно почему тот же Pympler не показывает больших размеров у структур, еще раз проведу ревью кода, может реально что упустил, учитывая огромный поток данных, лог за день спокойно может занить гиг.

[Иван]

i3a4em, Увы проект слишком большой уже, чтобы выложить его тут, с проблемой столкнулся буквально на днях, никаких глобальных правок не было.

Answer 1

[Dimonchik]

profile.set_preference("browser.cache.disk.enable", False)
profile.set_preference("browser.cache.memory.enable", False)

но вообще причин куча возможных

Comments

[Иван]

Dimonchik как я понял это предназначено для firefox.
Я использую

driver.execute_cdp_cmd("Network.setCacheDisabled", {"cacheDisabled":True})

для отключения кеширования