Друзья, большое Вам всем спасибо за проявленное участие. Я не могу на 100% сказать, какое решение правильное/лучшее, но кажется что gc.collect(), который есть в моём примере, но по факту был добавлен в одном из последних вариантов - решает большинство проблем, но не все.
Кажется что сжатие в zip в некоторых случаях эти проблемы создает. Я наблюдал ситуацию, когда в STATIONS_LIST был один элемент, на клиент выбиралось порядка 5 Гб данных при этом память процесса росла медленно и пропорционально. Затем молниеносно выбирались все имеющиеся 32 Гб (в системе больше, но порядка 32 было доступно) и, система уходила в свап, затем ОС убивала мой скрипт.
В силу того что все описанные процессы очень медленные, а задача одноразовая - я решил ее, разбив исходный список на меньшие части (на ручнике). Если мне придется делать то-же самое повторно, то я буду делать как сказал Александр :
офлоудить работу другому процессу
.
ps Pandas я тут использовал по разным причинам, в первую очередь просто в силу привычки, но КМК pandas в этой ситуации должен использовать меньше памяти т.к. у него под капотом честные массивы, а не "вот это всё питоновское" (я не проверял эту гипотезу).
Как то это радикально. Ну можно наверное если других вариантов не будет. Но бэкап же всё-равно восстановить надо - не хочется терять переписку, контакты, фоточки и всё такое. Так что не факт что поможет.
Iphone 13. IOS 15.3
зы: Вообще конечно поражен происходящим. Не ожидал от эпла такого. Это нам расплата за то что не уберегли Джобса.
А на циске группой команд IP NAT ..., на микротике /ip firewall nat add
Есть ещё такие вещи как джунипер и хуавей.
Мне кажется мы с Вами сейчас честно обменялись порциями бесполезных фактов, не относящихся к теме обсуждения. Если Вам мало - скажите, я еще нанесу.
Сайпутдин Омаров, нет :(
Часть софта, который должен ходить в ВПН поставил внутрь ВМ, а для остального который не удалось завести под виндой нарисовал пробросы портов поштучно через netsh.
Пока так. Будет время - попробую серверную версию винды применить.
зы: Когда я был юн и невинен - под винду была куча софта типа Kerio Winroute который из коробки делал ровно то что мне надо. С удивлением обнаружил, что сейчас ничего такого не осталось.
Задача попасть с лиукс машины в VPN сеть, при том что клиент этого VPN существует только под винду. Для этого на динукс машине поднята виртуалка с виндой. А дальше по схеме:
