impressive17, партиционирование не исключает индексов, а дополняет - просто один большой индекс и, в худшем случае, фуллскан одной большой таблицы заменяется возможностью исключить на этапе планирования ненужные диапазоны и потрогать только нужные секции - https://postgrespro.ru/docs/postgresql/14/ddl-part...
kalapanga, почему, кстати, именно колонки? Какое-то странное, имхо, желание...
Я не помню точно, возможно более опытные товарищи меня поправят - но по-моему, постгрес резервирует для каждой новой строки таблицы место сразу, вне зависимости от того, пустые ли поля и сколько байтов реально занимают записи внутри них - по максимуму.
Никита Каменев, так вы обвиняете людей, которые предлагают хоть какие-то варианты, в плохой работе вашего софта или чего? :)
Приведите цифры - что вы сделали, как, и с какой производительностью оно молотит в 1 поток, 2 и т. д, тогда и не будет так бесящих вас "ответов про кёрл".
DaniilPo, для начала хотелось бы понять, какой у вас веб-сервер и вообще, есть ли он - или вы, не дай бог, обмазаны всякого рода панелями, веб-хостингами и прочей пеной интернета?
ORTOL, они не могут обеспечить, потому что подавляющее большинство клиентов не имеют потребности в постоянной смене белого адреса - это исключительно ваше желание, как парсирующего. А поскольку решать эту проблему вы хотите почему-то за счёт своего интернет-провайдера (хотя существуют куда более подходящие методы), то ожидаемо сталкиваетесь с непониманием.
Попробуйте задать тут вопрос в форме "Я парсирую сайты из дома, но IP быстро банят. Что с этим поделать?".
И вот опять... какой-то в последнее время хреновый интернет, ничего в нём не найдёшь.