Роман Бурч, я пишу чтобы у особо одаренного выяснить, что именно он хочет, потому что он указал две разные хотелки. А вообще странно видеть, с уточняющего вопроса, подрыв пердака у ТС.
А по факту со временем у тебя в разных проектах будет разные версии пакетов и проблема опять возникнет. Ну и это скорее проблема PyTorch, вот у меня, например, куча бекенд проектов и проблемы с местом нет. Возможно тут нужны решения на другом уровне, например, файловые системы с возможность дедубликации.
Ну так создай базу с "миллиардом" записей и сделай замеры, в чем проблема?
Ты сейчас придумываешь узкое место, а по факту окажется, что при таблице с миллиардом записи, у тебе вообще другие узкие места будут, так что тут помогает только создание тестового окружение и его исследование. Так же может оказаться, пока ты растешь до этого миллиарда, у тебя сильно поменяют схемы данных.
Nightmare A, ты читать умеешь? впечатление что отвечаешь не читая, я тебе написал "чтобы она тебе написала верный sql", естественно у тебя сейчас неправильный запрос, потому что не понимаешь как он работает.
а ведь мог просто погуглить или правильно сформулировать запрос к LLM, чтобы она тебе написала верный sql запрос с ROW_NUMBER() OVER, хотя можно и без него
Будет у тебя 1кк записей, ты будешь их каждый раз в память выгружать? еще и сортировать, когда можно отсортировать уже в sql запросе, еще и все поля, хотя тебе надо только одно (если сортировку на сервера сделать), а еще у списка есть метод index
Nightmare A, я тебе вообще про другое пишу. Еще, зачем тут тег python, когда у тебя вопрос про sql, ну и не нужно ставить "Сложный", твой уровень вопросов даже до среднего не дотягивает.