грубо говоря это сторонние зависимости, они должны быть исключены из гита.
что бы можно было потом быстро развернуть именно те пакеты которые нужны, можно воспользоваться командой pip freeze, который сгенерит файлик с зависимостями, который уже нужно хранить в git-е.