virtualenv никак не связан с твоим проектом. Это python, который отделён от других в системе. Проект может лежать где угодно. Несколько проектов могут использовать один virtualenv. Если тебе нужны другие python пакеты для другого проекта и ты хочешь их отделить надо создать ещё один virtualenv.