Можно, конечно. Физика требуется на узком классе задач, которыми вы просто не будете заниматься. А если захотите – самообразование в помощь.
У нас в городе в гос требовалась физика, а в политех - информатика. Но логика была не в том, что программистам будет нужна физика много где, а в том, чтобы сделать отсев - физику сдавать сложнее было.