У TCP для идентификации соединения используются адреса отправителя, получателя и порты отравителя и получателя.
Соотвтественно, операционной системе или кто там пакеты обрабатывает надо понять, кому этот пакет отправлять. Для этого надо посмотреть на адреса и порты. Поэтому порты идут в начале по фиксированному смещению. Чтобы не искать их по всему пакету.