В случае SYN каким образом заполняется первый октет? Как понимать "первый октет данных имеет номер ISN+1". Просто записывается ISN+1, а дальше все остальное?
Нет. В поле Sequence Number записывается номер, соответствующий первому октету TCP-сегмента. Для самого первого октета данных это будет ISN+1.
В случае SYN-ACK, что имеется в виду под значением следующего порядкового номера, который отправитель сегмента ожидает получить? Как его рассчитать?
Если вы успешно получили все октеты вплоть до N, то дальше вы ожидаете получить N+1. Так, например, при получении первого SYN и вместе с ним ISN вы как будто получили всё до этого ISN включительно, и теперь ожидаете ISN+1, о чём и говорит RFC.