Нужно сделать модель
В каком окружении предполагается моделирование и тестирование?
какой-то вариант новой модели на основе классической модели OSI
Что такое "классическая модель OSI"? Если есть классическая, то есть и модернистская или я чего-то не понял?
Мне советовали обратить внимание на маршрутизацию, делать ее более гибкой, что ли.
Я бы на вашем месте обратил внимание на SDN (Software-defined networking, стильно, модно, молодежно). Один контроллер общается с несколькими маршрутизаторами (не только в L3-смысле) и каждому устанавливает специфические записи в таблицу маршрутизации/форвардинга. Из плюсов - гибкость, программируемость, отсутствие проблем типа "ships in the night". Я бы даже предположил, что в сетях датацентров SDN применять наиболее логично (по сравнению,скажем, с WAN-сетями). Но и минусы присутствуют.
В какую еще сторону можно копать?
Сети Клоса (не уверен, корректный ли это термин, англоязычное название Clos network/fabric). Задание постоянного размера фрейма (проще прогнозировать утилизацию буферов). Отказ от вычисления контрольной суммы (передача этой обязанности высшим уровням "классической модели OSI"). Отказ от STP (или добавлением поля hop count в ethernet-фрейм, или назначением неравноценных ролей в смысле форвардинга портам коммутаторов, порты из одной категории могут направлять трафик только в порты другой категории)