Ну во первых широковещательно он отправляет только когда хочет найти следующий хоп, и то он отправляет чтобы найти мак адресс этого самого next hop'a.
Во вторых, чисто теоретически можно обойти и без ARP'a как и было ранее когда использовались hub.
Попробую обьяснить что происходит на схеме когда левый верхний компьютер с адрессом например 192.168.0.64/25 отправляет пакет правому нижнему компьютеры с адресом например 192.168.0.192/25
1. Анализируется таблица маршрутизации чтобы понять (какой физ интерфейс), далее ->
2. Понимая что надо отправлять в не другую зону, то надо выбрать адрес next hop или gateway
3. Проверяется таблица ARP->IP(в данный момент ищется мак адрес нашего роутера а не получателя на канальном уровне им друг на друга пофиг, тк они в разных сетях их обслуживает роутер или несколько), если нет совпадений то оптавляется пакет в котором вместо mac адресса получателя стоят FF:FF:FF:FF:FF:FF, и пакет получит роутер и отправит ответ где заменит все FF на свой мак адресс. Замечу что эта процедура делается только для свитчей, она бесполезна если в сети нету свитча, но всё равно будет выполнятся(есть куча примеров где нет мак адрессов)
4. После того как мы узнали мак адресс, система позволяет сделать нам следующий выше уровнем запрос и этот запрос это IP а там уже и TCP\UDP пакет.
5. когда пакет дайдет до роутера то роутер смотрит что этот пакет локально подсоединен к его другому интерфейсу, и дальше уже он выполняет ту же самую процедуру запрашимает мак адрес, и отправляет пакет получателю
6. Если получателю надо отправить пакет обратно то опять то же самое, и бывший получатель опять смотрит свою таблицу ARP, если нет совпадений опять кричит и спрашивает у всех, роутер получая ARP пакет видя что это ему ответит соответственно и после этого "бывший" получатель отправляет ответ, и роутер принимая опять смотри что это на соседнем интерфейсе и опять отпавляет ARP запрос.
и если бы стояло 10 роутеров между этими клиентами, то каждый роутер прежде чем отправить пакет к соседу своему каждый раз спрашивал бы его MAC по средствам ARP.