Вопрос не в том, есть ли необходимость, а в том, в каких именно ситуациях следует использовать LFS.
Если вы часто изменяете бинарные файлы, тогда смысл есть. Потому что все старые версии файлов не будут каждый раз тянуться при клонировании, а так и останутся во внешнем хранилище. Поэтому ваше утверждение
передача файлов всё равно занимает одинаковое время
ошибочно. При клонировании будет передаваться значительно более компактный репозиторий, а значит и быстрее.
Другой вопрос, что извлечение файлов из репозитория в рабочий каталог (checkout) займет то же время если ваши двоичные файлы статичны.
Git посчитает чуть меньше SHA1-хэшей
Почему вы так решили. Хэши в любом случае считаются все.