А как вы смотрите "на вес директории"?
Если командой ls, то ее задача вывести имена, размеры и прочие атрибуты файлов, не разбираясь, как файлы хранятся физически. И свою задачу ls выполняет хорошо.
Если вы хотите учесть все нюансы со ссылками, используйте команду du. У нее есть ключи, определяющие, как считать занимаемое место.