Не знаю точно, но допускаю что если на сайте есть ссылка вида /dir1/dir2/dir3/, поисковики могут проверить и /dir1/dir2/dir3/ и /dir1/dir2/ и /dir1/. Таким образом, если на сервере установлен, например, apache с включенным и не настроенным как надо модулем mod_autoindex то будет выдан список файлов в этих директориях.