ifdown eth0
А если серьезно, просто закройте веб-серверу доступ к тем папкам, которые не желаете выставлять не всеобщее обозрение, и не разбрасывайте лишних файлов в тех, которые веб-сервер может читать.
Что касается того, что структуру сайта можно построить, анализируя ссылки на страницах - ничего вы с этим сделать не сможете, потому как бот просто делает то же самое, что и пользователь.