zizaq: как прокликать - зависит от структуры сайта, желательно на все фунциональные страницы попасть по разу. Если у вас есть инструмент, который генерирует sitemap - можно воспользоваться им.
Алексей Уколов: а как это поможет для внешнего контента? Если у вас будет, например, баннер с другого домена по http:// - пользователи будут видеть в браузере предупреждение о смешанном контенте.
no-ip не поможет. Видимо раньше провайдер выдавал реальные IP-адреса для PPPoE, а сейчас делает NAT. Посмотрите, возможно у провайдера есть услуга реального IP.
Filgavrilov: попробуйте создать нужные папки с подходящими именами и дальше настроить расположение папок через свойства учетной записи, как написано в ответе.
и да, любой объект авторского права, а значит и любой сайт и база данных, является охраняемой законом информацией и на него распространяется действие статей 272-274 УК.
АртемЪ: у вас очень странное представление об авторском праве. Авторское право охраняет использование объекта права, не только распространение. При этом
Статья 1233. Распоряжение исключительным правом
1. Правообладатель может распорядиться принадлежащим ему исключительным правом на результат интеллектуальной деятельности или на средство индивидуализации любым не противоречащим закону и существу такого исключительного права способом, в том числе путём его отчуждения по договору другому лицу (договор об отчуждении исключительного права) или предоставления другому лицу права использования соответствующих результата интеллектуальной деятельности или средства индивидуализации в установленных договором пределах (лицензионный договор).
Нарушение правил передачи охраняемой компьютерной информации повлекшее блокирование компьютерной информации причинившее крупный ущерб это статья 274 УК РФ.
АртемЪ: Статья 1260 п.2 охраняет авторских права владельцев базы данных или сайтов на подборку информации. Это означает, что доступ к этим данным вы имеете на условиях соглашения, публикуемого владельцами сайта или базы данных независимо от авторских прав на отдельные статьи или записи. Публикуемое соглашение в данном случае выступает в роли договора оферты. С каких это пор договор оферты ничтожен?
robots.txt помимо прочего устанавливает технические ограничения на доступ к сайту, включая частоту запросов. Преднамеренное нарушение этих ограничений, при их наличии, приведшее к невозможности функционирования сайтов очевидно является умышленным.
Надо еще иметь ввиду, что владельцы сайтов могут запрещать сбор данных автоматизированными средствами + такой сбор может давать дополнительную нагрузку на сервер и приводить к его отказу, что в принципе уголовно наказуемо. Поэтому лучше следовать robots.txt и рекомендациям для спайдеров.