Дмитрий Дарт

https://yandex.ru/support/webmaster/controlling-ro...
Ключевая фраза "МОЖЕТ УЧИТЫВАТЬСЯ"! Каждый трактует её сам как хочет. Если на сайте с которым я работаю есть это поле - оставляю. Для новых сайтов с узкой тематикой делаю, с широкой не делаю (нечего туда писать зачастую).

Вариантов много:
1) Больше таймаут. 1100 - это в секундах? Тогда нормально.
2) Прикинуться ботом гугла или яндекса, иногда им разрешают больше, но тут надо уже свой парсер писать а не готовыми пользоваться.
3) Запастись прокси и менять его после каждого запроса, тут опять же со своим парсером попроще было бы.
4) Самый верный способ: использовать парсеры имитирующие браузеры типа PhantomJS или Selenium.
5) Настроить вечером парсер на 1 запрос в 10 минут, лечь спать утром будет сразу 48 страниц )))

Несколько ошибаетесь потому что просмотры страниц это не единственный поведенческий фактор. Есть ещё кликабельность в выдаче и имхо самый главный - возвраты в выдачу.
На каком-то из выступлений представители Яндекса говорили что больше просмотров не всегда равно качеству сайта потому что в идеале пользователь должен заходить, получать на одной странице то что ему нужно и уходить. Есть сайты у которых специфика услуги подразумевает только одну страницу и всё, например заказ такси. Судя по логике эти сайты тогда должны быть всегда в самом низу и они не смогут подняться вверх, а сайты на которых банально нет телефона или страницы "контакты" и пользователю надо шариться по всему сайта в поисках этих данных будут всегда вверху.

У изображений если есть прозрачность то PNG, если пара цветов то GIF для остальных JPG

А так перечень может быть большой: Использовать иконочные шрифты, минимум картинок, хотя шрифты тоже тяжелые. CSS-файлов не плодить а сделать один, минифицировать его. Спрайты можно использовать вместо картинок. Специальный скрипт на JS что бы в контенте картинки подгружались только в тот момент, когда попадут в видимую область экранов. В общем лайфхаков почти бесконечное количество ))

Проверить довольно просто:
Раз запрос
Два запрос
Результаты поиска отличаются боковым блоком. Первые 5 сайтов в выдаче одинаковые, далее идут различия. Из этого всего можно сделать что да, запросы немного отличаются, но не сильно ))

Как это ни странно, самым правильным с токи зрения поисковиков было бы как раз то показывать страницу, то отдавать ошибку 404 если её нет. Итого она то появлялась бы в поиске то пропадала из него.

Я так понял вас это не устраивает, второй вариант (вы о нём упомянули в вопросе): всегда держать эту страницу, но запрограммировать так что если объявлений на неё нет, то там разместить какую-то заглушку. Другое дело если таких страниц будет много, то заглушки надо делать разными т.к. поисковики не любят дубли, к тому же она должна быть текстовой. Но это довольно сложная логика и сложные заморочки.

Третий вариант заключается в том что бы посмотреть, подумать сколько посетителей приносят такие страницы по всему сайту, бывает так что переходят исключительно на внутренние и такие страницы разделов проще закрыть от индексации в robots.txt и тогда проблема отпадёт сама собой.