Как отдавать код ответа сервера 404 вместо 200 на любой странице сайта?

Question

dmitry251190 @dmitry251190

Как отдавать код ответа сервера 404 вместо 200 на любой странице сайта?

Как отдавать код ответа сервера 404 вместо 200 на любой странице сайта? И еще как сделать чтобы поисковики выкинули сайт из своей базы, чтобы он не отображался в поисковой выдаче? Они, выкинут все страницы из базы, если страницы будут отдавать 404?

Вопрос задан более трёх лет назад
1682 просмотра

8 комментариев

Подписаться 2 Простой 8 комментариев

FeST1VaL @FeST1VaL

А если в robots добавить disallow и отправить на переобход? и вообще в чем цель?

Написано более трёх лет назад
dmitry251190 @dmitry251190 Автор вопроса

Артем Будин, disallow в файле robots прописано уже. файлом Роботс тхт запрещена индексация. Но проблема в том, что это рекомендации и все равно страницы сайта в базе индекса поисковых систем остаются. А нужно, чтобы поисковики вообще забыли про этот сайт. Поэтому одного Роботс тхт недостаточно. Забудут они, если выкинут все страницы из базы, если страницы будут отдавать 404

Написано более трёх лет назад
wisgest @wisgest

Артем Будин, запретить индексирование в robots.txt нельзя.

Написано более трёх лет назад
FeST1VaL @FeST1VaL
wisgest, всмысле нельзя!?
А что делает тогда такой код?

User-Agent: * Disallow: /
Написано более трёх лет назад
wisgest @wisgest

Артем Будин, запрещает запрос содержимого. При этом индексирование возможно, например, по тексту входящих ссылок; а то, что уже попало в базу, не будет переиндексироваться, но не обязательно будет удалено из неё из-за запрета обхода.

Написано более трёх лет назад
dmitry251190 @dmitry251190 Автор вопроса

wisgest, и как сделать чтобы чтобы страницы вообще исчезли из базы сейчас у меня такой код не работает
location /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: Googlebot\nDisallow: /\n";
}
страницы сайта все равно остаются в поисковике

Написано более трёх лет назад
wisgest @wisgest

dmitry251190, мгновенно — никак, может потребоваться несколько недель.

Написано более трёх лет назад

Дмитрий @MaKvc

Все файлы должны быть в корне сайта.

Нужно сохранить как .htaccess

RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php [QSA,L]

Нужно сохранить как index.php

<?php
	$lipsum = simplexml_load_file('http://www.lipsum.com/feed/xml?amount=1&what=paras&start=0')->lipsum;
?>

<!DOCTYPE html>
<html>
<head>
	<meta charset="UTF-8">

	<title></title>
</head>
<body>

	<header>
		<h1><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10))); ?></h1>

		<nav>
			<ul>
				<?php foreach (array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10)) as $word) { ?>
					<li><a href="/<?php echo strtolower(preg_replace('/([^a-zA-Z0-9]+)/', '', $word)) ?>"><?php echo $word; ?></a></li>
				<?php } ?>
			</ul>
		</nav>
	</header>

	<aside>
		<nav>
			<ul>
				<?php foreach (array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10)) as $word) { ?>
					<li><a href="/<?php echo strtolower(preg_replace('/([^a-zA-Z0-9]+)/', '', $word)) ?>"><?php echo $word; ?></a></li>
				<?php } ?>
			</ul>
		</nav>
	</aside>

	<main>
		<h1><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 15))); ?></h1>
		<p><?php echo $lipsum; ?></p>
	</main>

	<footer>
		<small><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10))); ?></small>
	</footer>
</body>
</html>

Мне в свое время, подобное помогло убить интернет ресурс. Удачи!

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 4

12 комментариев

dmitry251190 @dmitry251190 Автор вопроса

Сейчас 404 код отдает только на главной странице, а нужно чтобы на всех страницах сайта 404 код отдавало и отображалась страница 404 и в поиске сайт остался в яндексе

Написано более трёх лет назад
wisgest @wisgest

Вероятно, смысл вопроса в том, чтобы отдавать прежнее содержимое, но с кодом 404, иначе было достаточно просто удалить его.

robots.txt запрещает обход, а не индексирование: индексирование по прежнему возможно, например, по тексту входящих ссылок; то, что уже попало в базу, не будет переиндексироваться, но не обязательно будет удалено из неё из-за запрета обхода.

Для того, чтобы поисковики выкинули сайт из выдачи лучше запретить индексирование заголовком
X-Robots-Tag: noindex
например, в .htaccess:
Header set X-Robots-Tag noindex
и при этом не надо менять код ответа сервера на 404.

Написано более трёх лет назад
Nujabes37 @Nujabes37
dmitry251190,
Сейчас 404 код отдает только на главной странице, а нужно чтобы на всех страницах сайта 404 код отдавало

location / { return 404; }

и в поиске сайт остался в яндексе

location /robots.txt { add_header Content-Type text/plain; return 200 "User-agent: Googlebot\nDisallow: /\n"; }
Написано более трёх лет назад
Nujabes37 @Nujabes37

wisgest,
Вероятно, смысл вопроса в том, чтобы отдавать прежнее содержимое, но с кодом 404, иначе было достаточно просто удалить его.

А я что написал?
robots.txt запрещает обход, а не индексирование

можно и так. В любом случае он не будет в поисковике.

Написано более трёх лет назад
dmitry251190 @dmitry251190 Автор вопроса

location / {
return 404;
}

не работает 404 отдает только для одной страницы сайта у которой прописано в файле php
header("Location: alfa-chistka.ru/404.php", true);
header ("HTTP/1.1 404 Not Found");
а можно сделать чтобы отдавалась 404 не прописывая эти заголовки на любых страницах сайта?

Написано более трёх лет назад
Nujabes37 @Nujabes37

dmitry251190, скиньте свой конфиг nginx.

Написано более трёх лет назад
dmitry251190 @dmitry251190 Автор вопроса
прописал в robots следующие запрет на индексацию страниц сайта
все страницы сайта не индексируются а главная продолжает индексироваться, как запретить индексацию главной страницы www.fructs-dmitry.ru?
вот мой файл robots.txt
User-agent: Yandex Disallow: / Disallow: /bitrix/admin/* Disallow: /ajax/place_order.php Disallow: /ajax/callback.php Disallow: /admMD Disallow: /new Disallow: *?bitrix* Host: www.fructs-dmitry.ru User-agent: * Disallow: / Disallow: /bitrix/admin* Disallow: /ajax/place_order.php Disallow: /ajax/callback.php Disallow: /admMD Disallow: /new Disallow: *?bitrix* Sitemap: http://www.fructs-dmitry.ru/sitemap.xml

код из файла nginx

server { listen 10.3.87.199:80; server_name fructs-dmitry.ru www.fructs-dmitry.ru; location / { return 404; } location /robots.txt { add_header Content-Type text/plain; return 200 "User-agent: Googlebot\nDisallow: /\n"; } }

пробовал в файле htaccess прописывать
Header set X-Robots-Tag noindex с ним тоже не работает

Как сделать чтобы поисковики не видели мой сайт?
Написано более трёх лет назад
Nujabes37 @Nujabes37

dmitry251190, ниче не пойму) Вы nginx используете или все-таки apache ? И что за странный robot - файл?)

Написано более трёх лет назад
Nujabes37 @Nujabes37

dmitry251190, это весь nginx - конфиг ? Перезагрузить пробовали ?
sudo systemctl reload nginx

Написано более трёх лет назад
wisgest @wisgest

можно и так. В любом случае он не будет в поисковике

Nujabes37, не совсем так: robots.txt мешает как индексации новых страниц, так и разиндексации уже проиндексированных. Ссылку на Google я уже приводил, то же самое говорит и Bing:
Note that in order for Bing to detect that the page has in fact been removed from your site and is now returning a 404 or 410 HTTP status code, Bingbot needs to be able to access the URL, so you should not block the URL from being re-crawled through robots.txt.
<…>
Also, make sure not to disallow the URL from being crawled using robots.txt or through other means: we will still need to be able to fetch the page in order to see the NOINDEX tag.

Написано более трёх лет назад
Nujabes37 @Nujabes37

wisgest, Неправда, я проверял. Если через robots файл запретить индексацию, то сайт выпадает из поисковика.

Написано более трёх лет назад
wisgest @wisgest

Nujabes37, есть способы запретить индексацию и есть способ запретить запрос содержимого. Причём поисковые системы (Google и Bing) обещают именно в таком смысле следовать этим указаниям, конечно не лишая себя права выбросить из индекса страницы как при запрете к ним доступа, так и по любому другому поводу (!), но и не гарантирую этого, причём прямо предостерегая, что при запрете доступа явный запрет индексирования или изменение кода ответа сервера не могут быть обнаружены.

Написано более трёх лет назад

Комментировать

6 комментариев

dmitry251190 @dmitry251190 Автор вопроса

1. Исключить все в robots.txt что Вы имеете в виду?
2. Можно пример реализации по любому url запросу, выдавать случайно сгенерированный текст

Написано более трёх лет назад
Дмитрий @MaKvc

dmitry251190,
1. Тык
2. Тут все зависит от того, на каком языке этот сайт написан. Самый простой вариант, это создаете .htaccess файл и делаете единую точку входа (все идет через один php файл), в этом php реализуете алгоритм, генерации рандомного текста. Все достаточно просто и эффективно.
Генерация lorem-ipsum как пример рандомного текста, по ссылке есть готовый вариант. тык
Единая точка входа (ответ на вопрос, рабочий код) тык

UPD: Вместе с рандомным текстом, возвращайте правильные заголовки и статус, в этом случае, БАН обеспечен, сайт потеряет доверие, к еб*ням пропадет из выдачи.

Написано более трёх лет назад
wisgest @wisgest

1. Использовать тег meta robots = noindex + создать, и исключить все в robots.txt

Это взаимоисключающие подходы и так делать крайне не рекомендуется:
Внимание! Поисковый робот не обнаружит директиву noindex, если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).

И думаю, затруднения у автора вопроса именно из-за robots.txt, мешающего поисковым системам узнать о изменении кода ответа сервера.

robots.txt не запрещает индексирование, он запрещает только получение текущего содержимого!

Написано более трёх лет назад
dmitry251190 @dmitry251190 Автор вопроса

wisgest, а что нужно сделать чтобы запретить индексирование?
Вы писали
с помощью .htaccess:
Header set X-Robots-Tag noindex
это в каком месте файла .htaccess нужно прописать, это запретит индексирование?

Написано более трёх лет назад
Дмитрий @MaKvc

wisgest, Я ни на что не претендую. Автор пытается загубить сайт, всеми доступными средствами.
Зачем ковыряться в этих технических мелочах, когда все может решить простой генератор, который даже школьник сможет написать. За поправку спасибо, буду теперь знать, вдруг придется столкнуться...

Написано более трёх лет назад
wisgest @wisgest

dmitry251190, это запретит индексирование (по крайней мере в Google, Yandex и Bing). По-моему, место особой роли не играет, просто проверьте появился ли соответствующий заголовок в ответе сервера.

Написано более трёх лет назад

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

WordPress

+2 ещё

Средний
Как настроить правильно редиректы на vps NGIX на Wordrpess?
- 1 подписчик
- 15 часов назад
- 65 просмотров
0

ответов
Nginx

Простой
Зачем использовать nginx для статичных файлов?
- 1 подписчик
- 23 часа назад
- 167 просмотров
2

ответа
Django

+2 ещё

Средний
Как настроить Apache2 под два типа авторизации?
- 2 подписчика
- 24 дек.
- 97 просмотров
0

ответов
htaccess

Простой
Что нужно поправить в файле htaccess, чтобы не было циклического редиректа?
- 1 подписчик
- 19 дек.
- 39 просмотров
1

ответ
Nginx

Простой
Как запустить сценарий, при переходе на картинку?
- 1 подписчик
- 18 дек.
- 104 просмотра
2

ответа
Nginx

+3 ещё

Простой
Как сделать, чтобы nginx отображал реальный IP клиента на гостевой машине за NAT?
- 2 подписчика
- 17 дек.
- 238 просмотров
3

ответа
Nginx

+1 ещё

Средний
Как привязать домен к серверу nginx?
- 2 подписчика
- 16 дек.
- 257 просмотров
3

ответа
Nginx

Простой
Почему Nginx не всегда пишет в log 404-ю ошибку?
- 1 подписчик
- 14 дек.
- 66 просмотров
1

ответ
Nginx

Средний
Почему в Nginx не работают переменные для try_files?
- 2 подписчика
- 08 дек.
- 175 просмотров
2

ответа
Сетевое администрирование

+2 ещё

Средний
17 секунд задержка на первый запрос к серверу?
- 1 подписчик
- 07 дек.
- 199 просмотров
2

ответа
Показать ещё Загружается…

Прикладной администратор SberApps

Сбер • Москва

от 230 000 ₽

DevOps-инженер

AdGo • Санкт-Петербург

от 200 000 до 300 000 ₽

Системный администратор Linux (вторая линия технической поддержки)

Support IT • Красноярск

от 120 000 до 150 000 ₽

Поправить LangGraph

27 дек. 2024, в 08:26

1000 руб./за проект

Сделать запись в файл на ubuntu

27 дек. 2024, в 03:33

1500 руб./за проект

Сделать анимацию и отрисовать иллюстрации

27 дек. 2024, в 02:41

50000 руб./за проект

А если в robots добавить disallow и отправить на переобход? и вообще в чем цель?
Артем Будин, disallow в файле robots прописано уже. файлом Роботс тхт запрещена индексация. Но проблема в том, что это рекомендации и все равно страницы сайта в базе индекса поисковых систем остаются. А нужно, чтобы поисковики вообще забыли про этот сайт. Поэтому одного Роботс тхт недостаточно. Забудут они, если выкинут все страницы из базы, если страницы будут отдавать 404
Артем Будин, запретить индексирование в robots.txt нельзя.
wisgest, всмысле нельзя!?
А что делает тогда такой код?

User-Agent: * Disallow: /
Артем Будин, запрещает запрос содержимого. При этом индексирование возможно, например, по тексту входящих ссылок; а то, что уже попало в базу, не будет переиндексироваться, но не обязательно будет удалено из неё из-за запрета обхода.
wisgest, и как сделать чтобы чтобы страницы вообще исчезли из базы сейчас у меня такой код не работает
location /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: Googlebot\nDisallow: /\n";
}
страницы сайта все равно остаются в поисковике
dmitry251190, мгновенно — никак, может потребоваться несколько недель.
Все файлы должны быть в корне сайта.

Нужно сохранить как .htaccess
RewriteEngine On RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^(.*)$ index.php [QSA,L]

Нужно сохранить как index.php
<?php $lipsum = simplexml_load_file('http://www.lipsum.com/feed/xml?amount=1&what=paras&start=0')->lipsum; ?> <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title></title> </head> <body> <header> <h1><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10))); ?></h1> <nav> <ul> <?php foreach (array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10)) as $word) { ?> <li><a href="/<?php echo strtolower(preg_replace('/([^a-zA-Z0-9]+)/', '', $word)) ?>"><?php echo $word; ?></a></li> <?php } ?> </ul> </nav> </header> <aside> <nav> <ul> <?php foreach (array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10)) as $word) { ?> <li><a href="/<?php echo strtolower(preg_replace('/([^a-zA-Z0-9]+)/', '', $word)) ?>"><?php echo $word; ?></a></li> <?php } ?> </ul> </nav> </aside> <main> <h1><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 15))); ?></h1> <p><?php echo $lipsum; ?></p> </main> <footer> <small><?php echo implode(' ', array_rand(array_flip(explode(' ', $lipsum)), rand(5, 10))); ?></small> </footer> </body> </html>

Мне в свое время, подобное помогло убить интернет ресурс. Удачи!

Answer 1 · 2019-11-14 14:28:18

Как отдавать код ответа сервера 404 вместо 200 на любой странице сайта

location / {
     return 404;
}

И еще как сделать чтобы поисковики выкинули сайт из своей базы, чтобы он не отображался в поисковой выдаче?

location /robots.txt {
      add_header Content-Type text/plain;
      return 200 "User-agent: *\nDisallow: /\n";
}

Answer 2 · 2019-11-14 14:43:27

Михаил Лялин @mr_jok

зависит от конечной цели - даже по 404 может отдавать из кеша и т.п.

Ответ написан более трёх лет назад

Комментировать

Answer 3 · 2019-11-14 16:56:49

1. Использовать тег meta robots = noindex + создать, и исключить все в robots.txt
2. Самый надежный вариант, по любому url запросу, выдавать случайно сгенерированный текст, в этом случае, сайт не только из выдачи пропадет, но и получит БАН!
Ответ на вопрос о 404.
Да! Сайт пропадет из выдачи, однако сайт быстро восстановится в рейтинг после того, как ошибка 404 будет убрана.

Answer 4 · 2024-04-25 22:15:30

А можно такое провернуть, если добавить в DNS запись TXT с содержимым:
location / {
return 404;
}
или
location /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /\n";
}
???????
Вообще можно ли что-то сделать не имея возможности редактирования кода самого сайта? Готов даже заплатить за дельный совет при переписке в личку.

Как отдавать код ответа сервера 404 вместо 200 на любой странице сайта?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт