Как правильно сгенерировать robots.txt Symfony 4?

Question

[astaxov81]

Здравствуйте.

Подскажите есть ли готовое решение по генерации robots.txt для Symfony 4 (если быть точным 4.3.11)? Готовых бандлов практически нет, а те которые нашел - устарели и "завести" их у меня не получилось.

• miisieq/RobotsTxtBundle
  
• evheniy/RobotsTxtBundle
  

А информации по самостоятельному созданию найти не смог. Могли бы (если есть таковые) поделиться готовым решением или подсказать в какую сторону рыть надо.

Спасибо!

Comments

[BoShurik]

А что вам в нем надо генерировать? Почему просто не создать файл?

[astaxov81]

BoShurik, как минимум надо иметься два различных вариант робота (dev, prod), так же есть момент с картой сайта - она генерируется в директорию, которая в свою очередь берет название домена, а так же ряд других моментов, которые уже специфичны для конкретного проекта.

И хотелось такие моменты передавать динамически, а не прописывать каждый раз руками.

[BoShurik]

astaxov81, чем не устраивает?

public function robotsAction()
{
    return $this->render('robots.txt.twig', [
        /*тут все параметры, которые вам нужны для генерации*/
    ]);
}

[astaxov81]

BoShurik, вполне можно приспособить, просто когда вставал вопрос с генерацией карты-сайта (в админке был мультасайт, поэтому дефолтный вариант sitemap.xml в корень public/ не устраивал) нашел сразу.

Думал с созданием robots.txt будет аналогичная ситуация, но к удивлением обнаружил противоположное. В любом случае спасибо, за предложенный вариант!

[padlyuck]

astaxov81, miisieq/RobotsTxtBundle завелся с полтычка. Только роутинг прописал, остальное похоже из рецепта настроилось. Версия симфони 4.3.11, версия пакета 2.0.1

[astaxov81]

padlyuck, сам бандл встает вопрос нет и после указания маршрута - появляется заглушка

# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

User-agent: *
Disallow: /

Но при этом у меня ни как не реагировали настройки (возьму из доков для примера)

# app/config/config.yml
miisieq_robots_txt:
    host: http://example.com
    production_environment: prod
    sitemaps:
        - "/sitemap.xml"
        - "/catalog/sitemap.xml"

Файл назвал miisieq_config.yml, поместил в config/packages - ноль реакции. У вас этот файл подцепился?

[padlyuck]

да, все отлично подцепилось. В .env у вас точно стоит prod окружение?

[padlyuck]

Конфиг тот же что и у вас

[astaxov81]

padlyuck, пробовал и так и так - не заводиться. Радует, что бандл рабочий, осталось в чем дело.

Спасибо за помощь. Я был бы до последнего уверен, что дело в бандле :)

[Максим Федоров]

Зачем дев? :) эта хрень для поисковиков!!! Зачем дев?!

Вот же придумали гемороя на ровном месте... Файлик с 10 строками заменяют сотней файлов, в каждом из которых строк больше

[padlyuck]

Максим Федоров, у меня был случай, когда дев был виден снаружи(так нужно было и он висел на другом домене), robots.txt на дев не было, и яндекс проиндексировал дев, а прод понизил в выдаче по причине дублирования материалов с дева. возможно тут тот же кейс

[astaxov81]

padlyuck, совершенно верно.

[BoShurik]

padlyuck, у нас на стейдже за robots.txt отвечает nginx