Robot.txt и карта сайта для поддоменов?

Question

[Виктор Уманский]

Всем привет, сайт сделан на Yii2, сайт с поддоменами 1 и 2-ого уровней, точка входа одна. т.е. поддомены не располагаются в папках отдельных. Для все поддоменов нужен отдельный robot.txt и отдельные sitemap.xml
так как контент выводится различный в зависимости в каком домене пользователь и двигаются по поисковикам как отдельные сайты. Вопрос где и как расположить данные файлы для различных поддоменов?

Мне сеошник сразу сказал, что динамические файлы не подходят ему, ему надо статика, что бы он сам все настраивал сам?!

точка входа index.php в папке web

defined('YII_DEBUG') or define('YII_DEBUG', true);
defined('YII_ENV') or define('YII_ENV', 'dev');

require(__DIR__ . '/../vendor/autoload.php');
require(__DIR__ . '/../vendor/yiisoft/yii2/Yii.php');
require(__DIR__ . '/../common/config/bootstrap.php');

switch ($_SERVER['HTTP_HOST']) {
case 'frontend.dev':
case 'growex.com.ua':
    define('YII_APP', 'frontend');
    break;
case 'seeds.dev':
case 'seeds.growex.com.ua':
    define('YII_APP', 'seeds');
    break;
case 'szr.dev':
case 'szr.growex.com.ua':
    define('YII_APP', 'szr');
    break;
case 'backend.dev':
case 'admin.growex.com.ua':
    define('YII_APP', 'backend');
    break;
default:
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: growex.com.ua");
}

define('YII_APP_DIR', Yii::getAlias('@apps') . '/' . YII_APP);

структура

apps
-----backend - admin.site.com
-----frontend - site.com
-----seeds - seeds.site.com
-----szr - szr.site.com
common
console
vendor
web
-----assets
-----css
-----js
-----fonts
-----images
-----uploads
-----htaccess
-----index.php - то самый файл, через него проходит точка входа и он проверяет на домен
htaccess
requirements.php
init.php
composer
.... и всякое другое!

Answer 1

[Exploding]

Какие ещё точки входа? Это что вам какая то dll-ка чтоли! Есть домен, есть субдомен, и хренова туча урлов. Каждый субдомен рассматривается ПС как отдельный домен (грубо говоря) и ей "до лампочки" какая там у вас структура. У домена, субдомена, субсубдомена... есть т.н. корень. В него нужно положить сайтмап и роботс (если рассматривать дефолтные варианты). Сеошник ваш просто не шурупает в генераторе того же сайтмапа. Дайте ему не статику, а интерфейс управления выгрузкой.
Вот и все примудрости.

UPD: Воу-воу, "оптимизаторы бизнес-процессов", палехче! Что вы собрались автоматизировать в роботсе то?))) Сайтмап - без вариантов, но роботс по-моему самый из самых, если не единственный(!) из всех файлов, который требует именно ручного создания! Да я даже и не представляю как его полностью можно генерить скриптом, учитывая логику и смысл его контента!

Answer 2

[Владимир Скибин]

Попробуйте разрулить все через htaccess, который для robots.txt внутренне перенаправляет через rewrite на robots.php, который уже в свою очередь, в зависисмости от домена, отдает нужный файл из robots_subdomain.txt (это если домены есть в базе и полная динамика). Либо напрямую для каждого из доменов (если их список изначально известен и долго не меняется) через rewrite также отдать файлик допустим из /robots/subdomain/robots.txt. Сеошник сможет править статику и у Вас все в динамике настроено. Аналогично с sitemap.xml.

Answer 3

[Igor Karachentsev]

У меня точно такая же структура с поддоменами. Просто заведите в админке поле для каждого поддомена, и настройте экшен, а в экшене установите заголовки. Делов-то, поисковики будутдумать что это православный робот, сеошник сможет в админке, в самой обычной текстареа писать все что ему в душе угодно. Все довольны, все счастливы.

Comments

[Виктор Уманский]

а можно пример с очным объяснениям и как правильно расположить сам файл

[Igor Karachentsev]

Виктор Уманский, У меня кастомный urlManager. Писал его не я, пришлось продолжать то что было. Я бы правил в конфиги накидал

namespace app\base;

use dictionary\models\Average;
use dictionary\models\Features;
use dictionary\models\Kitchen;
use dictionary\models\Position;
use dictionary\models\Type;
use dictionary\models\TypeFacility;
use restaurants\models\Restaurants;
use structure\models\Section;
use tops\models\Collection;

/**
 * Class UrlManager
 *
 * @package app\base
 */
class UrlManager extends \yii\web\UrlManager
{
    /**
     * @var
     */
    public $domain;
    /**
     * @var
     */
    public $original;

    /**
     * @var array
     */
    private $_params = [];

    /**
     * @param \yii\web\Request $request
     * @return mixed
     */
    public function parseRequest($request)
    {

        if (false !== $r = parent::parseRequest($request)) {
            return $r;
        }

        $result = false;
        $name = !empty($_SERVER['SERVER_NAME']) ? $_SERVER['SERVER_NAME'] : $_SERVER['HTTP_HOST'];
        /* @var Restaurants $rest */
        if (($rest = \Yii::$app->db->cache(function ($db) use ($name) {return Restaurants::findOne(['domain' => $name, 'publish' => 1]);}, 3600))) {
            $this->_params['rest'] = $rest;
            $this->_params['city'] = $rest->city;

            if ($request->url === '/') {
                $this->_params['section'] = \Yii::$app->db->cache(function ($db) use ($rest) {
                    return Section::findOne(['rest_id' => $rest->id, 'depth' => 0, 'publish' => 1]);
                }, 3600);
                $result = ['restaurants/frontend/default', []];
            } else {
                $result = $this->parseStruct($request, $rest);
            }
        } elseif ($dict = Average::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'average';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'average';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($dict = Kitchen::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'kitchen';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'kitchen';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($dict = Type::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'type';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'type';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($dict = Position::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'position';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'position';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($dict = TypeFacility::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'type_facility';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'type_facility';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($dict = Features::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'features';
                $result = ['dictionary/frontend/default', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['dictionary'] = $dict;
                $this->_params['model_type'] = 'features';
                $result = ['dictionary/frontend/default/robots', []];
            }
        } elseif ($top = Collection::findOne(['domain' => $name, 'publish' => 1])) {
            if ($request->url === '/' || $request->url === '/all') {
                $this->_params['collection'] = $top;
                $this->_params['model_type'] = 'collection';
                $result = ['tops/frontend/top/index', []];
            } elseif ($request->url === '/robots.txt') {
                $this->_params['collection'] = $top;
                $this->_params['model_type'] = 'collection';
                $result = ['tops/frontend/top/robots', []];
            }
        } elseif (($route = $this->parseStruct($request))) {
            $section = $this->_params['section'];

            if (strpos($name, $section->city->name) === false) {
                $qr = !empty($request->queryString) ? "?" . $request->queryString : "";
                $url = sprintf("http://%s.%s%s", $section->city->name, \Yii::$app->params['domain'], $section->url, $qr);
//                \Yii::$app->response->redirect($url, 301);
                header("Location: {$url}");
                // TODO убрать если что-то сломается
                die();
            }
            $result = $route;
        }

        return $result;
    }

    /**
     * @return array
     */
    public function getParams()
    {
        return $this->_params;
    }

    /**
     * @param \yii\web\Request $request
     * @param Restaurants $rest
     * @return mixed
     */
    private function parseStruct($request, $rest = null)
    {
        $pathInfo = trim($request->pathInfo, '/');

        $query = Section::find();

        if ($pathInfo === '') {
            $query->where(['publish' => 1, 'depth' => 0]);
        } elseif ($pathInfo === 'robots.txt') {
            $request->pathInfo = 'robots';
        } else {
            $segments[] = '/' . $pathInfo . '/';
            while (($pos = strrpos($pathInfo, '/')) !== false) {
                $pathInfo = substr($pathInfo, 0, $pos);
                $segments[] = '/' . $pathInfo . '/';
            }

            $query->where(['publish' => 1, 'url' => $segments])
                ->orderBy(['lft' => SORT_DESC, 'depth' => SORT_DESC]);
        }

        if (isset($rest)) {
            $query->andWhere(['rest_id' => $rest->id]);
        }

        $section = \Yii::$app->db->cache(function ($db) use ($query) {
            return $query->one();
        }, 3600);

        if (isset($section)) {
            $this->_params['section'] = $section;
            $this->_params['city'] = isset($rest->city_id) ? $rest->city_id : 'krasnodar';

            $route = trim(str_replace($section->url, '/', '/' . $request->pathInfo . '/'), '/');

            if ($route === '') {
                $request->pathInfo = $section->route;
                $route = $section->route;
            } else {
                $route = substr($section->route, 0, strrpos($section->route, '/') + 1) . $route;
                $request->pathInfo = $route;
            }

            $this->_params['route'] = $route;

            $this->enableStrictParsing = false;
            if (false !== $r = parent::parseRequest($request)) {
                $this->enableStrictParsing = true;

                return $r;
            }
        }

        return $request->pathInfo;
    }
}

Далее в контроллере парочка функций:

/**
     * @return null|Robots
     */
    protected function getRobots()
    {
        $url = $_SERVER['HTTP_HOST'];
        $restName = strtok($url, '.');
        $rest = Restaurants::findOne(['name' => $restName]);
        $robots = Robots::findOne(['rest_id' => $rest->id]);

        return $robots;
    }

    /**
     * @return string
     */
    public function actionRobots()
    {
        $response = \Yii::$app->response;
        $response->format = Response::FORMAT_RAW;
        $response->getHeaders()->set('Content-Type', 'text/plain; charset=utf-8');

        if ($this->getRobots()) {
            return $this->renderPartial('robots', ['content' => $this->getRobots()->content]);
        }

        $content = <<<TEXT
User-agent: *
Allow: *
Host: {$_SERVER['HTTP_HOST']}
TEXT;

        return $this->renderPartial('robots', ['content' => $content]);
    }

Ну и вьюха для вывода. В админке у соответствующих записей есть раздел для редактирования всей этой кухни с самой обычной textarea, все это пишется в БД