SEO-Вопрос.
Мы разрабатываем портал на базе фреймворка Kohana.
Он состоит из центрального портала
www.2b2c.ru и ряда региональных подпорталов, размещаемых на поддоменах msk.2b2c.ru, spb.2b2c.ru и т.д.
На центральном расположен только рубриктор каталога товаров и компаний (директория 2b2c.ru/catalog). Непосредственно сами товары, располагаются на региональных порталах (директория #регион#.2b2c.ru/product)
Суть нашей проблемы, с которой мы столкнулись, состоит в том, что Яндекс загружает непонятно откуда, непонятно какие страницы.
К примеру, на подпортале spb.2b2c.ru вообще нет товаров и нет компаний. Полностью пустой сайт. Физически, страниц максимум 30-40, не больше.
Так вот, Яндекс откуда-то загружает почти 30 000 страниц, при этом основная масса страниц из директории /product (28 000 страниц), хотя на подпортал не загружено ни одного товара (директория /product не содержит ни одной страницы)
Ранее были проблемы с дублями страниц
chel.2b2c.ru/catalog/17175_Frezernye-stanki
и
chel.2b2c.ru/catalog/17175_Frezernye-stanki?listchel.2b2c.ru/catalog/17175_Frezernye-stanki?gallerychel.2b2c.ru/catalog/17175_Frezernye-stanki?money
не были закрыты по маске, но позже, мы настроили правила в robots.txt и запретили индексацию по маске.
Откуда Яндекс может брать такое кол-во ссылок? Могут ли на него влиять так различные редиректы (например, spb.2b2c.ru/product/p96925_Buxgalterskij-shkaf- переведет 301 редиректом на chel.2b2c.ru/product/p96925_Buxgalterskij-shkaf-)?