Александр Денисов

Без анкорные ссылки тоже стоит делать правильно.
Внедряй нужные ключевые слова, прямо все ключи которые нужно, но без не злоупотребляй. К примеру у тебя страница с темой продажи роз, сделай на нее ссылку без анкора в статье где есть ключи:
роза город
розы город
Розы в городе
И тд
Но так как тебе интересен ключ купить розы город, сделай ссылку такого плана:
Контент....... Купить розы в городе на сайте xxx, гугл умный, он понимает все эти ключи и возьмет, да не в той доле которая взялась бы в анкорной ссылке, но ссылку без анкора можно использовать больше.
Так же не забывай что в ранжировании хоть и участвует всего одна страница, но авторитет сайта поднимается за счет всех страниц.

Мы решаем на уровне веб-сервера (nginx).

Добавляем во все конфиги наших сайтов примерно такой блок (отдельным включаемым файлом, конечно):

location /robots.txt {
    set $disallow_indexing '';

    if ($host ~ demo\.) {
        set $disallow_indexing 'yes';
    }

    if ($disallow_indexing = 'yes') {
        root /var/www/html;
    }
    if ($disallow_indexing != 'yes') {
        proxy_pass      $proxy_addr;
    }
}

Содержимое /var/www/html/robots.txt:

User-agent: *
Disallow: /

Итого получается, что если запрашивается robots.txt с домена demo.site.ru, то ему отдается Disallow. Если же домен не содержит demo, то отдается тот robots.txt, который лежит в проекте.

Решение получается надежным и удобным т.к. не приходится помнить про каждый отдельный проект - все демо домены закрываются автоматически.

Однозначного ответа нет и быть не может.
Наиболее полезны именно анкорные ссылки, их ещё называют "денежными". Именно они влияют на ранжирование, поскольку не просто связывают два хоста, а предлагают ещё и описание страницы реципиента.
Из ключей в анкорах складывается монолитный индекс, составляющий список ключей, по которым страница видна в поиске.
Но надо понимать, что именно за анкоры ПС и наказывают, если сочтут это спамом. Это достаточно тонкий лёд, и вам стоит провести предварительный анализ в своей нише (и гео-зоне). Например, то, за что гугл карает в бурже, спокойно прокатывает (пока) в рунете - хотя декабрьский спам-апдейт тут кое-что поменял, судя по всему.
Яндексу же безанкорка вообще неинтересна. Если вы посмотрите в список "быстрых ссылок" в Яндекс-Вебмастере, то обнаружите, что он предлагает по страницам текст анкоров внешних ссылок (вплоть до "Читать...", "Далее..." и т.п.).
В общем, соберите данные по конкурентам в топах и отталкивайтесь от медианных цифр - по анкорам, объёмам анкорных и безанкорных, явно купленных и естественных и т.п.

Главная страница - это всегда хаб, полная презентация того, что есть на сайте. Если речь про семантику - то тут должны быть представлены ссылки на самые важные разделы. Цвет и объём едва ли относятся к важнейшим ключам в этом случае.
В любом случае - тут в помощь любой приличный текстовый анализатор и сравнение с конкурентами.

Заносите денег, и - вуа ля!

если название компании не совпадает с популярными ключевыми словами - достаточно зарегиться в Вебмастерс и Бизнес сервисах, как Яндекса так и Гугла

(ну, всякие Бинг Баду тоже можно, но не на этом этапе)

Если есть возможность отслеживать utm метки на маркетплэйсе - раздавайте утм ссылки.
Если такой возможности нет - пользуйтесь шортлинками, они позволяют отслеживать количество линков (например bit.ly).

Вопрос-то, по сути, не про сеошку. По идее решается средствами сквозной аналитики, там инструментария достаточно.
По факту - всё это будет вилами по воде. В рамках сеошки у вас есть Метрика, GA, данные по динамике в поиске (позиции, траф, оценка качества трафика по каким-то метрикам). И надо понимать, что во многих темах клиент может найти вас в поиске, зайти почитать-посмотреть, сохранить в закладках, потом зайти напрямую хоть даже по брендовому запросу из поиска. А потом просто позвонить или написать в мессенджер через время.
Я бы начал с оценок конверсий в Яндекс-Метрике, если клиенту (если вы сеошите) или вам (если вы владелец бизнеса или маркетолог) нужны данные по конверсиям. Если этого будет мало - надо внедрять сквозную аналитику, тут без вариантов, кмк.

В данный момент у меня стоит задача подсчитать страницы таких сайтов как википедия, ютуб и т.д.

простые задачи не для тебя, считай весь интернет перебирать взялся

Правильный подход у тебя описан - перебирать все ссылки (ты еще про map-ы забыл, одно время были популярны, чтобы по ним пройтись можно было прокликать с каким то шагом по всей площади картинки), все остальные подходы - это оптимизации и лимиты.

Если у тебя не стоит задача исполнять javascript (т.е. считать что все ссылки на сайте доступны без его включения) то рекомендую воспользоваться готовыми инструментами, например wget умеет делать полную копию сайта с указанным уровнем вложенности.

Если стоит задача обрабатывать javascript то у тебя проблемы, никаких других универсальных способов, кроме как открывать сайт в браузере - нет, но можно взять старые версии webkit (версии, выпущенные лет 5-10 назад), на их основе мини браузер для анализа сайта будет потреблять очень мало оперативной памяти, а значит на одной машине таких скраперов может быть запущено сотнями, понятно что не все сайты смогут так работать, но процент достаточно высокий.

Так же можно попытаться разработать алгоритмы по определению, требует ли сайт полноценный браузер или ему хватит обычного wget и его аналогов. Что то можно вытащить, определив движок, на котором сайт написан, 90% интернета используют готовые фреймворки, у многих из них свои способы, где то можно попытаться вытащить карту сайта из кода, не выполняя его... стоит ли такая работа экономии на процессорах, хз

Сделай редиректы с A и B на C
PS Только не простой редирект (где все url с a будут указывать на homepage) а по умному с A/tovar12345 на C/tovar12345

google очень плохо индексирует страницы в последнее время, я уже тут писал ранее, но если в двух словах что я заметил:
1) карта сайта может быть правильной, страницы уникальнейшие, сайт отличным, ошибок в консоли нет - а результат почти нулевой, мало страниц в индексе. Но проверить карту конечно стоит в верификаторе.
2) не любит домены типы store, top, pro и т.п. в последнее время и ru
3) не особо любит когда его грузят тысячами страниц, индексирует их очень медленно и подозрительно, в то же время если страницы штучные, то в индекс влетает в течение пары дней - вот например https://www.google.com/search?q=site%3Ahttps%3A%2F... - буквально неделю назад был совершенно нулевой в google и через несколько дней уже страниц 10 в индексе.
4) не любит запутанные структуры, каждая страница должна быть в одном варианте, чтобы как можно проще и понятнее.
5) не любит тяжелые грузные сайты, типа с кучей pdf или видео встроенного и т.п., он их реально дольше обрабатывает, ну и в целом не любит тормозные сайты, которые по 20 сек загружаются в пейджспид.

ну и ждать.
не дергаться.
нормой сейчас считается 1-2 месяца и уже должны произойти какие-то более чувствительные изменения в индексе, а не просто пара страниц, хотя бы половина уже должна проиндексироваться успешно.

Дело не в IP, а в фингерпринтах. Туда и советую копать.

Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.