Александр Денисов

Если есть возможность отслеживать utm метки на маркетплэйсе - раздавайте утм ссылки.
Если такой возможности нет - пользуйтесь шортлинками, они позволяют отслеживать количество линков (например bit.ly).

Вопрос-то, по сути, не про сеошку. По идее решается средствами сквозной аналитики, там инструментария достаточно.
По факту - всё это будет вилами по воде. В рамках сеошки у вас есть Метрика, GA, данные по динамике в поиске (позиции, траф, оценка качества трафика по каким-то метрикам). И надо понимать, что во многих темах клиент может найти вас в поиске, зайти почитать-посмотреть, сохранить в закладках, потом зайти напрямую хоть даже по брендовому запросу из поиска. А потом просто позвонить или написать в мессенджер через время.
Я бы начал с оценок конверсий в Яндекс-Метрике, если клиенту (если вы сеошите) или вам (если вы владелец бизнеса или маркетолог) нужны данные по конверсиям. Если этого будет мало - надо внедрять сквозную аналитику, тут без вариантов, кмк.

В данный момент у меня стоит задача подсчитать страницы таких сайтов как википедия, ютуб и т.д.

простые задачи не для тебя, считай весь интернет перебирать взялся

Правильный подход у тебя описан - перебирать все ссылки (ты еще про map-ы забыл, одно время были популярны, чтобы по ним пройтись можно было прокликать с каким то шагом по всей площади картинки), все остальные подходы - это оптимизации и лимиты.

Если у тебя не стоит задача исполнять javascript (т.е. считать что все ссылки на сайте доступны без его включения) то рекомендую воспользоваться готовыми инструментами, например wget умеет делать полную копию сайта с указанным уровнем вложенности.

Если стоит задача обрабатывать javascript то у тебя проблемы, никаких других универсальных способов, кроме как открывать сайт в браузере - нет, но можно взять старые версии webkit (версии, выпущенные лет 5-10 назад), на их основе мини браузер для анализа сайта будет потреблять очень мало оперативной памяти, а значит на одной машине таких скраперов может быть запущено сотнями, понятно что не все сайты смогут так работать, но процент достаточно высокий.

Так же можно попытаться разработать алгоритмы по определению, требует ли сайт полноценный браузер или ему хватит обычного wget и его аналогов. Что то можно вытащить, определив движок, на котором сайт написан, 90% интернета используют готовые фреймворки, у многих из них свои способы, где то можно попытаться вытащить карту сайта из кода, не выполняя его... стоит ли такая работа экономии на процессорах, хз

Сделай редиректы с A и B на C
PS Только не простой редирект (где все url с a будут указывать на homepage) а по умному с A/tovar12345 на C/tovar12345

google очень плохо индексирует страницы в последнее время, я уже тут писал ранее, но если в двух словах что я заметил:
1) карта сайта может быть правильной, страницы уникальнейшие, сайт отличным, ошибок в консоли нет - а результат почти нулевой, мало страниц в индексе. Но проверить карту конечно стоит в верификаторе.
2) не любит домены типы store, top, pro и т.п. в последнее время и ru
3) не особо любит когда его грузят тысячами страниц, индексирует их очень медленно и подозрительно, в то же время если страницы штучные, то в индекс влетает в течение пары дней - вот например https://www.google.com/search?q=site%3Ahttps%3A%2F... - буквально неделю назад был совершенно нулевой в google и через несколько дней уже страниц 10 в индексе.
4) не любит запутанные структуры, каждая страница должна быть в одном варианте, чтобы как можно проще и понятнее.
5) не любит тяжелые грузные сайты, типа с кучей pdf или видео встроенного и т.п., он их реально дольше обрабатывает, ну и в целом не любит тормозные сайты, которые по 20 сек загружаются в пейджспид.

ну и ждать.
не дергаться.
нормой сейчас считается 1-2 месяца и уже должны произойти какие-то более чувствительные изменения в индексе, а не просто пара страниц, хотя бы половина уже должна проиндексироваться успешно.

Дело не в IP, а в фингерпринтах. Туда и советую копать.

Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.

есть

можно вставлять id и не заморачиваться в данном случае.
почему сеошники не хотят вставлять мусор в тайтл - потому что все что не относится к ключам разбавляет и так небольшой тайтл и ухудшает его, скажем так, "плотность".
но в вашем случае у вас ключей как таковых нет, плюс объем символов в id минимальный, он немного отожрет от тайтла, поэтому важнее чтобы яндекс понимал что это разные страницы с разным тайтлом, чем будет ругаться на них.

Вы сильно заблуждаетесь, что людям нужны акции.
Например, по десяткам последних рекламных кампаний в директе могу сказать, что объявки, где были слова "акция", "скидки 50%", "бонус", "распродажа" и т.п. работали хуже обычных. имхо раньше люди еще велись на них, но сейчас большинство уже не верят в эту чушь со скидками и акциями, поэтому если вам важны продажи, то стоит смотреть в сторону, что нужно людям, например:

• качественное описание товаров, хорошие фотки
  
• отзывы от клиентов, внушающие доверие
  
• калькуляторы, квизы, помогающие сформулировать сложную покупку
  
• хорошие условия доставки, оплаты
  
• вменяемые менеджеры, онлайн консультанты
  
• живые соцсети, свидетельствующие об интересе к компании со стороны людей и т.п.
  

мне кажется, это больше нужно покупателям, чем минус 20% от фик пойми чего.
когда-то писал про конверсии, удивлен, но многое еще актуально, может пригодится https://moytop.com/prodvizhenie-sajtov/kak-povysit...

p.s. кстати, идея со скрытием цен всё больше и больше популярна, это иногда работает лучше, чем показать цены, особенно если они выше чем у конкурентов или поставщик их мониторит и нет возможности демпинга. На одном из сайтов в такой ситуации, например, один тщательно сделанный квиз полностью решил весь вопрос по заказам в условиях скрытых цен. То есть люди массово делали заявки в квиз (там была сложная тематика видеонаблюдения) и там их уже "дожимали" классные специалисты-продажники. Главное чтобы человеку было удобно и хотелось заполнить эту формочку, а на это уже во многом влияет то, что расписал выше.