Роботс закрывает от индексации. В вашем случае лучше будет использовать
sitemap.
А если по-хорошему, то весь ajax привязывайте к урлам. Идеальный вариант, который я стараюсь соблюдать последние пару лет, это когда при клике на ссылку меняется урл в браузере, но данные обновляются через ajax. Если по этой ссылке перейти, то отображается та же страница, что и подгруженная аяксом. Иными словами при клике на ссылку не должно быть разницы сработает js(ajax) или просто перейдем по ссылке.
