Заявленная провайдером скорость это не больше чем маркетинг.
Реальная скорость — как получится: в случае чего можно все свалить на "ваш сайт к которому вы сами обращаетесь а мы тут не при чем".
Я работаю (практически живу) в интернете с конца нулевых. Лет 10 у меня были тарифы 5...15Мбит и всегда на все хватало.
Во-1 за вас это сделает поисковик.
Во-2 отставьте манию величия и проверяйте индексацию по содержимому своего сайта а не по его названию/домену. Примите, что вы никто и зовут вас никак, и специально искать вас не будут.
Во-1 любой ресурс c UGC хочет обезопасить собственый зад, если юзер начнет писать всякое.
Во-2 данные с привязанными и проверенными документами можно продать многократно дороже.
Неясна задача.
Вы хотите получать данные с чужого интернет-магазина? Заключите с ним договор и обращайтесь к его API.
Если задача воровать у него данные — прокликивайте все кнопки "след страница", вызывайте свою функцию циклически и ожидайте изменения дизайна того магазина, чтобы менять свой код каждый раз, когда они что-то меняют.
