Евдоким, предположим, что вы будете делать с одного IP-адреса не чаще 1-го запроса в секунду, тогда чтобы спарсить 1000 страниц в течении секунды вам понадобится 1000 прокси соответственно. Количество прокси можно сократить в 100 раз, но тогда и времени нужно будет в 100 раз больше. Обычная математика, считайте сами.
Tim, подкорректировал пример, заходите и смотрите - с другого домена тоже все норм)
Тут главное, чтобы целевой домен корректный заголовок access-control-allow-origin отдавал, без этого заголовка конечно же ничего не будет работать - это особенность кросс-доменных запросов.
Tim, странно вы тестируйте конечно. Посмотрите мое демо: https://nadim.work/primer.html
Зайдите и откройте консоль + посмотрите функцию test()
Пока ajax не грузанет видео, код ниже не отработает.
Мне в принципе не принципиально как разрабы jQuery() промис запихнули в объект, возможно поигрались как-то с прототипами, для меня главное, что работает и существенно облегчает жизнь, когда пишу расширения.
Tim, уж поверь, в коде (а не консоли) await в связке c jQuery.ajax() тоже прекрасно себя чувствует. По крайней мере в своих проектах я это активно использую и уже написаны мегатонны кода, все отлично работает.
Хотя чего это я вам доказываю, в документации черному по белому написана поддержка промисов:
$.ajax() начиная с jQuery 1.5, реализуют интерфейс Promise, предоставляя им все свойства, методы и поведение Promise.
По поводу заголовков добавлю, что если отправляйте данные в формате application/x-www-form-urlencoded то нужно кроме всего прочего в заголовках указать длину запроса. Автору вопроса, просмотрите заголовки из реального браузера и имитируйте по максимуму.
powerful888, согласен, это ОЧЕНЬ странно. Мне всегда казалось, что топовые движки должны уметь переваривать любое количество статей, видимо это не так. Похоже ваш единственный вариант тогда - это написать свой движок. При этом проблема здесь упрется не в хранение статей, это можно делать в какому угодно виде, а в создании индекса, способного переварить миллионы ссылок и сотни тысяч категорий.
