Какой второй язык программирования учить с заделом на будущее?

Владимир Коротенко, считать ты можешь что угодно чем угодно, только этим оно являться не будет. html - язык разметки, css - таблица стилей.

Почему http запросы с прокси требуют так много оперативки?

есть несколько условий для завершения цикла, но это роли не играет

вероятнее всего как раз таки это и играет роль.

Какой второй язык программирования учить с заделом на будущее?

Владимир Коротенко, двигатель - неотъемлемая часть автомобиля, двигатель != автомобиль, ровным счетом как двигатель != колесо, а ты сейчас предлагаешь называть колесо двигателем. Тут вопрос не в разделении, а в наименовании и спецификации.

Какой второй язык программирования учить с заделом на будущее?

разумно (нет)

Какой второй язык программирования учить с заделом на будущее?

Владимир Коротенко, есть мальчики называющие себя девочками, есть девочки называющие себя мальчиками, а есть люди называющие хтмл и цсс языками программирования.

Какой второй язык программирования учить с заделом на будущее?

delphi

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, я их не покупаю, использую сервисы типа luminati. иногда использую паблик прокси. есть несколько источников, откуда легко можно собрать 1-2к прокси с нормальным пингом.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, зачем сотни тысяч? сам посчитай: допустим у меня есть 1000 прокси, у тебя на сайте ограничение в 3 запроса в 10 секунд = 18 запросов в минута с одного ip. Допустим я паршу сайт в 100 потоков и у меня происходит круговая ротация прокси, т.е. первые 100 прокси, затем вторые 100 прокси и т.д., в итоге каждый прокси будет делать всего 1 запрос в 10 секунд, в лучшем случае, при условии хороших прокси с маленьким пингом и очень легкой страницы, в более реальных условиях (фришные прокси, огромный пинг, тяжелые страницы) с 1 прокси запрос будет делаться раз в 40 секунд, скорость паснга в районе 1500 страниц в минуту = 90000 в час = 2160000 в сутки. Это при наличии всего 1000 прокси. А если использовать сервис с ротацией прокси с пулом в 20000 прокси?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, 15млн страниц мне стоит спарсить около 40$. Это дорого? Нет. Более того, во фри доступе всегда можно найти около 15к рабочих прокси, совершенно бесплатно. Этого более чем достаточно.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, давай теперь чуть дальше: парсер работает через прокси, т.е. каждый запрос с разного ip, пул прокси огромный. У меня сейчас работает в microsoft azure краулер который выгребает примерно 15млн. страниц информации за один проход с сайта airbnb, на котором так-же установлено ограничение на кол-во запросов в минуту, ничем это их не спасает. Но у них не 3 запроса в 10 секунд, а больше, ибо 3 запроса в 10 секунд - это проблемы в первую очередь для пользователей, а не для парсеров.
После этого повторяю еще раз свой вопрос: как ты будешь отличать пользователя от парсера?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, жаль ты читать что я пишу не хочешь. давай сначала: как ты отличишь пользователя от парсера?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249,

ты про какую аренду сервера у яндекса? Про это cloud.yandex.ru? Или опять фантазируешь?)

да, про этот. и на личности не советую переходить - это нарушает правила ресурса. так что про "фантазии" оставь при себе.

пользователя можно ограничивать, писал выше 3 запроса в 10 сек. Открыл в 10 вкладках, ну сиди и жди обновляйся.

в итоге пользователь закроет сайт и забудет за него, а парсер как работал через прокси так и будет работать.

не флуди, я не задавал вопрос о ценности какого-то ресурса и его инфы, вопрос прочти еще раз

я нигде про ценность ничего и не писал. я тебе уже в который раз пытаюсь донести мысль, что физически невозможно защитить сайт от парсинга, никак, совершенно. если ты считаешь иначе - приведи пример и я его опровергну.

Как защитить сайт от парсинга, не задев поисковых роботов?

ReaverJS, никак. всех забанит и будет сидеть наедине со своим блогом в безопасности.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, и да, ты бы сам читать научился:
"Роботы используют множество IP-адресов, которые часто меняются. Поэтому их список не разглашается."
и повторяю еще раз: я могу захостить свой парсер на серверах яндекс и у него будет такой-же хост, как у яндекс-бота.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, да успокойся ты уже, это ты флудишь. что тебе вообще даст определение роботов? как ты вообще будешь определять, что сайт парсят? лимит кол-ва запросов вредит только пользователям, которые открывают сразу несколько страниц, парсеры чаще всего используют прокси, т.е. не будет у них с 1 ip много запросов в минуту. запретишь грузить страницу без js? тогда есть selenium и т.д. Ты никак не можешь защитить сайт от парсера, вообще никак, абсолютно. Чаще всего ты усложняешь жизнь только себе и пользователям, но не тем, кто занимается парсингом.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, и что это даст? ты понимаешь, что в гугла и яндекса есть свои сервера, которые они продают и на этих серверах вполне могут хоститься парсеры, т.е. в одной доменной зоне с краулером самого гугла и яндекса. Хватит придумывать бред, не защитишь ты никак свой чудо-бложик от парсинга.

Как создать коллаж с помощью кода Python?

Setaz213, а в чем проблема в твой готовый код скопировать код, приведенный выше?

Как создать коллаж с помощью кода Python?

Setaz213, а как по-другому ты собираешься запускать python-код?

Как реализовать многопоточность в программе?

че вы там на python компилируете то?

Оцените конфигурацию игрового пк?

А что в нём игрового?