Отличие человека от бота в трафике?

Question

[Samedi_Da_Kapa]

Возникла мысль попрактиковаться и написать краулер. И тут возник вопрос - как сайт проверяют, человек или бот?
Расширю мысль. Я захожу на одну и ту же страницу из браузера и запуская свою поделку. Собственно говоря, он ничего не делает кроме:
session.visit 'url'
session.save_and_open_page
Если я захожу - все нормально, если бот - проиходит переадресация. User-Agent у него точно такой же как и у браузера. Я бы понял, если бы отсеивание произошло позже - трекинг курсора, время и т.д. Как нас различают?
P.S. RoR, Capybara + Poltergeist

Answer 1

[stratosmi]

Человек не может со столь точными промежутками времени и так долго подряд и так часто.
Плюс у человека JS.
Вы же на Ruby не запрашиваете через JS ничего.
Я бы посмотрел в сторону SlimerJS, PhantomJS.

Comments

[oh_shi]

Poltergeist это и есть PhantomJS для Capybara.

[Samedi_Da_Kapa]

Я бы понял, если бы бот слал "так много и так часто". Но он запускается вручную из командной строки и заходит всего лишь 1 раз по одному урл.

Answer 2

[Maksime]

Попробуй гем 'mechanize' и следующий код
docs.seattlerb.org/mechanize/Mechanize.html

agent = Mechanize.new
agent.user_agent_alias = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'

page = agent.get('https://example.com')

Comments

[oh_shi]

Где не заработал хедлес браузер, механайз тем более не прокатит.