Adsbot/3.1 чей бот?

Question

[fStrange]

216.18.204.134 - Mozilla/5.0 (compatible; Adsbot/3.1)
173.231.59.205 - "Mozilla/5.0 (compatible; Adsbot/3.1)"

Уже второй сайт замечаю неуемно грузит.

У Гугла в списке ботов его нет. IP американские если верить базам.

Answer 1

[wisgest]

User-Agent стал более содержательным:

Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)

Запрету в robots.txt

User-agent: Adsbot
Disallow: /

следовал и до этого.

Answer 2

[Ivan Yakushenko]

IP - скорее всего прокси.
Схожий User-Agent я и сам несколько раз использовал для парсинга. Так что скорее всего тебя парсят.

Comments

[fStrange]

На парсер не похоже по поведению. Парсеру нет нужды, проходить повторно страницы.

+ я встретил бота уже у двух несвязанных друг с другом клиентов. Разные сайты по тематике.

[Ivan Yakushenko]

fStrange, если это краулер, который ищет какие то обновления, или изменения, то вполне может и тысячу раз грузить одну и туже страницу.