Veritas23

Если страницы информационно не отличаются (на оформление/шаблоны - роботы не смотрят): текстовая информация одинаковая или разница текстов менее 50% (на теги смотрят только когда с текстом - всё в порядке) - это считается спамом и сразу ВСЕ подобные страницы попадают под фильтр ПС.

В целом одинаковые страницы - плохо. Если страницы одинаковые, но под разные города, обычно поисковики понимают разницу при условии различий контактов, возможно условий доставки и так далее и негативного эффекта не будет. Но если только название города меняется то это плохо и могут быть санкции со стороны поисковых систем.

Вероятнее всего, вы ищете общий признак в технологии распознавания лиц?
Общее в них то, что для всех них требуется большая выборка с данными для обучения нейросетей ( именно они занимаются распознаванием лица ).
Эти выборки обычно состоят из различных фотографий людей, полученных из публичных источников либо из полицейских баз и архивов ( как в случае с Amazon Rekognition ). Чем больше выборка, тем точнее будет распознавание лица на фото, которого нет в базе ( или с камер видеонаблюдения ).
Каким образом система узнаёт данные человека с распознанным лицом ( идентифицирует его )?
В случае с всё тем-же Amazon Rekognition, данные берутся из полицейских баз, возможно медицинских карт, и других государственных баз. Также данные могут браться из профилей в соц. сетях ( по типу Facebook ), если у человека установлен реальный аватар или фото с этим человеком найдено у него в альбомах. Точность такого распознавания гораздо ниже, однако эти данные доступны публично и этим может воспользоваться любой желающий. О самом алгоритме распознавания, написал пользователь Владимир Олохтонов.
Бонус ;)
Вы можете попробовать упомянутую выше систему в связке с публичными API ( например, Facebook, VK ) для того чтобы создать сервис на подобии https://findface.ru.

достаточно высокую степень анонимности (в рамках поставленной задачи) дает обычный firefox если использовать профили.

если дополнительно к ним использовать подмену UserAgent и динамические IP или прокси - обходятся сайты с "самой крутой" защитой. один минус - рекапча жутко ненавидит динамические IP

Если Вы будете делать одно и то же действие с разных ПК и одинаковым временным интервалом (и/или переходами), то никакие куки или заголовки не нужны, чтобы понять что это снова Вы.

Только для сайтов, которым на самом деле пофиг на это. Сайты, которые реально противодействуют многократным логинам, применяют различные методы типа "отпечатка браузера". Их тоже можно надуть - ну, по крайней мере, попытаться - через множество виртуалок, но это заметно повышает уровень вхождения :) на что собственно и рассчитано - отсеять школие :)

Есть множество других способов.

Какие например?

Вообще это называется: browser fingerprinting, и самый известный в рунете пример это evercookie, но есть и другие статьи на русском
https://www.google.com/search?q=habr+fingerprint

Если вам нужна анонимность, то читайте про whonix, tails, tor-browser и все такое.
Потестить свой браузер можно здесь:
https://panopticlick.eff.org/
https://amiunique.org/
https://browserprint.info/
https://browserleaks.com/

Сайты, которые действительно противодействуют использованию одним пользователем множества аккаунтов, применяют комплексные методы fingerprinting-а, которые могут включать даже косвенные признаки. Вот вам пример набора инструментов, который использует сразу множество факторов для идентификации: https://github.com/samyk/evercookie

Итеративное обновление знаний (обучение) НС с помощью текущей, когда совпадение с предыдущими копиями входит в кластер лиц этого человека.

Локализуется лицо, полученная картинка нормализуется, затем от неё считается какой-то набор признаков, по всей базе ищутся наиболее похожие на этот объекты, в простейшем случае в качестве ответа берётся самый ближний из них.

На личном опыте:
IPS & IPB - падали при 10к юзеров и 100к+ сообщений (страницы загружались по 10-20 секунд)
XenForo - летает только так

Не факт.
Есть множество других способов.

+1 к xenforo - однозначно!

IPB, XenForo, Vbulletin, PhpBB

xenforo

Вообще юзер-агенты изменяются при обновлении браузеров, браузерных движков, программных платформ и версии операционных систем и ПО любого устройства. Юзер-агенты помогают сайтам определить совместимость любой функции сайта с используемым браузером. В противном случае сайт выдаёт ошибку, если какая либо функция не совмещает с поддержкой собственных функций сайта в определенных браузерах.

Даже юзер-агенты собирают для статистики посещаемости и использования сайтов и ресурсов и на основе таких данных проводят исследования, определяя, какая платформа просмотра сайта и устройства больше набирает популярности.

Юзер-агенты применяют много для чего.

Browser Name+Browser version+Rendering engine+Rendering engine version+OS+Mobile, Tablet or Desktop +ScreenSize(не уверен) = User Agent

User agent - это и есть браузер: его версия и сборка. Есть расширения, которые его подменяют, можете воспользоваться ими.

IPv4, IPv6 - это "внешний вид" прокси - 134.43.23.132 или 2001:0DB8:AA10:0001:0000:0000:0000:00FB
HTTP(s), Socks5, Socks4 - это название протокола, через который работают прокси
VPN - это как будто вы с удаленным компом в одну сеть объединяетесь, штука гибкая, но в качестве прокси использовать трудновато, т.к. при соединении VPN вам дается 1 ip, а для парсинга может понадобиться множество. Чтобы использовать VPN в качестве прокси - нужен постоянный реконнект "по пинку" из софта плюс накладные расходы на пересоединение.

Что лучше:
Socks4 - устаревший уже стандарт
Socks5 - более анонимный вариант прокси, чем http(s) - сайту, который вы парсите, будет сложнее понять, что вы находитесь за прокси
http(s) - соответственно, менее анонимный вариант прокси, задетектить проще

IPv4 поддерживают все сайты, IPv6 - далеко не все, через IPv6 прокси можно приконнектиться только к очень ограниченному кругу популярных сайтов, которые озаботились поддержкой нового стандарта.

Используй портативные версии программ:
Teleport, WebZip, OfflineExplorer, Website Copier и так далее.

@zamboga ещё есть HTTrack

точно: download.httrack.com/cserv.php3?File=httrack-noinst.zip