У большинства сайтов в шапке или в футере часто находится их название.
Какой алгоритм можно использовать, чтобы найти повторяющиеся значения и попытаться из них получить данные о названии?
Например, есть адрес
Нужно найти название организации. Вручную алгоритм следующий. Смотрим шапку, смотрим футер, если не находим переходим на страницу контакты или о сайте
Результатом будет названия: Хабрахабр Компания "ТМ"
Как не переходя на сайт вручную получить подобные данные?
Хотелось бы понять алгоритм
Я бы, наверное, сперва попробовал выделить обвязку страниц. Т. е. взять несколько страниц сайта и определить на них повторяющийся текст. А дальше уже эмпирически подбирать правила для разбора получившегося. Например, часто название компании идет после или перед ©, часто оно упоминается в тайтле, часто перед ним идут слова "компания", "ООО" и т. п.