Как разпознать URL адреса порно-сайтов?

Question

[BUTURUM]

Я пишу телеграмм бота, на nodeJS, одной из функций которого будет удаление сообщений в которых есть адреса сайтов для взрослых. Первое что я придумал это просто записать все домены таких сайтов в json файл, импортировать и проверять ссылки на соответствие, но такое решение мне показалось сложным и ненадежным. Есть ли решение по лучше? Заранее спасибо за помощь.

PS: библиотека is-porn - г#&*+

Comments

[Lynn «Кофеман»]

Подумайте сразу про сокращалки ссылок.
clck.ru/123 это порно?
А t.co/wow порно?

Answer 1

[Sergey В.]

Думаю самый лучший вариант -программно перейти по ссылке и провести анализ по ключевым словам, которые всегда есть в метатегах или теле страницы.

Comments

[BUTURUM]

я проверил это решение и на некоторых порно сайтах нету мета-тегов, по причини чего они непопулярные, но все же программа их не определит. В любом случаи спасибо за ответ!

[Sergey В.]

BUTURUM, а в теле страницы ключевые слова смотрели? Сомневаюсь, что есть сайты состоящие только из картинок и видео )

Answer 2

[fbi_agent26]

Только переход по ссылке , проверка на запрещенные слова, добавление домена в таблицу бд где запрещенные сайты, из той же таблицы бот 2 берет домены и проверяет наличие в другой таблице бд, если соответствие найдено то удаляет.
Но есть сервисы сокращения ссылок и редиректы.
Бот должен в бд добавлять домен не конечный, а тот по которому перешел, а то работать не будет.