В том то и дело, что ваше решение не дает никаких гарантий. От слова вообще.
Статистика не дает ответов на конкретном случае.
Статистика дает ответы на на большом количестве случаев - типа, что 10% это синий, а 90% это зеленый. Но является ли синим или зеленым конкретный объект - не дает ответа ваш метод.
Ваш метод годится только как помощник, как предварительный фильтр для людей-модераторов.

А обучение сети хоть какое то подобие человеческого анализа дает в этом случае.
Сеть - просто попытка подменить живого человека, когда вы не можете выцепить железные закономерности и запрограммировать эти закономерности.
Вы скармливаете сети пример того, что уже прошло проверку человеком, и получаете подобие живого модератора и т.п.