Библиотека, которая поможет понять, что «ответы» и «OtBETЫ» — это одно и тоже?

Question

[babbert]

Здравствуйте.
Мне нужно сделать, чтобы программе было понятно, что например "алкаш" = "@лк@ш".
Нужно это для борьбы с рекламой. Алгоритм я уже придумал, но нужно много писать алиасов букв.
Возможно кто-то уже сделал это до меня и есть готовая либа по распознанию такого, чтобы не изобретать велосипед, не подскажите?)

Comments

[#]

еще нужнее это, для улучшения эффективности "атаки по словарю" на хеши и подобные штуки.
так что тот кто сделал, вряд ли себя (и продукт) пиарить ))

но из любопытства подпишусь )))

[babbert]

#, Вообще, просто люди уже надоели, как не делай фильтр, прорываются гады.
Ушь думал ИИ создать, но я нубяра)

[Руфат Нуриев]

нужно использовать библиотеку с машинным обучением, например scikit-learn или NLTK.

[babbert]

Руфат, Для NodeJS такого случайно нет?

[#]

babbert,
1 - https://duckduckgo.com/?q=%D1%81%D0%BB%D0%BE%D0%B2...
2 - https://xakep.ru/2008/04/16/43271/#toc03.6 (Журнал «Хакер»
16.04.2008)

[Roman]

Алгоритм я уже придумал

Слово состоит из букв?
Значит в слове должны быть только буквы, в русском - русские, в английском - английские.
Любые отклонения вызывают подозрения.

[Руфат Нуриев]

можно написать скрипт на Питоне с использованием библиотек, а потом вызывать скрипты Питона из NodeJS, вот как здесь описано: https://stackoverflow.com/questions/23450534/how-t...

[devalone]

помимо алиасов для букв, можно также использовать поиск похожих слов, т.е. у ответы и ответЬI(мягкий знак и заглавная i) 5 общих букв - значит они похожи

Answer 1

[Boris Köln]

Этому алгоритму уже более 100 лет: https://ru.wikipedia.org/wiki/Soundex

Comments

[Руфат Нуриев]

вот здесь есть для JavaScript: https://habr.com/ru/sandbox/90799/

[Руфат Нуриев]

Еще можно использовать "Расстояние Левенштейна": https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D... .

Вот здесь реализация на Питоне для Soundex и Расстояние Левенштейна:
https://medium.com/@yash_agarwal2/soundex-and-leve...

Answer 2

[Developer]

"одно и то же" и "одно и тоже" - не одно и то же.

Моя древняя статейка на эту тему
https://m.habr.com/ru/post/86303/

Answer 3

[Максим]

Алиасы не помогут решить эту проблему. Есть миллионы способов написать слово алкаш:

ал-каш (с точки зрения русского языка всё в норме, звучит как имя из варкрафта какого-нибудь)
олкаш
алкащ
а.л.к.а.ш
а1lкаш (тут вообще буква "л" из двух символов состоит, так какие алиасы могут быть?)

Comments

[babbert]

Да, вот и проблема. Пока самое, что может помочь это ИИ.

Answer 4

[nrgian]

Алгоритм я уже придумал, но нужно много писать алиасов букв.
Возможно кто-то уже сделал это до меня и есть готовая либа по распознанию такого, чтобы не изобретать велосипед, не подскажите?)

Зачем там либа? Это всего-навсего один-единственный ассоциативный массив.

Типа:

conv["t"] = "т"
conv["@"] = "а"

И удобная обвязка под него, типа:

func MyConv(symbol string) string {
   s:= LowerCase(symbol)

   if v, ok:= conv[s] {
       return v
   } else {
       return s
   }
}

И на этом всё!

Comments

[babbert]

Я знаю, я же написал "нужно много писать алиасов букв" - `а` ещё есть английская, и из разных алфавитов, их очень много. У меня такой алгоритмы по сути и получился в башке.

[nrgian]

babbert,

"нужно много писать алиасов букв" - `а` ещё есть английская, и из разных алфавитов, их очень много.

conv["t"] = "т"
conv["@"] = "а"
conv["a"] = "а"
conv["ἄ"] = "а"

Все это тут прописываете. Там не много - строк 30 с разными буквами, навскидку.
Либа для этого не нужна.

из разных алфавитов

Этих алфавитов не много - всего 3. Кириллица, латиница, греческий.
Вряд ли вы девангари и пр. экзотику сумеете сюда приплести.

[babbert]

nrgian, Понял, согласен. Нужен список алиасов)

[Max Payne]

nrgian, babbert, Можно уменьшить массив в три раза, использовав ключи "а"/"б"/"в" со значениями-массивами алиасов.

[riot26]

Max Payne, и тем самым замедлив использование

[Max Payne]

riot26, почему же? Количество итераций будет необходимо одинаковое.

[riot26]

Max Payne, не одинаковое, а большее на количество "реальных" букв. Пример на PHP:

<?php
$dic1 = [
    '@' => 'а',
    'ἄ' => 'а',
    'a' => 'а',
    '6' => 'б',
    'b' => 'б',
];

$dic2 = [
    'а' => [
        '@',
        'ἄ',
        'a',
    ],
    'б' => [
        '6',
        'b',
    ],
];

echo 'dic1: ';
$dic1_iterations = 0;
foreach ($dic1 as $from => $to) {
    $dic1_iterations++;
    echo $from;
}
echo ' | iterations: ' . $dic1_iterations;

echo PHP_EOL;

echo 'dic2: ';
$dic2_iterations = 0;
foreach ($dic2 as $to => $from_arr) {
    $dic2_iterations++; // тут лишняя итерация
    foreach ($from_arr as $from) {
        $dic2_iterations++;
        echo $from;
    }
}
echo ' | iterations: ' . $dic2_iterations;

Вывод:

dic1: @ἄa6b | iterations: 5
dic2: @ἄa6b | iterations: 7

[Max Payne]

riot26, хм, и действительно.

[babbert]

"aliases": {
        "@`a`Ꭿ`₳`Ǻ`ǻ`α`ά`Ǡ`ẫ`Ắ`ắ`Ằ`ằ`ẳ`Ẵ`ẵ`Ä`ª`ä`Å`À`Á`Â`å`ã`â`à`á`Ã`ᗩ`@`Ⱥ`Ǟ":"а",
        "6`Ҕ`ҕ`Ϭ`ϭ`চ`ঢ়`ƃ`ɓ`":"б"
}

Я так делал

[riot26]

babbert, эффективнее всё же разбить, тем более что доступ по ключу почти моментальный.

[Max Payne]

babbert, riot26, в PHP не силён, последний раз имел дело с ним года 4 назад, но может быть в PHP есть подобный на Python функционал с maketrans/translate, если опять же использовать ключи "а"/"б", то будет очень удобно. Может быть на гитхабе уже есть какие-то подобные решения.

[dom1n1k]

Просто массивом не обойтись, потому что далеко не обязательно буквы заменяются одна к одной.
Самый элементарный пример: сейчас - щас.

[nrgian]

dom1n1k,

Просто массивом не обойтись, потому что далеко не обязательно буквы заменяются одна к одной.
Самый элементарный пример: сейчас - щас.

Если уж вам нужно именно для таких слов - то это уже словарь на целые слова (даже не на слоги).
Но это другая задача.

У нас то задача про "ceй4@c".

[babbert]

nrgian, как люди изогнуть слово могут, так надо)

[babbert]

dom1n1k, согласен

Answer 5

[Dimonchik]

в общем случае не решается библиотекой

через Гугл прорываются )) а вы тут изобретаете

но трехподходный метод работает - обычто с той стороны такой же нуб

Answer 6

[#]

Алиасы не помогут решить эту проблему. Есть миллионы способов написать слово...

вот тут мы и подходим к версии ИИ:
- надо иметь огромную базу (что реально) краденых паролей, что бы гонять ее по словарям, и учить ИИ (дальше версии для НЕ слабонервных.. или корпораций.. или спецслужб)
- можно тренировать ИИ на визуальное подобие символов в национальных раскладках (допустим a=@ и $=s это универсально, а ч=4 это "по русски".. в=8 .. б=6.. почему нет? ;))) .. о=0 .. ну это во всех языках допустимо..
- можно тренировать ИИ на аудио совпадения. но, это еще мегазатратнее по ресурсам (не обучения, даже исследования (+видеоподобия см пп. выше, думаю, используются на порядки чаще)

ps классический пароль от МС, для обхода старых "строгих" правил, для какого то быстрого теста - P@ssword
улучшенная версия (известная всему миру, хакерскому точно) - P@$$w0rd

.. допустим у вас монитор Panasonic.. немного правил в голове, и шпаргалка всегда под носом - P@na$0ni(
c => (... а че нет то? ;)))
.. или - Pфn@$0ni( .. удачи составителям словарей алиасов ;))
.. для полной картины, допустим Зфт@$0ni( .. и еще раз - удачи! ;)))

Comments

[babbert]

Согласен, но сложно.
Но мы не ищем простых путей)
Сегодня весь день на гит хабе тестил либы на ИИ, под году. Что-то выходит, но такое, очень медленно, и это расстраивает( ну, пока 1 день прошло.
Через годик что-то измениться xD

Answer 7

[Руслан .]

Есть вот такой вариант, но он наверное слишком мощный для вас:
https://tech.yandex.ru/speller/

Вот тут интересная статья про трансформацию слов:
https://habr.com/ru/post/270845/
Возможно вам подойдет "Функция оценки похожести пары слов"