Расстановка недостающих пробелов в тексте. Как сделать корректно?

Question

[xmoonlight]

Всем добра!

Отвечал на вопрос Есть,решение,что,бы,пользователи,так,,не,писали? и решил продолжить развитие темы.

Если случайно (или умышленно) слова "cклеены": написаныбезпробела.
Каким образом их можно корректно разделить (с "наименьшей кровью")?

Заранее, всех благодарю за помощь!

Comments

[posters]

Я тут на вашем отрывке из кавычек затестил. Вроде работает.
https://yandex.ru/dev/speller/

[xmoonlight]

posters, Вопрос стоит не в проверке работающих сторонних сервисов, а как сделать это самому.
Сам алгоритм.

Answer 1

[ThunderCat]

Если коротко - никак. У гугла и яндкса явно есть в наличии алгоритмы и библиотеки с таким функционалом, однако отдельно в открытом доступе ничего похожего я не нашел. Если проблема чисто "визуального" свойства(строки не влазят в определенные блоки или ломают верстку), то выхода 2:
- Изменить поведение блоков с текстом через цсс overflow-wrap: break-word;,
- или программно разбивать слова длиннее определенного количества символов на блоки по N символов(причем логичнее делать это при выводе, а не при обработке входящих данных).

UPD: Как вариант - вычленять длинные слова и дергать api гугла или яндекса для проверки "на вшивость".

Comments

[xmoonlight]

Пока вижу только сбор невалидных N-грамм через склеенный (и заранее известный, что корректный) текст и запись в массив: последовательность символов => как разделить.
Что-то вроде: $arr['аныбез']='аны без';
UPD: Могу ошибаться, но вот вопрос: Генерация слов путем сложения переменных? как раз с целью генерации подобных "склеек" для составления их всевозможных комбинаций.

[ThunderCat]

xmoonlight, это надо иметь овердофига таких пар, то есть из емнип ~7000 часто употребляемых слов будет , короче это много будет, для 100 слов уникальных пар будет 4950. Памяти не хватит.

[xmoonlight]

ThunderCat, Нехватку памяти - эвристикой с деревом со спуском по триграммам можно решить, кмк.

[ThunderCat]

xmoonlight, чет все равно имхо задача того не стоит... Неужели такой критически важный момент с орфографией? И ладно с 2 словами, а что будет с 3 и более? Там решатель с думателем нужен будет уже...

[xmoonlight]

ThunderCat, момент такой, чтобы избавиться от визуального спам-контента (речи про смысл - пока не идёт).
Пока 2 варианта вижу:
1. Простой - разрыв несуществующих цепочек (окружение по 8-10 символов брать и разделять там, где нужно).
2. Сложный - НС строить и обучать (как Яндекс делал), и бонусом - проверка орфографии сразу сюда же.

Answer 2

[xmoonlight]

Пока 2 варианта вижу:
1. Простой - разрыв несуществующих цепочек (окружение по 8-10 символов брать и разделять там, где нужно) и часть правил слитно/раздельно ("НЕ"/"НИ" и т.д.) - сделать регулярками.
2. Сложный - НС строить и обучать уже по-полной, включая проверку орфографии и разбор предложения по частям речи (+получение структуры предложения и смысла текста).

Answer 3

[profesor08]

Есть словари, скачиваешь их, и пользуешься. Разбиваешь слово по совпадениям. Да, надо делать вручную, но там просто перебор. Чтоб все было быстро, словарь надо перевести в удобную для работы структуру.

Для примера, "написаныбезпробела", проходясь по словарю найдешь совпадение написан, на ы слов нет, присоединяешь к первому совпадению, потом пройдясь еще раз, найдешь слово без, потом найдешь пробел, останется окончание, присоединяешь его. Результат будет "написаны без пробела".

Comments

[xmoonlight]

Разбиваешь слово по совпадениям.

Пример бы...

Вот мой пример в лоб:

Небольшойшар
Небольшойамаленькийшар

И как быть?

[profesor08]

posters, xmoonlight, для этого есть морфологические словари, чтоб смотреть какие тут части речи могут быть.

[posters]

xmoonlight, извините, не увидел ваши комментарии.

[posters]

profesor08, могут быть разные. Контекст может лишь человек понять.

[profesor08]

posters, не вижу в этом проблемы, пускай. Дайте человеку возможность отредактировать комментарий, чтоб он сам все правильно сделал.

Answer 4

[Сергей c0re]

как вариант решения в лоб, составить массив всех слов (включая все склонения и српяжения), в тексте реплейсить все слова на слова с пробелами (можно с двух сторон), потом просто удалять лишние пробелы, через рег.выраж. например.

Comments

[xmoonlight]

Вот пример в лоб:

Небольшойшар
Небольшойамаленькийшар

И как быть?

[profesor08]

xmoonlight, для этого есть морфологические словари, чтоб определять части речи.

[xmoonlight]

profesor08, часть речи с морфологией - вообще никак не помогут тут.
Вот правила "НЕ с прилагательными".

[profesor08]

xmoonlight, еще в универе делали лексичекий, морфологический и прочие анализы предложений и отдельных слов. Так что кое-какой опыт у меня есть. Но всегда можно упереться рогом и говорить что все не так, вместо того, чтоб взять и попробовать что-то сделать.

[xmoonlight]

profesor08, Проблема сейчас в том, что твой опыт не может найти решение моего вопроса.
(Как и мой... Поэтому я и задал его...)

[profesor08]

xmoonlight, от простого к сложному. Тебе в любом случае перебирать словарь. Вот начинай уже сейчас.

[xmoonlight]

profesor08, Не в любом.
Что точно в любом, кмк, это проектировать и обучать НС на корректных текстах.

[Сергей c0re]

xmoonlight,
по частицам не, создается массив регулярных выражений - словоформ, типа таких
1) /(?!=не)(маленьк(ой|ая|ий|ый|ие|ые))/ \1 /

2) /не(больш(ой|ая|ый|ие|ые)),?\s*а\s+/ не \1, а /

3)

/(далеко|вовсе|отнюдь|нисколько|ничуть)\s*?не(больш(ой|ая|ый|ие|ые))/ \1 не \2 /

4) /не(больш(ой|ая|ый|ие|ые))(?!=,?\s*а)/ не\1 /

1) сначала проходимся регулярными выражениями, обрабатываем прилагательные без отрицательной частицы не
2) проходимся по прилагательным с не с наличием противопоставления
3) проходимся по прилагательным с присутствием в контексте слов далеко, вовсе, отнюдь или наличием в предложении отрицательного местоимения или наречия
4) остаются прилагательные написанные слитно с не, просто окружаем слово пробелами.

5) удаляем все лишние пробелы.

как-то так , например.

[xmoonlight]

Сергей, и как вот на конкретном примере это сработает:
"небольшойамаленькийшарпокатилсяпополу" ?
(распишите, т.к. я не могу применить/не понимаю предложенный Вами алгоритм)

[Сергей c0re]

xmoonlight, может мне уже составить массивы всех возможных регулярок-словоформ?
я подкинул мысль, дальше развивайте или ищите еще варианты, пишите нейросеть и обучайте ее... что имхо на порядок сложнее.
PS: ну по крайней мере для меня нейросеть это что-то из фантастики, по крайней мере пока ))

[xmoonlight]

Сергей, Т.е., алгоритм - не сработает и осталась только мысль...))
Понятно...
Пока (кроме НС) мой вариант так и остался: смотреть 8-10 символьное окружение с привязкой правильного разрыва и составлять словарик. Все не/ни - тут никак не учесть, разумеется.

[Сергей c0re]

xmoonlight, вы не пробовали и уже заявляете что не сработает.
можно ваш совместить "словарь разрывов" и регулярку по не, я выше описывал.
не она отработает легко.

[xmoonlight]

Сергей, Я пример привёл, который не сработает: п.2 - не выполнится.

[Сергей c0re]

xmoonlight, ну естественно!
1) Вы регулярки умеете читать/составлять?
2) Она расчитана на то что до нее выполняется разделение ДРУГИХ слов! (см. п.1)
3) я писал - можно ваш совместить "словарь разрывов" и регулярку по не

сначала слова разделяются те что можно разделить и только затем уже регулярки по не 2,3,4 последовательно.

PS: никто не мешает переписать регулярки, это как затравка, а не как готовое решение.

PPS: во второй регулярке последний \s+ можно заменить на \s* но тогда ИНОГДА она может неправильно отрабатывать, если прогонять ее по девственно слитному тексту , скорее всего будет некорректно обрабатывать например такие словосочетания (где после идет слово на А, а не противопоставление, например: небольшойамбар, но если амбар отделить заранее, то все корректно отработает.

[xmoonlight]

Сергей, Регулярки - читать/писать умею.

это как затравка, а не как готовое решение.

Нет у Вас конкретики, значит нет полного понимания (написанного же Вами!) процесса.

Ответа на мой прямой вопрос:

и как вот на конкретном примере это сработает:
"небольшойамаленькийшарпокатилсяпополу" ?
(распишите, т.к. я не могу применить/не понимаю предложенный Вами алгоритм)

у Вас нет - одни "затравки".
Итог: Ваш метод - нерабочий.

[Сергей c0re]

а читать вы умеете??

сначала слова разделяются те что можно разделить и только затем уже регулярки по не 2,3,4 последовательно.

PS: ок, удачи...

[Сергей c0re]

xmoonlight, за рабочий метод деньги платят так то ;)

[xmoonlight]

Сергей, Читать умею. А вот чем и каким образом разделить сначала слова - в этом и есть основной вопрос! ))

[Сергей c0re]

xmoonlight, можно теми же регулярками, см. п.1
но они могут ошибаться (захватывать другие слова, но не на всех конечно, например регулярка /(маленьк(ой|ая|ий|ие)/ вряд ли захватит другое слово, но наверняка найдутся такие где корень может быть самостоятельным словом, тогда окончание захватит другое слово), поэтому скорее всего надо составлять пары... что увеличит на порядки словарь.