Нормализовать регистр в строках, да на php?

Question

[Ёж Туманный]

Привет, комрады!

Разрешите без долгого вступления, ситуация у нас следующая:
Имеются внешние источники данных, от которых прилетает разного рода информация. Даты, числа, объекты и прочую нечисть мы с легкостью разбираем, но вот как только доходит дело до строк.. Тут интереснее.
Тут несколько кругов ада. Первый - кодировки. Второй - спецсимволы и минимальная нормализация. Третий - это кириллица и.. И возникла задача по нормализации регистра строк. Сейчас на примере поясню, а если ты знаешь в какую именно сторону копнуть - то направлению буду признателен.

Итак, каждая строка - это вход, а через дефис - это то, что надо бы получить на выходе.

ПРИВЕТ МИР. - Привет мир.
привет мир - Привет мир
ПРИВЕТ МИР. Я ДОМА - Привет мир. Я дома
ЛЮБЛЮ Г.САНКТ-ПЕТЕРБУРГ - Люблю г. Санкт-Петербург
в связи с пост. от 12.12.2048 - В связи с пост. от 12.12.2048
ПОПАЛ Я ОДНАЖДЫ В ЯНАО - Попал я однажды в ЯНАО
система рхбз для мл.с-та мутко - Система РХБЗ для мл. с-та Мутко // На грани фантастики

Как, куда бы глянуть, чтоб не городить свой super_puper_case_ai_changer_by_vasya.php?

Comments

[Arris]

В общем виде, имхо, нерешаемо.

Вам нужен:
1. Словарь всех имён во всех падежах (ну это, допустим, еще реально).
2 Словарь аббревиатур (вы уже понимаете, что это малореально, не говоря уже о том, что в некоторых случаях то, что пишут как аббревиатуру - на самом деле или имя, или просто слово, или название).

Ах да, словарь названий еще нужен - но простым регекспом заменять не выйдет - Ленинградская Область, но ленинградец.

Задача нормализации первой буквы в предложении - это сущая ерунда ;)

[Ёж Туманный]

Arris: Вот и я так думаю, но, быть может есть какая-нить либа, которая понимает что аббревиатура - это согласные подряд длинной де более, например, пяти, и фонетически имеют минимальный "вес звучности" (да простят меня те, кто читают эти строки за адовые формулировки). Сокращения городов - нда, словарь, но словарь вида префиксов перед названиями городов будет достаточно (на самом деле нет). Пускай тяжелые вычисления - они всё равно в queue происходят, не критично.

Ну а вдруг что-то да уже есть? :) DaData же умеют, ну, в общем случае :)

[Arris]

Ёж Туманный: у них там все серьезно, не одна либа :)

Вот вам пример: СПбГУ - аббревиатура :) или ГОУ - тоже аббревиатура. Так что с согласными пролетаем, только словарь.

В свое время передо мной поставили такую же задачу. Я почитал в интернете все что нашел, узнал цены... и доказал заказчику, что ему это не нужно и можно обойтись некоторыми частными случаями. А всего-то стояла задача "нормализовать регистр" в ~8 миллиардах строк.

[Stalker_RED]

Боюсь что без AI не обойдешься. Часть проблем может решить какой-нибудь типограф, но вычленить из текста аббревиатуры и акронимы, топонимы, фамилии и прочую нечисть довольно сложно. Есть пакеты для проверки орфографии и толковые словари. Можно часть правил оттуда надергать.

Answer 1

[Александр Батухтин]

Стандартными средствами — вряд ли. Надо либу искать, мне кажется, должны быть. Что-нибудь типа Stringy (не пользовался) и от неё уже доплясывать ближе к идеалу.

Comments

[Ёж Туманный]

Вооооо, уже интересненько! Прям спасибо!

Answer 2

[Stalker_RED]

На случай, если таки решите самодельничать, вот вам abbr.ru.

Answer 3

[profesor08]

Словарь имен, фамилий, названий для слов, которые должны быть с большой буквы всегда. С аббревиатурами все сложнее, так как их овердофига, но тут можно схитрить, причем очень конкретно. Нужен какой-то набор аббревиатур, если проверяемого слова там нет, то стоит проверить по обычному словарю, если оно есть, то это обыкновенное слово, а если нет, то предположить что это аббревиатура. Т.е все неизвестные комбинации букв считать аббревиатурами.

Answer 4

[Александр Аксентьев]

php.net/manual/ru/function.ucfirst.php + несколько функций которые там рядом

Comments

[Ёж Туманный]

Друже, а теперь ещё раз посмотри на примеры. Соль в падежах, детекте аббвеатур, анализе "а не сокращение ли это" и т.д. В общем, мимо кассы

[Александр Аксентьев]

Ёж Туманный: не смотрел все примеры, это конечно никто не сделает готовое, надо писать конкретное разбор сущностей нужных. Само-то не обработает как надо.

Я по первым примерам и заголовку вопроса думал что только предложениям регистр выровнять т.е. первую букву поднять.