Как понять, что пользователь забыл переключить язык (ошибся раскладкой)?

Question

[Hint]

Есть строка поиска. Иногда пользователь может ошибиться и ввести русское слово на английской раскладке. Как это понять без выполнения лишних запросов (без выполнения поиска)? Первое, что приходит в голову, проверять на наличие символов, находящихся на месте кириллицы (хъжэбю). Но эти символы иногда могут встречаться и в обычном запросе (особенно апостроф). Есть ли готовые алгоритмы или функции (php)?

Comments

[Hint]

Речь о коротких поисковых фразах. И надо не спрашивать «вы не ошиблись», а точно определять эти случае и сразу выдавать правильный результат.

[anathem]

Может как то, типа «Если нет результатов, конвертировать поисковые символы в другую раскладку попробовать искать, есть результаты? Выдаем их» :)

Answer 1

[Hint]

В итоге:
1. Собрал все строки, которые могут быть найдены (получилось около 100 мегабайт).
2. Построил список всех сочетаний из двух букв (aa, ab, ac, ..., zz).
3. Сделал поиск всех сочетаний из пункта 2 в словах из пунтка 1 и сохранил список тех сочетаний, которые не были найдены (ни разу не встречаются). Получилось 165 несуществующих сочетаний.

Теперь ищу в поисковых строках эти несуществующие сочетания. Если что-то найдено, то преобразую запрос в другую раскладку.

Comments

[Hint]

Список: bf, bk, bp, bq, bx, bz, cb, cd, cf, cg, cj, cm, cp, cv, cw, cx, cz, dx, dz, fb, fc, fd, fg, fh, fj, fp, fq, fv, fw, fx, fz, gj, gq, gv, gx, hj, hv, hx, hz, ii, jb, jc, jd, jf, jg, jh, jj, jk, jl, jm, jn, jp, jq, js, jt, jv, jw, jx, jy, jz, kj, kq, kv, kx, lj, lq, lx, mg, mj, mk, mq, mv, mx, mz, oq, pb, pj, pq, pv, px, pz, qa, qb, qc, qd, qe, qf, qg, qh, qi, qj, qk, ql, qm, qn, qo, qp, qq, qr, qs, qt, qv, qw, qx, qy, qz, rj, rx, sj, sx, tj, tq, tv, tx, uw, vb, vc, vd, vf, vg, vh, vj, vm, vp, vq, vs, vt, vw, vx, vz, wc, wj, wq, wv, ww, wx, wz, xb, xd, xf, xg, xj, xk, xl, xn, xr, xv, xz, yj, yq, yy, zc, zd, zf, zg, zh, zj, zm, zn, zp, zq, zs, zv, zx.

[Виталий Яковенко]

ZX, извините? Про спектрумы ваш поиск не вкурсе?

[Hint]

Поиск по сайту (не по пользовательскому контенту, а по данным, которые обновляются централизованно). По буквам ZX пользователь ничего не найдет (про спектрумы у нас ничего нет).

[0leGG]

cd, dvd — не найдутся.
Про XBox тоже ничего. Куча буквосочетаний, которые могут дать ложное срабатывание. А в данном случае это может сделать пользователю только хуже.

[Hint]

Речь идет не об общем решении задачи, а о решении для конкретного случая. Поисковые фразы могут быть очень короткими (две буквы), набор данных заранее ограничен (при обновлении БД будет дополняться и набор несуществующих сочетаний), коррекции ошибок и опечаток нет (поиск идет «как есть»). Поэтому данное решение для данного случая является оптимальным (на мой взгялд).

Answer 2

[Пума Тайланд]

Для поиска использую сфинкс, тупо если в другой раскладке, что то найдено, а в текущей нет, то выдаю результаты для другой раскладки.
До миллиона записей сфинкс выдает результаты быстрее чем 1 милисекунда.

Answer 3

[wersoo]

Правильней всего, конечно, в случае отсутствия результатов выполнять поиск в другой раскладке, но если второй запрос делать совершенно не хочется, можно например по биграммам определять язык (это будет быстрее поиска по словам конкретного языка).

Answer 4

[Макс]

Как вариант покопаться в исходниках XNeur, также здесь, на хабре, проскакивала статья со странной реализацией этого алгоритма)

Answer 5

[werdender]

Как вариант — habrahabr.ru/post/140351/

Comments

[werdender]

Упс, выше уже предлагался.

Answer 6

[philpirj]

Почему не делать это в жаваскрипте?

$('#txt').keyup(function(e){   
    if($(this).val().match(/([а-яёА-ЯЁ]+)/)){
        alert('Смените раскладку');
    }
});

Comments

[Hint]

Потому что поиск может выполняться и по английскому тексту. Плюс речь не о «смените раскладку и наберите заново», а вы ошиблись, но мы не заставили вас тратить время на исправление этой ошибки.

[philpirj]

При обработке можно не alert выдавать, а транслировать в нужную раскладку.
Тот же regexp можно применять и на серверной стороне.

Answer 7

[Вячеслав Плиско]

Самый простой способ — в случае отсутствия результатов поиска, делать повторную выборку прогнав вводимую строку через функцию ассоциаций раскладки типа str_replace(['q', 'w', 'e', ....], ['й', 'ц', у'', ...], $queryString)
Хотя анализ сочетаний правильнее, так что лучше комбинировать.

Answer 8

[Михаил Лялин]

автоматически менять раскладку при обнаружении тех сочетаний букв, которых нет в данном языке

Answer 9

[Иван]

Есть еще вот такое решение:
https://code.google.com/p/php-lang-correct/