Как выявить языковую пару из 2-х документов?

Question

[swcalc]

Здравствуйте, есть 2 документа, каким образом (в теории, без кода = ) ), можно выявить, что 2 слова в английском документе равны 3 словам в русскоязычном?

Необходимы хотя бы зачатки идеи ))).
Как сверять, по символьно - бред, составление предшествующей базы?
Например hello = (привет||здравствуй||здравствуйте) и от этого отталкиваться?

Comments

[d'Ivan]

Что понимается под знаком равенства между словами? Лингвистика - это неточная наука.

[swcalc]

Роман: Отобразил равное значение между двумя словами )

[d'Ivan]

Для человека имеет значение смысл, получаемый по прочтении слов, а не сами слова. Скажем, заменив одно слово другим, смысл может остаться прежним.
В английском языке часто используется пара слов: turn on, take out. Как трактовать тогда количество относительно передаваемого смысла для другого языка?

[swcalc]

Роман: Вот, об этом я и говорю, как выявить данную пару, когда не известно заранее, как фраза будет выглядеть на другом языке )). Есть 2 документа, переведенных на 100% в ручную, но как отобрать пары?)))
Чтобы сохранить значение в контексте )))

[swcalc]

Роман: Единственный-ли путь создание базы из слов, возможного перевода, чтобы по ним уже искать на втором языке?

[d'Ivan]

Для эвристического анализа наличие такой базы возможно поможет. Но комбинаторика всё равно загубит идею словаря.

[swcalc]

Роман: Что же делать, с Вашей точки зрения?)

[d'Ivan]

swcalc: Нет у меня идей. Увы.
Возможно на "детских" текстах сработает, а на чуть более сложных - сломается.
Лингвистика граничит с психологией, а потому сложна в автоматизации.

Answer 1

[Владимир Сергеев]

Если нужно хорошее коммерческое решение, то понадобится нейронная сеть, которой будут скармливаться сотни тысяч языковых пар на уровне грамотных и цельных тематических текстов с переводом на нужный язык, и длительный период обучения. Со временем она должна научиться распознавать наиболее частые для контекста смысловые эквиваленты на уровне предложений и, вероятно, типичных словосочетаний. Но думаю, то, что даже компаниям уровня Гугла, у которых есть свой веб-сервис перевода и доступ к петабайтам языковых пар, пока не под силу сделать нечто сопоставимое работе даже переводчика-любителя — хороший показатель сложности задачи.

Если ничего хорошего не нужно, то можно попробовать состряпать простенький переводчик из открытых словарей, где уже заложено большинство частоиспользуемых языковых пар на уровне слов и словосочетаний. Только это уже реализовано много кем («Промт» помните?) и абсолютно бесполезно для перевода больших объёмов текста.

Точно переводить по словам, конечно, не получится никогда, так же как нельзя пересадить корове ногу оленя и надеяться, что она от этого быстрее побежит.

Comments

[swcalc]

Я думаю в сторону контекстных решений, то есть брать наиболее подходящий контекст (из прошлого опыта) и переводить наиболее подходящими "символосочетаниями" )))

[Владимир Сергеев]

Ну да, это распознание паттернов + самообучение, то есть наиболее подходящая задача для нейронной сети. Хотя есть, например, системы автоматизированного перевода (CAT), которые могут даже в офлайне осуществить рудиментарный предварительный контекстный перевод на основе коллективной переводческой памяти и скормленного им корпуса двуязычных текстов, но там, скорее всего, используются _очень_ мощные эвристические алгоритмы, на которые потрачены десятки и сотни тысяч человекочасов. При этом результат такого перевода, если нет (почти) полного контекстного совпадения, удручает.

[abcyu]

Владимир Сергеев:
Разумеется, смысла писать все это вручную самому нет на сегодня.
Машинным переводом занимаются уже давно.
Наверняка уже существуют специализированные инструменты.