Как перекодировать string из Windows 1251 в UCS-2 (алгоритм)?

Question

[Виталий Пухов]

Есть некий программный продукт с прослойкой бизнес кода на неком языке с весьма гибким синтаксисом, выглядит похожим на pascal, при этом спокойно кушает паскалевский синтаксис рядом с java и плюсовым, видимо его делали так чтобы "любой мог написать". Нужно изменить кодировку текста, но так чтобы результат как был в string так в нем и остался, есть ли какой ни будь алгоритм, который можно было бы взять за основу?
p.s. никаких специфичных для того или иного языка функций в этом "полуязыке" нет, хотя некоторые аналоги с паскалеподобным синтаксисом присутствуют.
Нужно измененить кодировку строки из windows 1251 в UCS-2 или UTF-16
Перекодировать нужно чтобы отправлять провайдеру smpp, он кириллицу кушает только в UCS-2 или UTF-16.
Пример кода, который кушает эта среда, фрагмент кода рабочий и нормально компилируется несмотря на различие синтаксиса.

except
	  sResult := '';
        end;
        sSource := ReplaceStr(sSource, '%h' + IntToStr(k),sResult);
      end;
    end;
  finally
    if (lFldHndl <> nil) then FreeObject(lFldHndl);
    if (lFldName <> nil) then FreeObject(lFldName);
    if (oDL <> nil) then FreeObject(oDL);
  end;
  if bTransliteSMS then
    Result = TranslateRus2Lat(sSource)
  else Result := sSource;

Надеюсь на вашу помощь.

Comments

[Antony]

>>UCS-2 или UTF-16

Это же практически одно и тоже. (если быть точным, то UCS-2 это двухбайтный unicode v 1.0 , т.е. без сурогатных пар)

[Виталий Пухов]

Antony: так то оно так) На задачу легче не делает) В языке нет паскалеподобном нет типа widechar и нужно запихнуть текст в UCS-2 в обычный string

Answer 1

[Sumor]

В Delphi есть специальный тип - WideString, который соответствует указателю на строку UTF-16.
Для перевода используется функция StringToWideChar.
Есть ещё WinApi функция MultiByteToWideChar.

Comments

[Виталий Пухов]

Спасибо) Попробую завтра, это чисто Delphi функция или в каком ни будь древнем паскале тоже есть? Просто у меня там где это требуется не какая ни будь IDE, а чей то самопал на паскалеподобном синтаксисе, компилятор тоже основан на какойто версии паскаля, но думаю крайне древнего

[Виталий Пухов]

Проверил, в той среде нет ни типа WideString ни StringToWideChar, winapi он тоже не умеет, ибо предназначен для прослойки бизнес логики в одном корпоративном монстре. Видимо от Паскаля в нем тоже не так много. Есть ли какой ни будь способ в string записать текст в кодировке WideString?

[Sumor]

Если у вас только 1251, то можно банально перекодировать в соответствующие символы в двухбайтные символы юникода. Всего получится 256 символов. Латинские будут иметь префикс 00, русские, скорее всего, 04.

[Виталий Пухов]

Sumor: метод немного костыльный, но вполне должно сработать, вопрос только где их взять. Еще остается вопрос, обычно string имеет 1 байт на символ, выходит достаточно закодить каждый символ 2 символами из двухбайтного уникода (левую и правую часть отдельно)?

[Sumor]

Чтобы не путаться лучше unicode строку хранить в виде массива байт и использовать указатель на неё.
Перекодировку можно посмотреть в любом приложении "Таблица символов" в Windows или Linux. Латинская часть, насколько я помню, просто переводится добавлениям байта 00. С русской точно не помню, но она где-то в разделе 04.
Можно сделать текстовый файл с алфавитом в Win или Linux и прочитать его как поток байтов.

[Виталий Пухов]

Sumor: проблема в том что путаться придется, т.к. передать функции нужно именно string потом, ничего другого она скушать не захочет, вот и приходится ломать голову над тем как widestring запихнуть в string....

Answer 2

[Равиль Зарипов]

есть также класс TEncoding, правда есть ли эта поддержка в этом продукте

Comments

[Виталий Пухов]

" В Delphi 2009 и выше", в том продукте его 100% нет, даже не зачем проверять, он был создан в начале века скорее всего.