Sumor

sqrt это квадратный корень с одним аргументом.
Поэтому в выражении sqrt(fabs(f-y),3) у вас сначала срабатывает оператор "запятая", а затем считается квадратный корень.

Биты в мультипликативных группах означают коэффициенты при соответствующих членах многочлена.
Судя по всему 1001 означает неприводимый многочлен: 1*x^4+0*x^3+0*x^2+1*x^1+1 = x^4+x+1
По свойствам таких групп достаточно взять любой элемент, кроме единицы и нуля, и его степени дадут вам все элементы.
Проще всего взять элемент x, который соответствует числу 0010. Перебираем все его степени - получаем все элементы и таблицу умножения. Помним что у нас 1+1 = 0 и плюс равен минусу.
x^0 = 1 = 0001
x^1 = x = 0010
x^2 = 0100
x^3 = 1000
x^4 - этот элемент больше нашего многочлена - нужно найти остаток от деления:
x^4 : (x^4+x+1) = 1 * (x^4+x+1) + x+1 - остаток x+1 = 0011
x^5 = x^4 * x = (x+1)*x= x^2 + x = 0110
x^6 = x^5 * x = (x^2 + x)*x = x^3 + x^2 = 1100
x^7 = x^6 * x = (x^3 + x^2)*x= x^4+x^3 - опять получили больше нашего многочлена - находим остаток от деления
(x^4+x^3): (x^4+x+1) = 1 * (x^4+x+1) + x^3+x+1 = 1011
и продолжаем до x^14

Попробуйте ввести более 10 символов в word1 и word2 и у вас программа непредсказуемо упадёт.
Если использовать strcat_s, то она проверит граничные условия и выдаст ошибку, если они не выполняются.
Для использования strcat_s нужно немного переписать программу - обработать ошибку и знать размер первого буфера.

M и N поменялись местами

for (int k = i + 1; k < N; k++) {
          for (int l = j + 1; j < M; l++) {

Всё возможно только с помощью WinApi.
Но это слишком олдскульно, непривычно и многословно.
Общая схема, примерно такая:
RegisterClass - регистрация названия (типа) главного окна
CreateWindow - создание главного окна своего типа
CreateWindow - создание кнопки на главном окне.
Главная функция должна быть WinMain. И в ней должен быть цикл обработки c GetMessage и TranslateMessage.

Есть слегка другой путь. Создать диалог в ресурсе, а затем его создать через CreateDialog или аналоги.

В Windows при записи символа \n в файл дополнительно записывается \r. При чтении наоборот он сглатывается.
При работе в бинарном режиме такого не происходит, но чтобы в windows показывались нормальные строки они должны заканчиваться \r\n.

Всё что создано через new должно быть удалено через delete.

Чтобы понять что за ошибка вызовите дополнительно GetLastError.
В момент обработки WM_CREATE окно ещё не до конца создано, может быть проблема в этом.
Дочерние окна чаще всего подразумевают панели или контролы. Попробуйте создать дочернее окно не со своим классом, а, например, кнопку или текстовое окно.

if(isupper(i))
       out += (i + key[j] - 2*'A') % 26 + 'A';
        else
      out += (i + key[j] - 2*'A') % 26 + 'a';

В первом случае у вас i - большая буква, key[j] - большая буква, поэтому вы вычитаете две буквы A.
В первом случае у вас i - маленькая буква, key[j] - большая буква, а вы продолжаете вычитать две буквы A.
Правильнее чуть сгруппировать, чтобы было понятно зачем вы отнимаете:
out += ((i - 'A') + (key[j] - 'A')) % 26 + 'A';
И тогда сразу станет видно, что в случае с маленькой буквой нужно:
out += ((i - 'a') + (key[j] - 'A')) % 26 + 'a';

NB: i - плохое имя для переменной типа char. Когда программист видит i он подразумевает цикловую числовую переменную.

Для решения задачи вы должны уметь находить:
Sобщ - площадь всей фигуры.
SL(x) - площадь фигуры, расположенной слева от линии x
Функция SL(x) неубывающая, непрерывная, слева от фигуры равна 0, справа от фигуры равна Sобщ.
Из этого следует, что существует такое значение xс, при котором SL(xс) = 0.5 Sобщ
Аналитически его можно найти только для определённых случаев.
Можно найти численными методами - в несколько этапов: берём x1, считаем SL(x1), если больше 0.5 Sобщ, сдвигаемся влево, если меньше - вправо и тд, пока не приблизимся к нужной нам точности.

Если вы используете TCHAR, то вместо FindFirstFileW нужно использовать FindFirstFile.
TCHAR это в зависимости от настроек препроцессора или char, или wchar_t.
Соответственно функции WinApi в зависимости от этой настройки сами выбирают какую версию ansi или unicode вызывать.
Условно, вы можете использовать char, вызывать GetModuleFileNameA и FindFirstFileA.
Или, если у вас только unicode: использовать wchar_t, вызывать GetModuleFileNameW и FindFirstFileW.
Или, как делает большинство, использовать универсальный тип TCHAR, вызывать GetModuleFileName и FindFirstFile. Компилятор сам выберет какую версию ansi или unicode использовать.

К сожалению для консоли Microsoft не придумал tcout, поэтому нужно в зависимости от параметра препроцессора выбирать консоль, например так:

#if defined(UNICODE) || defined(_UNICODE)
#define tcout std::wcout
#else
#define tcout std::cout
#endif

Попробуйте

OpenParm.lpstrDeviceType = L"F:";
OpenParm.lpstrDeviceType=L"CDAudio";
mciSendCommand(0, MCI_OPEN, MCI_OPEN_TYPE | MCI_OPEN_ELEMENT, (DWORD_PTR)&OpenParm);

Ну если результат шифрования расшифровывается, и совпадает с зашифрованными другими программами данными, то всё правильно.
Проблема заключается в том, что часто реализованные в лоб алгоритмы выполняют много повторяющейся работы, которую можно оптимизировать. Как минимум, в процессорах 8-байтные регистры, а большинство операций в алгоритме - однобайтовые.
Для оптимизации можно и нужно использовать профайлер, который покажет узкие места, которые можно попробовать оптимизировать.
При компиляции нужно указать параметры для наибольшего ускорения.

Для реализации можно использовать специальные инструкции процессора AES-NI, которые и используются в truecrypt.