Adamos

Школьная же задача. Одна сторона прямоугольного треугольника - 100%, вторая - дельта (разность) между значением цвета картинки и цвета наложения. Отмеряем нужный процент, проводим перпендикуляр к процентной стороне до пересечения с гипотенузой, определяем его высоту, меняем значение цвета на эту величину.
Дельта / 100% = Величина изменения / Нужный процент.
Величина изменения = Дельта * Нужный процент / 100%.

на сервер приходит строка как если открыть в hex редакторе и посмотреть на dump

Вот ее-то вы и записываете. Параметр b, естественно, работает, но никто не будет за вас превращать hex-представление обратно в байты.
Читайте свою строку по два символа, превращайте их в байт, его и записывайте в файл.

Лучше переделайте на такой вариант:

static QSqlDatabase* getPDB()
{
  static QSqlDatabase *pdb = NULL;
  if(pdb == NULL) {
    pdb = connect();
  }
  return pdb;
}

Ну, соответственно, connect должно создавать это самое соединение и возвращать тот самый указатель.
И никаких глобальных членов класса...

Насколько я помню, у NSIS весь гуй - просто оболочка к обработчику файлов описания дистрибутива.
Надо думать, из консоли он точно так же успешно их обрабатывает.

Можно попробовать представить, что именно может делать чит с данными, и встроить проверку, не были ли данные изменены нелогичным способом.
Своего рода тест, встроенный в само приложение. Кстати, если действительно периодически вызывать некую функцию с тестовыми данными и сравнивать результаты с известными, можно поймать момент, когда функция была подменена и стала делать не то или не так. Без всяких проверок хэшей и пр.