https://github.com/wangwenx190/framelesshelper/issues/3
Вот тут и хорошо показана суть проблемы и, похоже, есть её решение. Нужно перехватывать сообщение WM_NCCALCSIZE и подменять размеры "не клиентской" области окна. Пока не проверил, но, скорее всего, придётся писать свои обработчики для изменения размера окна, чтобы не снаружи, а внутри окна мышка отрабатывала. Или целиться в рамку пиксельной толщины, что нереально.