Можно конечно попробовать получить видео буфер первичный (гуглите на тему directx),
так как видеоплееры в основном используют оверлеи этот участок будет залит одним цветом...
Ну или по простому - делать скриншот, разбиваем на 4 зоны, делаем следующий скриншот опять разбиваем на 4 зоны, смотрим в каких зонах изменения сильные, дальше опять то же самое, но только уже эти зоны разбиваем на зоны меньшего размера и опять.
Так до той степени до которой вам нужна "точность" выявления области. Так как видео не очень часто таскают по экрану делать это можно не так уж часто, иначе просто адцкие тормоза будут.
Ну и полезная ссылочка:
www.codeproject.com/Articles/5051/Various-methods-... It the GDI way: