Простого способа нет. Метаданные могут кое-что подсказать - некоторые форматы изображений содержат комментарии, например, каким ПО файл был создан. Но метаданные могут отсутствовать или быть некорректными.
Не говоря уже о том, что ваше определение "скриншоты, документы" - ОЧЕНЬ расплывчатое. Фотография экрана - это скриншот? А с точки зрения метаданных она будет неотличима от просто фотки. Фотография девушки с паспортом в руках - считается документом или нет?
Так что или пытаться обрабатывать всё (и ругаться, если не получается), или ставить какой-то предварительный фильтр на базе того или иного классификатора изображений. Но тогда будут проблемы с ошибками - или фильтр пропустит левое изображение, или, что хуже, не пропустит правильное.