Ключевой вопрос: как собираетесь монетизировать приложение?
1. Покупки, подписки - можно смело поднимать версию, т.к. очень вероятно, что у владельцев Android 5.0 и ниже не будет денег на покупки и подписки. Начинаем с 23 версии.
2. Реклама - нужен максимальный охват, пробуйте опуститься до 19, ниже смысла нет, у старых устройств уже давно сели аккумуляторы и разбились экраны. Ради 10 человек не стоит тратить своё время на ловлю багов несовместимости.

Так же проверяйте поддержку древних версий сторонними библиотеками и родным SDK, какие-то вещи в старых системах могут работать странно. И при разработке поставьте в эмулятор самую древнюю версию Android с минимальным размерами экрана, которые будете поддерживать, чтобы потом не было мучительно больно.
И не забывайте, что раньше тоже были планшеты с большими экранами на Android 4.4 ;)