Делать надо под все dpi: mdpi, hdpi, xhdpi, xxhdpi и даже можно под xxxhdpi. Но, стоит учитывать и специфику приложения: будет работать приложение только на смартфонах, только на планшетах или на обоих видах устройств. Если только на одном виде, то есть смысл подумать об ограничениях при добавлении приложения в маркет.
Чтобы упростить себе жизнь, следует стараться избегать статичной графики, либо делать её под все размеры устройств и раскладывать по соответствующим папкам ресурсов.
Ну, и обязательно стоит прочитать:
developer.android.com/intl/ru/training/multiscreen... Тем более, что этот раздел уже давно переведен на русский и нет необходимости владеть английским.