Не совсем корректно противопоставлять эти инструменты. Jmeter лучше использовать при сценарных видах тестов, оперируя пользовательскими сессиями. Яндекс.Танк (по-умолчанию) - hit-based ассинхронный инструмент, который умеет подавать нагрузку в атомарных "запросах в секунду". Но, Яндекс.Танк умеет стрелять, и используя Jmeter, почитайте документацию.
Один из плюсов Jmeter - кроссплатформенность и GUI, с другой стороны, Яндекс.Танк проще встраивать в CI и проще конфигурировать. И тот и другой инструменты - открытые, бесплатные и поддерживают подключение внешних плагинов.
Прежде чем выбирать инструмент, необходимо разобраться, какое тестирование лучше подходит к вашему сервису и решать задачу подходящим инструментом.