Повлияет ли их отсутствие на ранжирование?
Повлияет. Мобильная выдача это отдельная история. Если по конкретному запросу для мобильных устройств на сайте нет релевантного текста, то какой смысл в SERP показывать ссылку на такой сайт. Особенно когда есть сайты конкурентов, с текстом отвечающим интересам пользователя и релевантым его запросам.
Нужно ли дополнительно заниматься seo продвижениеv мобильной версии сайта?
С учетом что у Вас мобильная версия доступна на том же сайте, то про отдельное продвижение говорить не приходится. Но стоит уделить отдельное внимание оптимизации этой версии для мобильных устройств. Например проверьте сайт в сервисе
Google PageSpeed Insights, почитайте
официальное руководство для веб-мастеров по оптимизации для мобильных устройств.