Google Tag Manager - это что-то вроде контейнера, который один раз устанавливается на сайте и через который можно размещать все остальные счётчики и коды без корректировки уже непосредственно сайта. Все операции после первичной его установки производятся уже через интерфейс Google Tag Manager.
Google Analytics - аналитическая система, код счётчика которой устанавливается или непосредственно на сайт, или через Google Tag Manager. Через Google Tag Manager установка проще, но тонкая настройка может вызвать некоторые затруднения.
В Google Adwords есть ещё разные коды для отслеживания конверсий, настройки ремаркетинга. Но они все не нужны, если на сайте уже установлен Google Analytics.
Таким образом, можно сказать, что Google Tag Manager - это более универсальный тег, через который можно настроить все остальные. Но установка Google Analytics так или иначе (через GTM или без него) всё равно нужна.