Во первых, Gatsby это SSG, он генерирует статичные сайты, а еще умеет генерировать PWA (сам гэтсби, к слову, именно так себя позиционирует, как PWA генератор). Это не SPA.
На счет вордпресс вы правильно поняли - его можно использовать с гэтсби в качестве CMS. Никакого отношения к логике самого сайта, при этом, вордпресс иметь не будет, это будет просто именно интерфейс для работы с контентом. Вообще есть множество CMS нацеленных специально для работы со статичными генераторами сайтов, вот хороший список:
https://headlesscms.org/
На счет баз данных. Внутри гэтсби для работы с данными встроен GraphiQL, он работает из коробки. При этом источниками инфы может быть что угодно, это могут быть и внутренние файлы (популярно использование markdown файлов для постов в блоге, но вообще можно хоть json или csv использовать), и какие либо API (тот же вордпресс).
На счет скорости работы - это, на самом деле, комплексный вопрос. Но да, гэтсби обычно заметно быстрее, при чем дело не только в том что в итоге юзер получает статичный сайт, но и во встроенных в гэтсби инструментах оптимизации, к примеру там есть очень крутые инструменты для оптимизации показа картинок.
На счет комментариев. Можно пользоваться сервисами для комментариев, есть попсовый
https://disqus.com/ или есть опенсорсная платформа для комментариев
https://commento.io/.
Вообще я часто вижу что и сайты на вордпресе все равно использую тот же дискус.