результат я хочу вывести в это же popup.html или в новое модальное окно
Если нужно в модальное окно, то нужно учитывать, что оно будет отображаться внутри попап, т.к. ты именно в нем выполняешь скрипты и "попап" является своего рода отдельной "вкладкой" браузера.
Поэтому ваше заявление: или, или - все приведет к одному результату.
Как работать с dom, вам уже писали в комментарии, это практически не отличается от разработки обычного сайта на js/css/html
Для примера, можно использовать такого рода скрипт в popup.js:
document.body.innerHTML = "Some new HTML content";
Если вы не можете осилить обычную разработку сайта, не требующего излишеств, то вам пока еще рано заниматься разработкой полноценного расширения.