Во-первых вам нужно вынести переменную previousScroll за пределы функции, потому что она видна только в одной из них.
Во-вторых scrollTo() требует двух аргументов. Если вы передаете только позицию по Y, нужно сделать так:
var previousScroll = 0
open.onclick = () =>{
previousScroll = window.pageYOffset; /*Сохраняю позицию скорлла*/
window.scrollTo(0, 0); /*Скролл поднимается в самый вверх*/
}
close.onclick = () =>{
window.scrollTo({top: previousScroll}); /*Хочу вернутся в исходную позицию скорлла*/
}