цепь должна быть замкнута.
Это верно. Чтобы по эл. цепи шёл ток, она неизбежно должна иметь топологию замкнутого кольца.
Замыкается она в этой схеме, как я думаю, через емкость антенны и земли (получается, что одна обкладка конденсатора - антенна, вторая - земля).
Это тоже верно.
Но что мешает течь току по цепи антенна - колебательный контур?
Сформулировано невнятно. Так или иначе, цепь антенны замыкается через ёмкость между антенной и заземлением, или второй половинкой антенны, если она симметричная (как на СВЧ).
почему в обычных радиоприемниках мы не наблюдаем проводов, идущих в землю?
В радиоприёмниках с питанием от электросети роль заземления играет эта самая электросеть, поскольку ёмкость между обмотками питающего трансформатора довольно значительна. А для аппаратов с короткой выдвижной антенной заземлением является его корпус или тело человека, держащего аппарат в руках. Чрезвычайно малая эффективность такой антенны компенсируется высоким усилением приёмника.
что мешает поставить рамочную антенну, которая сама будет замыкаться на себя?
Это самый интересный вопрос, требующий развёрнутого ответа.
Детекторный приёмник не имеет усилителей и располагает только той энергией, которая пришла с принимаемым сигналом. По этой причине в нём применяется т.н. "открытый" колебательный контур, ёмкостная часть которого должна охватывать большое пространство - энергия собирается из объёма между антенной и землёй (единицы и десятки кубометров). Для
электрической составляющей ЭМ-поля собрать побольше энергии нетрудно, достаточно разнести антенну и заземление пошире (разумеется, с учётом требуемой ёмкости и добротности контура). С антенной, принимающей
магнитную составляющую ЭМП (т.е. рамочной и ферритовой), это сильно сложнее по конструктивным соображениям - достаточно представить себе рамку объёмом несколько кубометров.
Так что применить магнитную антенну в детекторном приёмнике мешает её малая эффективность - усилителя в нём нет, и нечем её компенсировать.