Как работают программы, умеющие брать с сайта данные, которые ещё не отображены на веб-страницах?

Lillipup, да, скорее про это. Что мне, обычному пользователю, страница генерируется в том виде, в каком я могу её запросить через интерфейс сайта или типа того. А если написать какой-то особый запрос, то тогда мне вернётся, допустим, информация и нужные мне значения. И тогда, получается, наверное, нужно знать структуру запроса, какие-нибудь id объектов, состояние которых я хочу проверить, и написать программу, которая может такие запросы отправлять. Это то, как мне представляется этот процесс, как человеку без опыта в веб-программировании.

А если я начну изучать Javascript, я узнаю ответ на свой вопрос?