Я не знаю как это можно правильно объяснить.
Но это является проверкой сайта. То есть при загрузке сайта он генерирует в коде страницы XSRF-TOKEN и использует его в дальнейшем для подтверждения того что вы являетесь настоящим человеком. Допустим для того же самого requests post сайт может запросить XSRF-TOKEN для проверки.