Полнотекстовый поиск в файлах на компьютере с учётом словоформ?

А это разве чтото меняет?

Как правильно запретить индексацию поисковиками частного контента?

Хром сливает контент (через автоперевод и еще кучу других моментов), но!
Гугл не игнорирует роботс и не показывает запароленый контент (если сами того не захотели)

Доступ к серверу с СМС-авторизацией через nginx

Вариант хороший, только по затратам ресурсов чуть тяжелее подписывания.

Доступ к серверу с СМС-авторизацией через nginx

В вашем же примере мне действительно надо следить жизнью этой куки.

есть несколько решений
1. ставьте его по больше. (плохой совет)
2. обновляем куки периодически (хороший) (к примеру фреймик, который перезагружает урлу, выдающую новую куку)

Я не уверен, конечно, но не даст ли это большую задержку?

Задержка маленькая. Вычисление md5 от сьтроки на несколько порядков быстрее проверки существования файла, и даже обращения к мэмкэшу.

но так же еще где-то нужно хранить связь между сессией и кукой, чтобы каждый раз проверять жизнь сессии и в случае чего обновить эту куку.

Не нужно ничего хранить или ставить в соответствие. У Вас есть подписанная кука на время, и всё, достаточно. А по поводу обновления куки — фреймик с доступом на 88 порт её обновит.