Ну... Загнули. Какие ещё ключи на флэшке?
Натягиваем раздел с линксом на
LVM'е на зашифрованный раздел. Желательно, конечно, натягивать /usr (/bin с /var и /tmp тоже) и /etc, да и /boot лучше тоже в отдельное место. Большой ключ хранится на диске в зашифрованном виде каким-нибудь симметричным шифром по пассфразе. Есть ещё более продвинутый вариант с монтированием по сертификату (то есть - ЭЦП), но надеюсь, если такое потребуется, нагуглите сами.