HPC кластер. Какой дистрибутив Linux выбрать и как добиться производительности?

Стандарт де-факто - Centos/Scietific. На вычислительных узлах отключайте все лишние сервисы, выгружайте все ненужные модули по максимуму. В принципе, этого уже будет достаточно, потом можно будет только проценты производительности выжать тюнингом памяти и прочего. Увы, облегчённых ядер для HPC так просто не найти.
Ещё важно подтюнить сеть, если используете Ethernet/IP - поиграйте с настройками slowstart и прочего - это надо делать на конкретной задачке, у разных могут быть разные оптимальные настройки... Syncoockie отключите, все узлы явно вбейте а arp-таблицы.

Автоматическая обработка почты на linux?

Для IMAP есть sieve (на яндексе он врядли работает, а вот поднять у себя сервер и настроить форвард с яндекса не проблема). Для POP3 - fetchmail+procmail десятки лет работают и придуманы ровно для решения этой задачи, незачем велосипеды на bash делать...

Что сделать для безопасности в linux на домашней машине?

Будьте любезны, запустите-ка мне Android-трояна на моём Debian, очень прошу, хочу посмотреть на это :)))
Реальных LINUX-вирусов до сих пор не больше сотни, а уж работающих вообще единицы, т.к. дыры в отличие от Win/Mac тут закрываются в течении дней, а не месяцев, а то и лет... Больше стоит обратить внимание на дыры в браузерах и flash/sliverlight/java. Вот там можно и нарваться (по слухам).

Что сделать для безопасности в linux на домашней машине?

Верно. Хотя chkrootkit/rkhunter и logwatch я ставлю и на десктопе, времени почти не отнимает, а интересно наблюдать...
Ну, и подключить "deb security.debian.org jessie/updates main contrib non-free" всё-таки стоит (вместо jessie пишем что надо).
А на практике я взломанного linux-десктопа не видел ни разу. Сервера - бывает, но в основном это дыры php или дефолтные/слабые пароли. Так чтобы прямо КАРАУЛВЗЛОМАЛИ надо ОЧЕНЬ постараться и это делается целенаправленно, десктоп так ломать никто не будет.