Zettabyte

Вам нужен HBA-адаптер (кто-то называет HBA-контроллером).
Можно взять б/у на eBay, хламаде, или авито.

без серверной железки с RAID-массивом ... RAID-ы не нужны

RAID-контроллер вам не только не нужен, но и противопоказан.
Ряд контроллеров могут нормально переключаться в HBA-режим, но многие могут отчаянно и неожиданно чудить - автоматом инициализировать диски и проделывать прочие подобные вещи.
Так что мы обычно рекомендуем избегать рэйд-плат для подобных задач.

несколько SAS дисков ... есть желание их протестировать, проверить поверхность на BAD-сектора

Обзаводитесь железом и берите R.tester. Насколько нам известно, у него, как минимум, среди бесплатных утилит, наиболее широкий набор возможностей для работы со SCSI и SAS-дисками: https://rlab.ru/tools/rtester.html
К примеру, программа позволяет посмотреть SMART для САС и СКАЗИ-винчестеров, и имеет шикарный встроенный SCSI-коммандер с подсказками.

заявлена возможность подключения до 122 дисков. Как это реализовать

Выделите полчаса на то, чтобы погуглить различные словосочетания, включающие в себя слова "expander" и "backplane".
Это то, что вам нужно как в плане железа, так и в плане знаний. Если вы раньше никогда не работали с подобным оборудованием, то хотя бы базово однозначно стоит разобраться, иначе потом могут быть неприятные сюрпризы.

Докупать нужные железки надо б/у на eBay, авито, хламаде, и т.п.

старому SAS-контроллеру

Обязательно обратите внимание на вот эту статью KB, т.к. к вашей плате она тоже относится: https://www.broadcom.com/support/knowledgebase/121...

If a drive larger than two TeraBytes in capacity is used with an LSI 3Gb/s SATA+SAS HBA, you will not be able to use the remaining capacity beyond 2TB.

Я бы не особо полагался на выделенную жирным часть цитаты, а по умолчанию полагал, что диски больше 2 ТБ использовать нельзя. Если всё же хотите рискнуть, то необходимо предварительно провести тщательную проверку поведения с большими дисками.
В противном случае однозначно станете нашим клиентом, а с учётом того, для каких RAID'ов обычно используют такие железки, и какие повреждения ожидаемы, ещё и с непредсказуемым исходом.

Также обратите внимание, что по-моему, у вас RAID-контроллер, их работа обычно отличается от HBA-адаптеров.

всякие виктории и mhdd вообще не видят SAS диски

Самое время попробовать R.tester:

• Во-первых, было бы хорошо посмотреть как он вообще увидит HDD, затем можно пробовать тест записи.
  
• Во-вторых, насколько мне известно, у Р.тестера, как минимум, среди бесплатных программ, самый широкий набор функций (эмуляция SMART для SAS/SCSI и т.п.) для работы с дисками SCSI и SAS: https://rlab.ru/tools/rtester.html
  

Давно не видел таких серверов, но ЕМНИП, то этот контроллер (если он похож, например, на Y8Y69) поддерживает только Raid 0, 1 и 10. Один диск подключать не пробовал.

Кроме того, проверьте нет ли у вас там вендор-лока на диски только от Делл (OEM).
К тому же, по-моему, когда LSI поставляется вместе с сервером, драйверы для них предоставляет тоже Dell.

Я думаю, что собрать-то можно, но как оно будет работать - вопрос.

Во-первых, отмечу, что мы и сами любим погонять контроллеры от LSI, но касательно поддержки ТРИМ стоит посмотреть вот эту страницу:
https://www.broadcom.com/support/knowledgebase/121...

Кроме того, вопрос также в том, не является ли ваш контроллер "слишком простым" для работы с ССД в целом.

Во-вторых, тоже дополню про кэш:

Без него могут быть неожиданные просадки в скорости. Неожиданность может быть как в масштабе просадок, так и в их несимметричности (чтение/запись).
Вообще для ССД рекомендуют кэш контроллера отключать, но тогда надо включать кэширование на самих дисках. Если предлагаемые вам ССД - серверные, то в них должна быть защита кэша на случай перебоев с питанием, если нет, то с учётом специфики вашей задачи, работа становится небезопасной.

Возможно, имеет смысл попробовать такую комбинацию вживую и посмотреть как всё будет работать, но понятно, что этот вариант может быть недоступен - как из-за того, что накопители просто так не дадут, так и из-за необходимости держать сервер онлайн.

Хотим собрать сервер на SAS 12G (прям мечта)

Не то, чтобы прямо ответ на ваш вопрос, но увидев упоминание SAS12G, не смог пройти мимо.

Если вам интересна тема "гонки серверных интерфейсов", посмотрите недлинный пост о SAS3 (12G) и SAS (3.0G). Там на старом контроллере удалось получить 790 МБ/с.