увеличить не проблема, проблема в совместимости,
Это как раз и проблема. Достать нужную память иногда ой как не просто. Плюс в том, что уже стоит разная память, значит не все так плохо.
На материнской есть сата разъемы, просто отключите сасовский контроллер. Или используйте вместе, если питания хватит.
ОС ставьте в какой разбираетесь. Все это можно организовать и на виндовз, и на больших никсах, и на специализированных сборках.