Формат материнской платы выбирается под корпус: ATX, mATX и так далее. Они должны совпадать.
Под материнскую плату выбирается процессор (зависит от сокета, например, процессор с сокетом AM3 (от AMD) не станет под мать с сокетом LGA775 (для Intel).
Также вы должны смотреть на количество слотов под оперативную память в материнской плате, под максимальный объем планки в одно гнездо.
Обязательно смотрите на поддержку USB 3.0, это очень важно (материнская плата).
Опять же мать отвечает за разъемы под видеокарту. Самый современный интерфейс - PCIExpress 3.0. Но, если ваш процессор это не поддерживает (или наоборот, процессор поддерживает, а мать - нет), то видеокарта будет работать на PCIExpress 2.0.
Видеокарта подбирается под материнскую плату, но в принципе, ограничений нет. Обязательно смотрите на выходы в видеокарте. Также на объем (1, 2, 4, 12 ГБ), на тип (DDR3, GDDR3 и самые новые - GDDR5). Не теряйтесь, когда написано, что мать поддерживает до DDR3. К видеокарте это не относится. Это относится к опреативке.