Да, это скорее всего проблема и БП и материнской платы — они оба пропускают помехи по линии питания 5В. Так же имеет смысл проверить конденсаторы не только в БП, но и на материнской плате. Если в БП есть вздувшиеся или протёкшие конденсаторы — то БП следует заменить целиком на новый (слишком велик риск того, что там сдохло или помирает что-то ещё, чтобы его ремонтировать, т.к. от БП зависит всё остальное железо). А вот на материнской плате конденсаторы меняются без проблем. Если с железом всё нормально — то просто купите обычный сетевой фильтр и подключите через него БП (смотрите отзывы, т.к. в дешёвых китайских может простая иммитация). Скорее всего сетевой фильтр решит эту проблему.
А ещё имеет смысл проверить наличие заземления.
И проверить клавиатуру, подключив её к другому USB контроллёру — на матринской плате или внешнем.