Да, скорее всего видеокарта. Подойдут только те карты, которые поддерживают AGP 8x.
Карты, которые вы привели - PCI Express 2.0 - не подходят, потому что на вашей материнской плате нет такого слота.
Нормальные магазины практически перестали торговать нужными вам картами. Лучше посмотрите в каких-нибудь магазинах, которые специализируются на старом железе, либо покупайте с рук.