Вот тут вы отключаете Qt
CONFIG -= qt
Если вам нужны библиотеки Qt, то эту строчку стоит убрать и добавить что-то вида (зависит от того, какие модули вам нужны)
QT += core gui widgets network
Далее, SFML подключается как обычная статическая или динамическая библиотека.
В INCLUDEPATH вы указываете путь к файлам *.h библиотеки. В LIBS вы указываете с какими библиотеками будет происходить линковка. Не забывайте, что если вы не указываете в LIBS пути к линковке, то они должны быть указаны в QMAKE_LIBDIR.