Дело в том, что
OpenGL является т.н.
GAPI, т.е. интерфейсом прикладного программирования графики.
На базе такого GAPI строятся движки, фреймворки и простые проекты.
SFML, будучи фреймворком, точно так же базируется на OpenGL для работы с графикой.
В связи с этим, если ты не планируешь работать с графикой, то можешь просто не использовать модули
Window и
Graphics. Как следствие, у тебя не будет возникать зависимости от OpenGL.
Но если для тебя важно пользоваться графикой SFML, то в его стандартной поставке без OpenGL твой проект не соберется.