Если кратко - то да, можно. Все зависит от кодировки и методе сортировки установленных для таблицы (и колонки) по которой необходимо произвести поиск.
Пара примеров
select User from mysql.user where User = 'Root'
Empty set (0.00 sec)
select User from mysql.user where User = 'Root' COLLATE utf8_general_ci;
+------+
| User |
+------+
| root |
+------+
select User from mysql.user where User = 'Root' COLLATE utf8_bin;
Empty set (0.00 sec)
Если для вашей таблицы выставлен COLLATE=utf8_general_ci, добавьте в запрос
COLLATE utf8_bin;
или поменяйте COLLATE на самой колонке.