Если бы результат брался из кеша, он бы не выполнялся 1-2 секнуды, а 1-100 мс. Скорее всего, просто куски файлов с диска попадают в кеш ОС и при повторном запросе берутся из памяти.
Если вы работаете под Линукс, кеш ОС (для чистоты эксперимента) можно сбросить записью единички куда-то в /proc (гуглите), внутренние буфера mysql сбрасываются перезапуском демона.
Т.е. делаете service mysql stop, сбрасываете кеш ОС, service mysql start и выполняете запрос.