Вероятно, у вас есть проксирующий сервер (например, nginx), который не сообщает apache реальный IP-адрес клиента. В связи с этим apache считает, что у всех ваших посетителей один и тот же адрес — адрес nginx-а, то есть, по сути, адрес сервера.
Поставьте в apache mod_rpaf, настройте и, скорее всего, ваше решение заработает.
И ещё на всякий случай поменяйте местами deny from all и allow from <ваш ip>, чтобы сначала было разрешение вашего адреса, а потом запрет всем остальным.
