tzlom

возможно - strict режим сервера, а у вас $count === "5" (в смысле это строка)

а, т.е. вы хотите создать БД с уникальным ключом и попытаться на неё импортнуть все строки?
насчёт партиционирования не знаю, я таких фич не встречал
считать хеш не рекомендую, тем более что 1-5 слов это весьма короткий фрагмент текста,MySQL сам справится с задачей

Sphinx, Яндекс.Сервер очень привередлив к ОС и настройкам (тратится куууча времени на его запиливание)