хорошо берем одну строку из файла пусть будет строка 123 заносим ее в базу потом берем другую 1234 тоже заносим потом бац опять строка 123 и она тоже заносится, а она там не нужна она уже ведь есть вот для чего мне нужен primary key(stroka) :)
ну допустим я сделаю потом не нужно будет ко всем строкам сделать md5 и без уникальности не получится так как после некоторого времени будут еще данные уже другие и там могут быть те же строки и они будут повторятся а так у меня primary key (original) и insert IGNORE что бы ошибки Duplicate не выдавал...
Дело в том что у меня может повторятся строка которая будет вставятся в поле original поэтому я не могу отказаться от индекса поля original и соответственно не могу использовать auto_increment вот такая беда сейчас поставил 5.6.19 посмотрим может что и изменится но это маловероятно так как проблема все же в индексах наверно...
Согласен, мне всегда казалось что это индекса но как мне от него отказаться? :) и еще в 5.6 по умолчанию движок InnoDB я пробовал и с ним но с ним ужасно медленная скорость по сравнению с myisam там есть другой похожий тип таблиц или myisam?
Спасибо, да я знаю я изначально его и использовал, а не INSERT но INSERT мне кажется проще и с ним больше возможностей хоть и уступает в скорости, увы это не решает мой вопрос так как если делать туже самую операцию только с LOAD DATA база все равно больше 50 мл записей не проглотит.