Либо из txt, либо из mysql. Необходимо удалить все дубли. То есть не оставлять одинаковых строк вообще.
В MySQL в рамках одной таблицы двух одинаковых строк не может быть по определению реляционного отношения.
Если имеются в виду дубли по множеству полей, то как вариант:
DELETE FROM 'table' WHERE concat_ws('', 'field1', 'field2') IN
(SELECT `a` FROM (SELECT concat_ws('', 'field1', 'field2') `a`
FROM 'table' GROUP BY 'field1', 'field2' HAVING count(*) > 1) 'x')
Однако, строки
... field1 | field2 ...
NULL | 'ivanov'
'' | 'ivanov'
будут восприниматься как дубли друг друга и будут удалены обе.