DELETE t1 FROM table t1
        INNER JOIN
    table t2 
WHERE
    t1.created_at < t2.created_at AND t1.column2 = t2.column2;
Примерно как-то так. Удалит дубликаты, оставит запись с наивысшим created_at.
Вместо column2 подставьте то поле, которое считаете дубликатом.