чудес нет, либо
построчно читайте в Панду
либо предподготавливайте файл:
1) считали csv.read() / правильный dialect в список
2) прогнали isdigit() через list comprehentions / преобразовали в float / int / decimal (хз за Панду с decimal)
3) записали с диалектом QUOTE_NONNUMERIC