1. Загрязнения удалять приходится, если нет нормального контакта, но делать это ластиком - себе в убыток. Ластик не столько чистит, сколько оставляет собственный материал на поверхности, загрязняющий её (а чернильный ластик, содержащий абразивные крупинки, ещё и сдирает тонкое золотое покрытие, и может вообще нарушить контактирование этим абразивом, если крупинка внедрится в поверхность).
2. Чистить надо по факту неработы, а не по времени. Да и почему вы грешите на контакты карты? Ведь есть ещё и контакты втычки - их-то как будете чистить?
3. Изнашивает, конечно, но это фактор применения. Хотите отсутствия износа - заверните в тряпочку и не трогайте.