Нашел ответ сам, прошу прощения. Вот сам ответ, мало ли кому понадобится:

file_id у отправленных вашим ботом файлов будут удалены после отправления нескольких тысяч файлов.
Для принятых файлов file_id можно считать вечным и неизменным.