Вопрос решен.
Смог какое как наладить доступы для удаления файлов.
Правда удалять директории приходиться не с помощь shutil.rmtree(path_dir_file) напрямую, а сначала чистить директорию, и после этого удалять, т.к. начала возникать ошибка о том что директорию удалить не удается, но при этом она удалялась. Связано это я так понял было с тем что скрипт удаляет данные, но информация о удалении слишком долго обновляется на hdd, в итоге python думает что удалить ничего не вышло, но фактически директория была удалена.
Решил это вот таким образом.
for root, dirs, files in os.walk(path_dir_file, topdown=False):
for file in files:
try:
os.unlink(file)
os.sync() # синхронизируем
except OSError as e:
if not os.path.exists(file): # проверяем удален ли файл
continue
raise
shutil.rmtree(path_dir_file) # только теперь удаляем директорию
Для HDD в /etc/fstab пришлось указать такие параметры
UUID=UUID-HDD /mnt/sdb1 ntfs rw,sync,noatime,relatime,uid=UUID-AIRFLOW,gid=UUID-AIRFLOW,force,dmask=002,fmask=113,nofail 0 0
до этого была эта же настройка, но с ntfs-3g и с ней почему то не работало вообще ни как.