Как разархивировать rar файл при помощи питона?

Question

[dlysenko1311]

Пробую сделать так:

import os, rarfile

xpath= "/dbfs/mnt/databricks/Staging_history/Mindbox_history_BZ/part1/BZ_extract_part/"

dpath= "/dbfs/mnt/databricks/Staging_history/Mindbox_history_BZ/part1/"

def unrar(dpath, xpath):
    for rar in os.listdir(dpath):
        filepath = os.path.join(dpath, rar)
        with rarfile.RarFile(filepath) as opened_rar:
            for f in opened_rar.infolist():
                print (f.filename, f.file_size)
            opened_rar.extractall(xpath)

unrar(dpath, xpath)

Получаю такую ошибку:

RarCannotExec: Cannot find working tool

RarCannotExec                             Traceback (most recent call last)
<command-2434645994974025> in <module>
     13             opened_rar.extractall(xpath)
     14 
---> 15 unrar(dpath, xpath)

<command-2434645994974025> in unrar(dpath, xpath)
     11             for f in opened_rar.infolist():
     12                 print (f.filename, f.file_size)
---> 13             opened_rar.extractall(xpath)
     14 
     15 unrar(dpath, xpath)

/local_disk0/.ephemeral_nfs/envs/pythonEnv-6b5b37aa-a579-4089-ba56-b5b70f69eb0a/lib/python3.8/site-packages/rarfile.py in extractall(self, path, members, pwd)
    845         for m in members:
    846             inf = self.getinfo(m)
--> 847             dst = self._extract_one(inf, path, pwd, not inf.is_dir())
    848             if inf.is_dir():
    849                 if dst not in done:

Comments

[Виктор Голованенко]

Модуль rarfile для распаковки сжатых архивов использует утилиту unrar, он не может её найти. В вашей системе установлен rar/unrar?

[dlysenko1311]

Я делал pip install rar и pip install unrar

[Виктор Голованенко]

dlysenko1311, rar и unrar — это внешние утилиты, а не пакеты Python, они не устанавливаются через pip. Последовательность действий для установки rar/unrar зависит от вашей ОС. См. официальный сайт RAR: https://www.rarlab.com/

[mayton2019]

Я вот поднял кластер и поставил себе пакетик unrar через меню libraries. Не знаю это то или не то. Вобщем пробуйте.

Answer 1

[mayton2019]

Скорее всего ты пытаешься в кластере Databricks найти архиватор rar. А его там нету.

Вообще rar это плохая тема для биг-даты. Используйте лучше gzip, bzip2. Они есть везде. Кроме того фреймворк их поддержит из коробки.

Comments

[dlysenko1311]

Да, вы полность правы, в кластере Databricks.
Знаю что rar не подходит для Big Data, мы его и не используем, но данные которые лежат в архиве rar нужно одноразово скачать и для этого нужно его разархивировать.
Возможно, вы сталкивались с такой проблемой (распокавать rar в кластере Databricks)?

[mayton2019]

Нет не сталкивался. Узнай разрешено-ли использовать Scala. Если да - то бери вот эту зависимость https://mvnrepository.com/artifact/com.github.axet... и добавляй ее в libraries. После этого разработай (локально код на Java) который решает твою задачу. Потом портируй его на Scala. И перенеси в databricks. Почему такой путь? Ну я для себя так делаю.

Answer 2

[Vladimir Tolstov]

How can unrar a file with python