Можно ли скачать публичную папку из яндекс диска без официального клиента?

Question

[wormball]

Мне надо скачать 2 тб (90000 штук) файлов с публичного яндекс диска. Но дело осложняется тем, что у меня не самое лучшее соединение, а главное - тем, что клиент яндекс диска - чудовище.

Во-первых, ежели качать оного клиента оттуда, откуда его предлагают скачать, скачивается версия 4.х. Каковая, как выясняется, вовсе не может что-либо делать с публичными файлами. А надо качать версию 3.х. Ну что же, скачал, но на этом приключения только начинаются.

Во-вторых, файлы добавляются в очередь несколько минут. Но самое весёлое - если я хочу удалить некоторые файлы из очереди, эта операция занимает около 2 секунд на один файл! Ну то бишь все 90000 файлов удалятся за несколько дней.

В-третьих. Вы спросите, а зачем надо удалять файлы из очереди? О, вы не знаете яндекс диск! Дело всё в том, что ежели яндекс диск по какой-либо причине завершится и откроется снова, он начинает скачивать все те же файлы по новой!

В-четвёртых. Буквально сегодня я торжественно инициировал означенную наукоёмкую операцию удаления файлов из очереди. И в процессе оного непосильного машинного труда внезапно исчезло электричество. Всего на одну секунду. (не спрашивайте, почему у меня нет ибп) Загружаюсь снова. И вижу картину маслом. Никакой очереди в яндекс диске нет вовсе, как будто её и не было никогда! Ну то бишь мне предлагается начать сей увлекательный процесс с нуля.

Собственно сабж. Я слышал слово вебдав и даже скачал клиент, и он даже работает. Но только показывает только мои личные файлы, которых у меня отродясь не было.

Упд: а теперь внимание правильный ответ! https://github.com/dining-philosopher/ydiskarc

Comments

[Dmitry Roo]

А там нельзя просто нажать кнопку в веб-интерфейсе "скачать все"?

[alexalexes]

Dmitry Roo, даже если существует идеальный интерфейс файлохранилища в веб. Если скачивается больше одного файла, то сервер хранилища должен завернуть набор файлов в zip и отдать одним файлом. Эта не тривиальная задача, если размер идет на десятки гигабайт, а число файлов - на тысячи.
Без нормального клиента в ОС с большими файлами не поработать нормально.

[Refguser]

Можно с помощью системы для браузерной автоматизации (например BAS).

[Lynn «Кофеман»]

Я бы написал простой скрипт с использованием API
https://yandex.ru/dev/disk-api/doc/ru/reference/public

Answer 1

[rPman]

была утилита ydiskarc, попробуйте, может она еще работает?
pip install --upgrade ydiskarc
пример использования

ydiskarc sync --url <public_url> -o <local_directory>

--------
Можно вручную загрузить все файлы из публичного каталога по их ссылке просто обычным wget:
у вас есть публичная ссылка (каталога или файла, получать при клике на три точки на файле в яндекс диск -> опубликовать -> скопировать) вы формируете из этой ссылки:
https://disk.yandex.ru/d/xxxxxx
с помощью этой

https://cloud-api.yandex.net/v1/disk/public/resources/download?public_key=

просто добавив вашу yandex ссылку в конец после public_key=

https://cloud-api.yandex.net/v1/disk/public/resources/download?public_key=https://disk.yandex.ru/d/xxxxxx

и скачиваете вручную в браузере или с помощью wget и получаете json файл примерно такого вида:

{"method":"GET","href":"...длинная...ссылка...","templated":false}

все что внутри href - это прямая ссылка на опубликованный файл или zip архив опубликованной папки, ее просто вставляете в браузер или загружаете любой другой утилитой, например wget.

так же можно написать утилиту, которая переберет рекурсивно ссылку с этой https://cloud-api.yandex.net/v1/disk/public/resour... и будет загружать файлы по отдельности, делов то поговорить с бесплатным ИИ (с такими примитивными вещами он справится, только снабжать его примерами json что выдает яндекс) и он напишет такой скрипт

Comments

[wormball]

> Можно вручную загрузить все файлы из публичного каталога по их ссылке просто обычным wget:

Помнится, как-то раз я пытался это сделать (или через апи, не помню) и потерпел сокрушительное поражение.

> была утилита ydiskarc, попробуйте, может она еще работает?

И да, и нет. Скачивать она скачивает (в чём её несомненный плюс), но работать так, чтобы её можно было применять для чего-либо серьёзного - она, похоже, не работала никогда. Но я это исправил: https://github.com/dining-philosopher/ydiskarc .

Почувствовал себя на старости лет почти настоящим программистом, так сказать. Ежели бы ещё самостоятельно раскурил, как с яндекса качать - было бы совсем замечательно, но увы.

И таки да, скачал все 2,2 тб файлов. 800 гб из которых были откровенным дублем, а ещё 500 гб - дубли, заботливо рассованные по различным папочкам и переименованные.

Answer 2

[Drno]

скорее всего нет. ЯД давно порезал внешние клиенты. так что просто ставь на закачку всё и иди курить)