Как смотреть фото из panoramio archive?

Question

[alex_ak1]

Был сайт panoramio, на котором была уйма фоток (не моих). Он успешно закрылся и частично перенесся на гугл мапс. А частично - не перенесся.
Нашел на сайте archive.org кучу скачанных оттуда фоток. Причем они все раскиданы по куче архивов, каждый из архивов - это файл содержания (список файлов с каким-то неважными по моему атрибутами) и ПОЛНОЙ копией процесса закачки (warc).
Если открыть через плеер, то теоретически можно для каждой фотки найти координаты (и если в гугл earth перейти по ним, то там будет фотка). Но мне хотелось бы получить слой для чего-нибудь типа qgis, который будет содержать все фотки в каком-нибудь регионе. Можно ли такое сделать?

Comments

[Moskus]

А где эти координаты хранятся-то? Если, например, только в EXIF каждого фото, то ответ очевиден: нужно получить доступ к EXIF, выбрать оттуда координаты и сложить их куда-то (например, в CSV-файл). Если же все это в глубинах gz-архивов, то качать придется дохрена.

[alex_ak1]

Moskus, Вероятно, в части фоток это хранится, но я бы на это особо не рассчитывал.
Скорее, как я посмотрел, придется искать среди этого архива хтмл-странички с определенным типом адресов, которые содержат явные координаты фотки вида "55.12345 50.3456" и рядом обычно несут с собой фотку (опять-же с определенным адресом) большого разрешения.
Проблема в том, что это все разбито хрен знает как по каким частям и, если это делать, то придется выкачивать 45 га первого архива. Остальные архивы - там тоже загадка. Раз это archive.org, то есть вероятность, что это почти одинаковые копии. А есть вероятность, что копии разные и сделаны именно накопительным образом.
Но как я посмотрел, у каждой фотки есть свой ИД, по которому ее можно искать среди страниц с координатами.
Часть ссылок выводят на гугл и успешно открываются (очевидно те, что автоматом перелились в гугл earth при закрытии). А часть - нет. И всего на панорамио было 134 миллиона фоток. Я на своем домашнем компе врядле такое обработаю.

[Moskus]

alex_ak1, ну вот вы сами себе отвечаете - если информация не структурирована, то о каком структурированном подходе может идти речь? Вообще, товарищи с archive.org подошли к вопросу выкачивания этого весьма и весьма странным и непродуктивным образом.

[alex_ak1]

Moskus, Я думал может есть готовый проект или готовые наработки на эту тему. Пока мой гугл меня по этому поводу подводит (ладно хоть этот архив нашел).
Заодно поделился мыслями по поводу этого архива и доведения его до хоть какого-то удобоваримого состояния.

[Moskus]

alex_ak1, проблема в том, что в Panoramio было адское количество совершенного мусора. Как в смысле самих фото, так и метаданных к ним (привязки). Потому, боюсь, никто на это "богатство" не позарится, тем более - копирайт-с, у фото есть авторы.

[alex_ak1]

Moskus, Я, в общем, выяснил, что из каждой папки можно извлечь каталог файлов, которые в этой папке. Они все ориентируются по ИД (начиная с 15 и кончая 134м). Теперь мне для полного счастья не хватает всего выкачанного каталога (хз, 9к файлов по 10-30 метров) и базы с координатами. Это, в общем-то, относительно небольшой обьем.
Потом по координатам можно вытащить интересующие фотачки, по каталогу вытащить конкретные файлы архивов и из них вытащить собственно готовые джепеги, которые и девать куда угодно (на тот-же слой qgis).
Можно перестроить базу, но для этого надо выкачивать все, то есть 50*9000 га. Довольно много. Конечно, можно качать кусками - слил одну папку, обработал, удалил, но все равно полпетабайта это довольно много.
Про копирайты - мне это интересно только с академической точки зрения, зарабатывать миллионы я вроде не собираюсь. А раз фото было на публичном панорамио, то чего бы мне и сейчас не посмотреть на них и в текущем виде мне даже интересно не столько сам джепег, а именно просто база с координатами.

[alex_ak1]

Moskus, Нашел ссылку, которая и сейчас открывает конкретную фотку от панорамио:
https://static.panoramio.com.storage.googleapis.co...
(координаты 64.704185 40.616090)
Причем гугл earth показывает, что фотка есть, но не открывает ее.
Осталось реально получить базу координат и все

[Moskus]

alex_ak1, ваша задача слишком академическая. А про копирайт я упомянул в том смысле, что по этой причине не стоит ожидать наличия готовых решений.

Answer 1

[Mokuq2]

Фотки с панорамио перекочевали на сайт https://mapsights.com.

Более того, фотографии по прямым ссылкам с панорамио также доступны, пример: static.panoramio.com/photos/large/96540527.jpg

Comments

[alex_ak1]

Ссылки на гугл статик не всегда работают.