Как из TILE сервера экспортировать png?

Question

[HighMan]

Здравствуйте, коллеги.
Зачастил я что-то, в последнее время, с вопросами...
Задача состоит в следующем: как-то перегнать тайл сервер в большую кучу PNGшек. Что бы расплачиваться хардом, а не вычислительными мощностями.
На данный момент поднят рабочий ТАЙЛ сервер Postgis-Mapnik. В качестве мануала использовал
use.openstreetmap.ru/serving-tiles/manually-buildi...
После небольшого кастыллинга сервер заработал...
Запилил я этот сервер на виртуалке с 2Гб ОЗУ и двумя ядрами... Ну что сказать.. Карта Азербайджана (как одна из небольших) отображается медленно и неохотно. Не хватает вычислительных мощностей. И это с картой Азербайджана. Если в него запихнуть карту России, то... Подумать страшно.
Разумеется, в продакшн вычислительные мощности будут несравнимо выше, но без фанатизма.
Потому и есть желание, конвертировать все в картинки и подсовывать их в соответствии с местоположением и масштабом.
Да. Я понимаю, что места картинки сожрут не мерянно, но это выйдет дешевле чем вычислительные мощности для рендера на лету.
Осталось дело за малым: как-то приспособить имеющийся тайл сервер в качестве генератора картинок. Вот только как это сделать - пока не придумал.
Поделитесь своими соображениями. Буду очень благодарен.

PS Хочу поделится одной неправильностью в мануале:
"Загрузка shape-файла"

cd ~/src/openstreetmap-carto/
scripts/get-shapefiles.py

Такого скрипта нет!
Нужно: ./scripts/get-exteral-data.py
Вызывать именно из "внешнего" каталога ./openstreetmap-carto. В противном случае скрипт не найдет нужные файлы.
Ну и еще понадобится pip3нуть парочку расширений.
Еще для меня вышла непонятка с "Просмотр тайлов". Написано как-то очень раплывчато.
В общем, нужно скопировать ./mod_tile/extra/sample_leaflet.html в рабочий каталог WEB сервера /vat/www/html и изменить в этом файле строку

L.tileLayer('http://127.0.0.1/hot/{z}/{x}/{y}.png', {

Нужно изменить 127.0.0.1, если вы собираетесь смотреть на свои художества с внешней машины, на IP адрес машины, на котором расположен тайл сервер.

Answer 1

[pfg21]

нагенерировать тайликов и выключить до следующего регенирования.

собирать через логи httpd какие тайлики интересны пользователям и их регенерировать только их.

прикрутить запросов обновления тайлов к примеру /dirty

Comments

[HighMan]

А можно чуть подробнее?
Мне нужны тайлы на ВСЮ Россию в разных масштабах. Их, вроде 16?
Так как подойти к решению проблемы?

[Adler]

Посмотрите на render_list_geo.pl
И еще загляните сюда.

P.S. На двух ядрах с 2Гб ОЗУ вы будете рендерить все слои ОЧЕНЬ долго.
К примеру, площадь около 10-13 тыс. км² на 4-х ядрах от Xeon E5-2687W v2 3.4ГГц и 8Гб ОЗУ, 18 слоев (максимальный зум) рендерят около часа.

А обновлять карту вы не собираетесь?

[HighMan]

Alexander, для рендера подгонят вполне серьезный сервер.
Как и что там будут обновлять - я не знаю. Мне самому такой подход не нравится, но это желание заказчика.
На виртуалке я просто развернул TILE сервер, что бы пройтись по возможным граблям и понять как и что ставится.

[Adler]

Ну при наличии нормального железа пререндеринг может и не нужен будет.
Я делал так, скачивается дамп карты (отдельный регион), загружается в БД, делается пререндеринг фрагмента (примерно пол карты).
Карта обновляется раз в два дня.
Дополнительно к конфиге хоста в апаче настроено, что бы не делался перерендеринг.
Пару месяцев назад сам с этим разбирался впервые. Очень помогли в Телеграмме.

[HighMan]

Alexander, Скачал render_list_geo.pl. Запускаю

./render_list_geo.pl -n 2 -s /var/run/renderd/renderd.sock -x 32.4 -y 45.2 -X 33.1 -Y 46.1 -z 7 -Z 8

Судя по всему там что-то виснет.
Вы не могли бы написать правильную команду для рендера Крыма?
Может я ему координаты указываю какие-то совсем уж неправильные?
У меня скачан и загружен crimean-fed-district-latest.osm.pbf.
Саму карту я вижу, а вот render_list_geo.pl просто виснет.
Смотрел в top, по идее, renedrd должен жрать ресурсы, а его, вообще, не видно, хотя в процессх он сеть.
Я подозреваю, что проблема в координатах

[Adler]

Я вместо -s /var/run/renderd/renderd.sock использую -m ajt, где ajt название профиля в /usr/local/etc/renderd.conf
Правильные координаты можно на osm посмотреть:

spoiler

Это загружает процессор на 100, так что может показаться, что оно повисло. Лучше параллельно мониторить загрузку htop или аналогом.

P.S. Как в вашем примере 7 и 8 зум в принципе будет быстро рендериться.

[HighMan]

Alexander,

sudo ./render_list_geo.pl -n 2 -s /var/run/renderd/renderd.sock -x 32.465 -y 46.172 -X 36.694 -Y 44.347 -z 7 -Z 7

Rendering started at: Пн 22 ноя 2021 17:37:35 MSK

render_list -a -z 7 -Z 7 -x 75 -X 79 -y 46 -Y 47 -n 2 -s /var/run/renderd/renderd.sock
debug: init_storage_backend: initialising file storage backend at: /var/lib/mod_tile
Rendering client
Starting 2 rendering threads
Rendering all tiles from zoom 7 to zoom 7
Rendering all tiles for zoom 7 from (75, 46) to (79, 47)
Waiting for rendering threads to finish

top показывает, что ни какой загрузки пройессора нет

[Adler]

HighMan, попробуйте вместо -s /var/run/renderd/renderd.sock использовать -m <название профиля>

[HighMan]

Alexander, с параметром -m ajt все действительно отрабатывается.
...

Total for all tiles rendered
Meta tiles rendered: Rendered 0 tiles in 0.00 seconds (0.00 tiles/s)
Total tiles rendered: Rendered 0 tiles in 0.00 seconds (0.00 tiles/s)
Total tiles handled: Rendered 0 tiles in 0.00 seconds (0.00 tiles/s)

Вот только что делать дальше для получения изоображений? Т.е. картинок в файлах?

[Adler]

А зачем вам картинки, что вы с ними делать собираетесь?
Оно и так в картинки (PNG) рендерится в /var/lib/mod_tile/ajt, только они там не отдельными картинками хранятся, а в чем-то вроде базы данных внутри .meta файлов.