Raspberrypi.osm-tile-server

Installation eines eigenen "Tile"-Servers. Also eines Kartenlieferanten im PNG-Grafikformat über das HTTP-Protokoll. Es is nativ kompatibel zu den "online" Tile Servern des OSM-Projektes.

OpenStreetMap

google

openSUSE 2012

Raspberry Pi 2020

Das Bild zeigt 4 Versionen eines einzelnen Tile (=Kachel) in der Zoom-Stufe 12.Über einen typischen Tile-Server würde man genau diese Kachel über folgende URL erhalten:

• OpenStreetMap: https://tile.openstreetmap.org/12/2143/1406.png
• Google: https://mt0.google.com/vt/x=2143&y=1406&zoom=5
  • Man beachte bei Google den invertierten zoom-Parameter, zoom=17-z

OrgaMon legt diese Kachel, je nach Provider, mit dem Dateinamen ~Provider~-12-2143-1406.png im Kartenpfad ab (im Moment sind die Provider "local-", "google-" und "osm-"), eine Kachel wird auf diese Art immer nur einmal angefragt.

Funktionsweise

So einen Tile-Server zu installieren ist gar nicht so einfach: Das Gesamtkunstwerk basiert auf einigen Paketen. Die rechte Seite der Grafik deutet den ganzen Konfigurationsaufwand der einzelnen Dienste an.

• Ziel ist ein Tile-Server "Deutschland" aufzusetzen, dieser soll per http://tile.host.domain/z=&x=&y= PNG Kacheln für den OrgaMon liefern
  • https://www.wikiwand.com/de/OpenStreetMap#/Server
• Bestandteile sind
  • Rohdaten der Geofabrik Karlsruhe Frederik Ramm
  • postgresql Datenbank als Datenknecht
  • osm2pgsql als Befüller der Datenbank
  • mapnik-Bibliothek macht aus XML -> PNG
  • tirex konnektiert auf die Datenbank macht aus x,y,z -> XML und gibt es an mapnik

Web-Request Tile "x|y|z"
 |
 v
apache2 (Webserver die Anfragen annimmt und PNG ausliefert)
 |
 v
mod_tile (Apache2 Modul das X,Y,Z Tiles liefert)
 |
 v
tirex (dämon der Auftäge zur Tile-Generierung annimmt)
 |
 v
mapnik (Bibliothek die XML nach Grafik wandelt)
 |
 v
postgresql (Datenbank-Server)
 |
 v
filesystem

System-Voraussetzungen

• Raspberry Pi 4 B mit 4 GB und Stretch Lite (ohne Desktop)
• an USB gekoppelte Festplatte (ab 100 GB) oder 128 GB Micro SD Karte

Mount

• per USB erstmalig angekoppelte SSD erscheinen oft als "sda", das könnte sich aber ändern wenn weitere USB Sticks oder SSDs ins Spiel kommen
• jede Partition hat jedoch einen eindeutigen "id" mit Hilfe dessen man mounten kann

• joe /etc/systemd/system/srv-osm.mount

[Unit]
Description=srv-osm

[Mount]
What=/dev/disk/by-id/usb-KINGSTON_SKC380S3240G_20190510-0:0-part1
Where=/srv/osm

[Install]
WantedBy=local-fs.target

• systemctl start srv-osm.mount
• systemctl enable srv-osm.mount

Vorbereitungen

• Schliesse über den USB Port eine SSD an (128 GB ausreichend!)
• Erstelle darauf ein ext4 Dateisystem und mounte es nach /srv/osm

erhöhe Swap auf 2GB

/etc/init.d/dphys-swapfile stop
joe /etc/dphys-swapfile
 CONF_SWAPSIZE=2048
/etc/init.d/dphys-swapfile start

reduziere Memory-Split auf 16 MB

raspi-config
 Option "7 Advanced Options"
   Option "A3 Memory Split"
    -> 16 MB

ein Reboot ist nötig

hole Deutschland

wget https://download.geofabrik.de/europe/germany-latest.osm.pbf

2 Stunden Downloadzeit / 3,1 GB belegt

hole den Karten-Style

• mapnik (die Ausbelichtungs Bibliothek) benötigt ein style.xml, darin werden Fonts und Grafiken und Shapes referenziert die im Dateisystem liegen müssen
• im Style sind auch SQL Filter und so manch anderes integriert
• Fonts ist einfach nur eine Pfadangabe die korrigiert werden muss
• styles sind sehr komplex, hier muss einiges beachtet werden.
• So ein "Style.xml" kann schon mal 4 MByte gross sein

apt install openstreetmap-carto fonts-noto ttf-unifont
#apt install npm
#npm install -g carto

cd /usr/share/openstreetmap-carto-common

#
# Leider muss get-shapefiles.py auf neue Downloadquellen angepasst werden
# -> siehe Repository OrgaMon-tile-server
#
./get-shapefiles.py

# openstreetmap-carto liefert gleich zwei mal einen compilierten style.xml mit
# die Dateien sind aber identisch
/usr/share/openstreetmap-carto/style.xml
/usr/share/openstreetmap-carto-common/style.xml

System microSD: 5,1 GB belegt

postgres

apt install postgresql-postgis

Tuning von PostgreSQL

Frederik Ramm hat die PostgreSQL-Optimierung dokumentiert auf http://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf

• Ich gehe hier mal vom Standard-Pfad aus:

systemctl stop postgresql
joe /etc/postgres/11/main/postgresql.conf

 shared_buffers = 32MB
 maintenance_work_mem = 32MB
 fsync = off
 random_page_cost = 1.1

systemctl start postgresql

richte eine neue Datenbank-Ablagestelle ein

• das Standard-Verzeichnis für PostgreSQL würde überlaufen, wir müssen es auf die SSD verschieben

 #
 # Mehr information hier:
 #
 https://www.digitalocean.com/community/tutorials/how-to-move-a-postgresql-data-directory-to-a-new-location-on-ubuntu-16-04

 #
 # schneller Weg hier:
 #
 cd /srv/osm
 systemctl stop postgresql
 mv /var/lib/postgresql/11/main .
 mv main db
 joe /etc/postgresql/11/main/postgresql.conf
  data_directory = '/srv/osm/db'
 systemctl start postgresql

erstelle die Datenbank "gis"

sudo -u postgres createdb gis
sudo -u postgres psql gis -c "CREATE EXTENSION postgis";
sudo -u postgres psql gis -c "CREATE EXTENSION hstore";
sudo -u postgres psql gis -c "GRANT ALL ON DATABASE gis TO tirex";

# 
# optionale "Kontrolle"
#
sudo -u postgres psql gis
SELECT name, default_version,installed_version FROM pg_available_extensions where installed_version is not null;
\q

berechtige User tirex

sudo -u postgres psql gis
 # CREATE ROLE tirex LOGIN;
 # GRANT SELECT ON ALL TABLES IN SCHEMA public TO tirex;
 # GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA public TO tirex;

• not work: GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA public TO tirex;
• not work: GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA public TO user;

#
# step by step as user postgres, if nothing helps
#
GRANT SELECT ON TABLE planet_osm_rels to tirex;
GRANT SELECT ON TABLE planet_osm_point to tirex;
GRANT SELECT ON TABLE planet_osm_line to tirex;
GRANT SELECT ON TABLE planet_osm_polygon to tirex;
GRANT SELECT ON TABLE planet_osm_roads to tirex;
GRANT SELECT ON TABLE planet_osm_nodes to tirex;

importiere Deutschland (osm2pgsql)

• apt install screen osm2pgsql

#
# pbf -> Database
#
sudo -u postgres osm2pgsql --hstore --slim --unlogged -C 200 -d gis germany-latest.osm.pbf

15 Stunden Rechenzeit / 104 GB belegt

mapnik

• Infos: https://media.ccc.de/v/2018-5390-osm_daten_mit_mapnik_und_python_rendern

apt install mapnik-doc mapnik-reference mapnik-utils mapnik-vector-tile

mod_tile

https://wiki.openstreetmap.org/wiki/Mod_tile#Install_mod_tile_From_Source

apt install python-mapnik autoconf apache2-dev apache2-utils apache2 git
git clone https://github.com/openstreetmap/mod_tile
cd mod_tile
./autogen.sh
./configure
make
make install
make install-mod_tile
ldconfig

• Nun ist mod_tile.so in /usr/lib/apache2/modules abgelegt
• Wir müssen es im Apache Webserver noch laden

bash -c "echo 'LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so' > /etc/apache2/mods-available/tile.load"
a2enmod tile
systemctl restart apache2

tirex

https://wiki.openstreetmap.org/wiki/Tirex

apt install libipc-sharelite-perl libjson-perl libgd-gd2-perl libwww-perl

System microSD: 4,6 GB belegt

cd /srv/osm
git clone https://github.com/openstreetmap/tirex
cd tirex
make
make install

#
# tirex can not be run as root, create a tirex user
#
addgroup tirex
adduser --system --ingroup tirex tirex

#
# mode_tile will open "/var/lib/tirex/modtile.sock" 
#
mkdir /var/lib/tirex
chown tirex /var/lib/tirex
chgrp tirex /var/lib/tirex

#
# Log Verzeichnis anlegen
#
mkdir /var/log/tirex
chmod 666 /var/log/tirex

#
# 2 Services
#
cp debian/*.service /etc/systemd/system
 
cd /etc/tirex/renderer
#
# disable unused Tile-Provider
#
rm wms.conf
rm -R wms
rm openseamap.conf
rm -R openseamap/
rm mapserver.conf
rm -R mapserver/

joe /etc/tirex/renderer/mapnik/osm.conf
 #
 # Zentrales Style Element
 #
 name=osm
 mapfile=/usr/share/openstreetmap-carto/style.xml
 tiledir=/srv/osm
 minz=0
 maxz=18

joe /etc/tirex/renderer/mapnik.conf
 fontdir=/usr/share/fonts
 fontdir_recurse=1

• Test

tirex-batch map=osm z=18 x=137177 y=90017

OrgaMon-OSM Projekt-Status

openSuSE

• Nov. 2012: Kontaktaufnahme zu geofabrik.de mit der Bitte um Hilfe http://www.geofabrik.de/
• 22.11.2012: ich will einen neuen Versuch starten mit http://download.opensuse.org/repositories/Application:/Geo/openSUSE_12.2/x86_64/
• 22.11.2012: setzte einen neuen Server auf ... Schritte bis osm2pgsl
• 23.11.2012: Dokumentation ...
• 30.11.2012: Tile Server läuft (Ziel 1)!
• 04.12.2012: Gegenprobe auf anderem/schwächerem Server (raib24)
• 06.12.2012: Gegenprobe wohl wegen zu geringem Hauptspeicher (4 GByte) ein Fehlschlag
• 29.04.2013: Gegenprobe auf stärkerem System (server)
• 29.04.2013: läuft nicht, tirex+mapnik da fehlen config-Dateien
• 18.07.2014: Server raib23, raib24 abgebaut
• 18.07.2014: neuer Server aufgesetzt (openSUSE 13.1) neuer Versuch mit diesem Server ...

Raspberry Pi

• 29.03.2020: Versuch mit einem Raspberry Pi 4 - 2 GB
• 30.03.2020: neuer Import mit .style und .lua / Erfolg
• 31.03.2020: ERROR "Cannot load any Mapnik styles", tirex kann mapnik nicht laden - da kein "style" gefunden wird
• 01.04.2020: wir haben jetzt ein osm-de.xml, viele Datenbankprobleme
• 03.04.2020: Versuch mit einem Raspberry Pi 4 - 4 GB
• 05.04.2020: /tirex/tileserver.js liefert Liechtenstein-Tiles aus
• 06.04.2020: /tirex/tileserver.js liefert Deutschland aus
• 09.2020: Erneuter Versuch mit Pi 4 - 8 GB, Systemlaufwerk 120 GB NVME Drive via USB 3.0

Links

• https://ircama.github.io/osm-carto-tutorials/updating-data/
• https://mg.guelker.eu/articles/2020/01/01/openstreetmap-printkarten/
• https://osmdata.openstreetmap.de/data/
• Boot from ssd
  • https://www.youtube.com/watch?v=AskGItLhESk
  • https://www.youtube.com/watch?v=zVhYvvrGhMU