Meinungsmache: OSM + Urheberdaten

[moenk]

Nun sagen aber die ganzen Open Source Lizenzen aus, dass man den Urheber immer nennen muss.Was tun? Lizenzbruch oder schnelles rechnen mit "wenig" Platzverbrauch?

Völlig ok - es muss eine Formulierung wie "CC-BY-SA OSM Contributors" verwendet werden, nicht einzelne Namen.

 

[moenk]

Ich hole das mal nach vorne, weil ich gestern ein Release gemacht habe.

Schöne Idee! Nichts für mich, ich weiß ja nun wie der komplizierte Weg geht, aber ich verfolge das Projekt mal weiter.

 

[stoerti]

Kompliziert und umständlich (falls Du mein Programm meinst) deshalb, weil ich alles mögliche mit verschiedenen XML Libs und Sprachen versucht habe.
Es taugt alles nicht wirklich.
Die bestehenden Programme, so sie denn nicht schon seit Jahren eingestampft sind, glänzen durch wenig bis gar keine Dokumentation, durch hahnebüchene Datenmodelle, durch Instabilität und durch abartigen Speicherverbrauch.

Meines hat ganz sicher auch Macken. Mir fehlen aber die Vergleichswerte. Ich vermute, es ist nicht das schnellste. Ich importiere seit 0200 Uhr heute morgen Deutschland mit 16GB.
Um 1000 Uhr war es bei 10%. Wären also locker 80 Stunden für 16GB. Scheint mir arg langsam, wobei der Flaschenhals die Datenbank ist.
Bin aber erstaunt, wie schnell sqlite nachher bei den Abfragen ist. Hätte ich der gar nicht zugetraut.
Und ich bin erstaunt, wie verdammt lahm MySQL bei grossen Datenmengen wird.

 

[moenk]

Kompliziert und umständlich kenn ich, das hat mit Deinem Dings da nix zu tun, das ist doch mal ein schöner Ansatz! Will meinen: Ich bin PostGIS und die üblichen Tools wie osm2pgsql und osmosis durchaus gewohnt, aber das kann man sonst niemandem zumuten.

 

[stoerti]

aber das kann man sonst niemandem zumuten.

Danke, ich hatte schon gedacht, ich sei nur zu dumm dafür

 

[stoerti]

Habe eben Version 0.0.2 released.
Massgebliche Änderung ist eine massive Erhöhung der Performance.
Das Script arbeitet jetzt 16MB XML Datei pro Minute auf meinem relativ schwachen Entwicklungsrechner ab.
Ich teste gerade einen Vollimport der 16GB Deutschlandkarte, was etwa nach 18 Stunden erledigt sein sollte.
Version 0.0.1 brauchte dafür noch rund 50 Stunden.

Download auf http://www.reisenetzwerk.net/importosm2sqlite/

 

[adorfer]

Habe eben Version 0.0.2 released.

BTW: Kennst Du Spatialite?

 

[48xor48]

Habe eben Version 0.0.2 released.
Massgebliche Änderung ist eine massive Erhöhung der Performance.
Das Script arbeitet jetzt 16MB XML Datei pro Minute auf meinem relativ schwachen Entwicklungsrechner ab.
Ich teste gerade einen Vollimport der 16GB Deutschlandkarte, was etwa nach 18 Stunden erledigt sein sollte.
Version 0.0.1 brauchte dafür noch rund 50 Stunden.

Hast Du die Quelldaten und die Zieldatenbank auf unterschiedlichen physikalischen Festplatten untergebracht? D.h. von der einen wird nur gelesen, auf die andere nur geschrieben. Oder rödelt das System für jeden einzelnen Datensatz die Partition fünfmal rauf und wieder runter?

 

[stoerti]

Auf diesem Rechner habe ich nur eine Festplatte.

 

[48xor48]

Auf diesem Rechner habe ich nur eine Festplatte.

Dann würde ich an dieser Stelle separate Performancemessungen durchführen. Einmal das reine Einlesen der Quelldaten, ohne die Datenbank zu erzeugen, danach das Erzeugen der Datenbank mit einer entsprechenden Menge Dummy-Daten, ohne die Quelldateien zu lesen. Mit den Ergebnissen weißt Du, welchen Anteil das an der Gesamtperformance hat.