OpenStreetMap डेटा के आधार पर दुनिया का एक नक्शा बनाएँ

प्रागितिहास

ऑनलाइन नेविगेशन (भविष्य में और ऑफ़लाइन) के लिए एक परियोजना विकसित करते समय, अपने स्वयं के ऑनलाइन मानचित्र विकसित करने की आवश्यकता थी। Google, बिंग, आदि से सेवाएँ वाणिज्यिक प्रयोजनों के लिए उनके कार्ड के उपयोग पर प्रतिबंध है। मुक्त लोगों, जैसे कि OpenStreetMap, ने ग्राहकों की आवश्यकताओं को पूरा नहीं किया।
पूरी दुनिया के लिए ऑनलाइन मैप (मानचित्र टाइल) बनाने के बारे में एक सवाल था। Google और Skobbler के करीब एक शैली। OpenStreetMap पर आधारित डेटा।

प्रतिबंध

जैसा कि आप जानते हैं, फ़ाइल सिस्टम में फ़ाइलों और निर्देशिकाओं की संख्या में सीमाएँ हैं। इसलिए, प्रत्येक टाइल (कार्ड टाइल) का भंडारण व्यक्तिगत रूप से इन प्रतिबंधों के खिलाफ रहता है। उदाहरण के लिए, केवल 14 वें ज़ूम के लिए आपको 267 583 488 टाइल्स (~ 4 ¹⁴ ) की आवश्यकता होती है।
लिनक्स पर फ़ाइलों की अधिकतम संख्या देखें: df -i
इसका समाधान डेटाबेस में टाइलों को संग्रहीत करना है।

लोहा और धुरा

सर्वर जनरेटिंग और लोडिंग डेटा: सुपरमाइक्रो सर्वर। 2GHz में 24 कोर, 64 जीबी रैम, एचडीडी 2.7 टीबी। बोर्ड पर Ubuntu 13.04 के साथ।
सर्वर जिस पर पीढ़ी के परिणामों का उपयोग किया जाता है, वह बहुत मामूली है: 1.8GHz पर 8 कोर, 27 जीबी रैम, 130 जीबी एसएसडी।

स्थापना और सेटअप

मैं स्थापना पर अलग से नहीं रहूंगा। चूंकि यह अन्य लेखों में अच्छी तरह से वर्णित है (नीचे लिंक देखें)।
इंस्टॉल:

• PostgreSQL 9.1
• PostGIS
• Mapnik
• OSM ब्राइट के साथ टाइलमिल (डिफ़ॉल्ट शैलियों के लिए)
• Osm2pgsql
• SQLite 3
• Node.js
• nginx

डिज़ाइन

आदेश में प्रबल नहीं करने के लिए पहिया खुले स्रोतों में बदल गया। एक डेटाबेस में टाइल भंडारण के लिए सबसे अच्छा विकल्प MBTiles प्रारूप है। यह एक सरल SQLite डेटाबेस है जो आपको एक ही फ़ाइल में लाखों टाइलें संग्रहीत करने की अनुमति देता है।
टाइलमिल संपादक अपनी शैली को विकसित करने और संपादित करने के लिए अच्छी तरह से अनुकूल है, इसके अलावा, यह आपको MBTiles प्रारूप में नक्शे को बचाने की अनुमति देता है।
पहले आपको एक अलग साइट (देश) डाउनलोड करने और शैलियों का काम करने की आवश्यकता है। विभिन्न वर्णमाला वाले कई देशों में काम करना उचित है: लैटिन, सिरिलिक, अरबी, चित्रलिपि। इसलिए आप विभिन्न देशों के लिए कुछ नामों की अनुपस्थिति या शैली के गलत प्रदर्शन के एक अप्रिय आश्चर्य के साथ नहीं आएंगे। मैं पूरी दुनिया को लोड करने और शैलियों का अभ्यास करने की सलाह नहीं देता, क्योंकि संपादक में गतिशील पीढ़ी का समय बहुत बढ़ गया है।

PostgreSQL डेटा लोड हो रहा है

ट्यूनिंग PostgreSQL

बूट प्रक्रिया को तेज करने के लिए, हम /etc/postgresql/9.1/main/postgresql.conf फ़ाइल में कुछ बदलाव करेंगे
max_connections = 150 - आनुभविक रूप से गणना की जाती है, प्रोसेसर की संख्या पर निर्भर करता है। डिफ़ॉल्ट 100 है।
shared_buffers = 7GB - <25% सिस्टम रैम। इस पैरामीटर के लिए, आपको kernel.shmmax को बढ़ाना होगा।
temp_buffers = 512MB - अस्थायी तालिकाओं तक पहुंचने के लिए उपयोग किया जाता है, यह स्लिम मोड उपयोगिता osm2pgsql के लिए आवश्यक है।
work_mem = 3GB - "ORDER BY" को सॉर्ट करने और "जॉइन" में शामिल होने के लिए उपयोग किया जाता है।
maintenance_work_mem = 16GB - VACUUM, CREATE INDEX, ALTER TABLE ADD FOREIGN IN कमांड के लिए उपयोग किया जाता है।
random_page_cost = 3.0 - ये प्रोसेसर लोड सेटिंग्स हैं। इस विकल्प के साथ सावधान रहें!
effective_cache_size = 42GB - 66% तक रैम।
checkpoint_segments = 50
autovacuum = off

Osm2pgsql के साथ डाउनलोड करें

हम planet.osm.org पर डाउनलोड डेटा लेते हैं।
PostgreSQL ने डेटा लोड करने के लिए osm2pgsql उपयोगिता का उपयोग किया। पूरी दुनिया को डाउनलोड करने के लिए, स्लिम मोड विकल्प का उपयोग किया गया था, यह आपको मध्यवर्ती परिणामों को संग्रहीत करने के लिए अस्थायी तालिकाओं को बनाते समय रैम के उपयोग को सीमित करने की अनुमति देता है।
डाउनलोड करने से पहले, हम स्टाइलशीट को ठीक कर लेंगे, जो उबंटू में /usr/local/share/osm2pgsql/default.style में है । गैर-लैटिन नामों के लिए, मैंने तीन फ़ील्ड जोड़े: int_name (मूल), नाम: en (अंग्रेज़ी में नाम), is_in: देश (देश)।
पूरी दुनिया को डाउनलोड करने की आज्ञा:

 time sudo -u postgres osm2pgsql -r pbf -sc -d gis -C 40000 --number-processes 24 --cache-strategy dense --unlogged planet-latest.osm.pbf 

मैं व्यक्तिगत मापदंडों की व्याख्या करूंगा:
-r pbf - pbf प्रारूप का उपयोग किया जाता है;
-sc - नए टेबल ( सी ) के निर्माण के साथ स्लिम मोड ( एस ), जोड़ने के लिए एक का उपयोग करें;
--number-processes 24 - समानांतर प्रक्रियाओं की संख्या, सीपीयू-एस की संख्या से;
--unlogged - लेन-देन लॉग न करें।
पूरी दुनिया को डाउनलोड करने में 28 घंटे लगे।

टाइलमिल में अपनी खुद की शैली बनाएं

गैर-लैटिन नामों की तैयारी

जैसा कि मैंने ऊपर लिखा था, शुरुआत के लिए, मैंने कई व्यक्तिगत देशों को PostgreSQL में लोड किया। चूंकि दुनिया में कई अक्षर का उपयोग किया जाता है, इसलिए लैटिन में नहीं (मूल के बाद, लैटिन में कोष्ठक में नाम का संकेत मिलता है) में लिखे जाने की प्रक्रिया और शिलालेख करना आवश्यक था। ऐसा करने के लिए, planet_osm_point तालिका में एक गैर-प्लेटिनम फ़ील्ड बनाएँ:

 ALTER TABLE planet_osm_point ADD COLUMN nonlatin boolean; UPDATE planet_osm_point SET nonlatin='1' WHERE name similar to '%[^\x20-\x7e]+%'; 

शैली का संपादन

डिफ़ॉल्ट शैलियों के लिए आपको टाइलमिल के लिए ओएसएम ब्राइट स्थापित करना होगा।
टाइलमिल तीन डेटा स्रोतों के साथ काम कर सकता है: फाइलें, SQLite, PostGIS। CartoCSS का उपयोग मैप शैलियों को स्टाइल करने के लिए किया जाता है। यदि आप CSS से परिचित हैं, तो आप बहुत कुछ सामान्य में पाएंगे।
सावधान रहें, OSM ब्राइट स्टाइल के कुछ फिल्टर (PostGIS PostgreSQL के लिए क्वेरी) काफी भारी हैं और निष्पादित करने के लिए बहुत समय की आवश्यकता होती है। इसलिए, आपको गति के लिए SQL प्रश्नों को अनुकूलित करने की आवश्यकता है।
प्रश्नों में लैटिन और गैर-लैटिन नामों का चयन:

 SELECT .., CASE WHEN nonlatin=true AND "name:en" IS NOT NULL THEN CONCAT("name:en",' (',name,')') ELSE name END as en_name ... 

एमबीटाइल्स जेनरेशन

टाइलमिल में, निर्यात / एमबीटाइल्स का चयन करें। फ़ाइल का नाम, ज़ूम (मानचित्र दृष्टिकोण), केंद्र और सीमा के निर्देशांक का संकेत दें।
पूरी दुनिया की सीमाएँ: -180.0, -85, 180.0, 85
सुविधा के लिए, मैंने अलग-अलग ज़ोम्स के साथ एक मैप तैयार किया।

• ज़ूमा 0-10, कुल पीढ़ी का समय 13 घंटे
• ज़ूम 11, कुल समय 7 घंटे
• ज़ूम 12, 18 घंटे
• ज़ूम 13, 3 दिन
• ज़ूम 14, 9 दिन

ज़ूमा 15, 16, 17 ने गतिशील पीढ़ी में छोड़ने का फैसला किया। चीजों को गति देने के लिए कैशिंग का उपयोग करें।

व्यक्तिगत MBTiles फ़ाइलों का संयोजन

व्यक्तिगत MBTiles को संयोजित करने के लिए, आप कमांड का उपयोग कर सकते हैं:

 echo '.dump' | sqlite3 file1.mbtiles | sqlite3 file2.mbtiles 

परिणाम file2.mbtiles में होगा।

के उपयोग

MBTiles लॉन्च करें

MBTiles चलाने के लिए, Node.js का उपयोग करें:

 nohup node /usr/share/tileserver/mbtiles-server/server.js /media/data/mbtiles/filename.mbtiles PORTNUMBER & 

जहां PORTNUMBER पोर्ट नंबर है जिस पर नक्शे की टाइलें (टाइलें) उपलब्ध होंगी।

NGINX कॉन्फ़िगरेशन फ़ाइल

मानचित्र तक पहुँचने के लिए हम nginx का उपयोग करते हैं।
उदाहरण विन्यास फाइल:

 server { listen 80; server_name your_server_map_tiles_name.com; #dinamically generation location ^~ /15/ { rewrite ^/15/(.*)$ http://localhost:20008/tile/projectName/15/$1 last; } ... #using MBTiles via runned port location / { proxy_pass http://localhost:PORTNUMBER; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } } 

इस तरह, आपका मानचित्र टाइल आपके_सर्वर_मैप_टाइल्स_नाम . com / zoom / x / y.png पर उपलब्ध होगा।

सुविधाएँ और इच्छाएँ

डाउनलोड को तेज करने के लिए SSD पर MBTiles फ़ाइल रखना सबसे अच्छा है।
आईफोन एप्लिकेशन के लिए 512x512 पिक्सल के आकार वाली गैर-मानक रेटिना टाइल का उपयोग किया जाता है।
डायनामिक जनरेशन (ज़ूम 15-17) के लिए लोड कम करने के लिए रेडिस में कैशिंग का उपयोग किया जाता है।

परिणाम

परिणाम यहां देखा जा सकता है: tourstart.org/drive
या iPhone के लिए एप्लिकेशन डाउनलोड करें: itunes.apple.com/app/tourstart/id586049610?mt=8

कार्य प्रक्रिया में उपयोग किए जाने वाले लेख

habrahabr.ru/post/144675
switch2osm.org/serving-tiles/manually-building-a-tile-server-12-04
wiki.openstreetmap.org/wiki/Osm2pgsql
github.com/mapbox/mbtiles-spec
www.mapbox.com/tilemill/docs/linux-install
www.mapbox.com/tilemill/docs/guides/osm-bright-mac-quickstart
www.mapbox.com/carto/api/2.1.0

माफ़ कीजिए। OpenStreetMap हब की मेजबानी करने के लिए पर्याप्त कर्म नहीं है।
मुझे आपके सवालों के जवाब देने में खुशी होगी।