Geolocation Sagaと、データベースエンジンおよびプログラミングなしでNGINXでジオWebサービスを作成する方法

今日は、IPアドレスによる地理位置情報に関するやや古いトピックと、「プログラミング言語」を使用しない高速Webサービスに関する新しいトピックを取り上げます。 。 また、このようなWebサービスを5分でデプロイできるように、コンテナーの既製のイメージを公開します。

当社は独自のSaaSプラットフォーム（ ABCP.RU ）でオンラインパーツストアを作成しています。また、 4MyCar.ruスペアパーツ検索サービスなど、いくつかの関連プロジェクトもあります。
他の多くのWebプロジェクトと同様に、IPアドレスによる地理位置情報の必要性を理解するようになりました。 たとえば、 4MyCar.ruで地域を決定するために使用されるようになりました（最初にサイトにアクセスすると、地域は自動的にそのように設定されます）。



同様に、顧客に最も近い店舗支店の選択は、ABCPプラットフォームの顧客のWebサイトで行われます。



ジオロケーションの問題が最初に現れたとき、私たちはこの問題の研究を始めたばかりでした。 実際のところ、当時、 MaxMindデータベース以外には特別な代替手段はありませんでした。 私たちは試し、遊び、見捨てました。 実際の作業では、顧客のサイトを積み重ねようとする特に迷惑なボットを除外するために、MaxMind GeoLiteを数回使用しました。

（nginxで国別にフィルタリングするだけで十分でした。基本的なチェックインの場合は、ドキュメントngx_http_geoip_moduleを参照してください）。 無料のデータベースでは、RUで十分な精度が得られず、ラテンアルファベットの都市名が含まれていたため、他の目的にはあまり適していませんでした。

しばらくして、従業員の1人が優れたサイトipgeobase.ruを見つけました。これにより、ロシアとウクライナの地理位置情報データベースを「ダウンロード」し、簡単なhttpリクエストでそのXML Webサービスを使用できます。 たとえば、対応する都市から「ウリュピンスクでオイルフィルターを購入する」というフレーズを含む4mycar.ru Webサイトに切り替えると、Webサービスhttp://ipgeobase.ru:7020/geo?ip=217.149.183.4へのほぼ次のリクエストが発生しました。 結果には、ロシア語での都市と地域の名前が含まれており、非常に便利でした。 非常に短い時間で、最も近い店舗の支店を識別するコードにWebサービスの作業が関与しました。 ただし、実稼働環境での起動後、いくつかの問題が明らかになりました。
1）通常、Webサービスへのリクエストには少し時間がかかりました（モスクワのデータセンターからの通常の状態では100分の1秒）が、地域の開発オフィスからの遅延はすでに大きかった（約0.5秒）。
2）時折（「ピーク時間」の観察によると）この時間は著しく長くなり、顧客への対応にすでに不快な遅れが生じました。
3）たまたま同じクライアントでジオロケーションを実行する必要が何度かあったため、ジオデータのキャッシングについて疑問が生じました。
4）最適でないリクエストで、ipgeobase Webサービスに負荷をかけましたが、これはサービス所有者にとっては悪いことでした。
5）他の国（RUでもUAでもない）では、ジオロケーションは機能しませんでした。

これらの問題を解決するために、私たちはすぐに「会議をまとめる」

2つの主なソリューションオプションがあります。データベースを取得してWebサービスを作成します（定期的にipgeobaseデータベースをダウンロードし、データベースにインポートし、たとえばmemcachedにキャッシングでhttp経由で送信します）またはmemcachedまたはredisでジオデータキャッシングを行います（データをリクエストします） ipgeobaseおよびキャッシング）。 オフハンドでは、両方のオプションに非常に多くの開発者の非常に少ない工数が必要であり、その結果、3番目のオプションが見つかりました：精度がわずかに低下します（IPアドレスの最後のオクテットを0に置き換え、プロバイダーが異なる都市に1/24サブネットを持っていると仮定しますあまりにも頻繁に）そして、長いキャッシュ時間とipgeobaseへのリクエストの短いタイムアウトで、nginxでキャッシュプロキシを実行します。 このオプションは非常に効果的であることが判明し、時にはipgeobaseの負荷とジオロケーション時間を削減しました。 独自のWebサービスのオプションは無期限に延期されました。

しばらくして、再びnginxでジオロケーションが必要になりました（そう、これらのボットですが、現在はRUからかなり多くなっています）。したがって、MaxMindデータベースに従って国別にフィルタリングするだけでは十分ではありません。

緊急に必要だったため、別のジオモジュール（ ngx_http_geo_module ）を使用し、ipgeobaseデータベースから地域番号を変数に導きました。 これは「穴を塞ぐ」のに十分でした。
すぐにipgeobase2nginx.phpスクリプトに遭遇しました。このスクリプトはnginxのベースを作成し、その結果、都市についての人間が読み取れる情報を変数で受け取りました。 このデータは、MaxMindデータと同様に、すでにログに出力されているか、バックエンドのヘッダーに渡されている可能性があり、原則として誰にとっても便利でした。

この間ずっと、私たちは定期的にさらなる開発について考えました。 独自のWebサービスを作成するための計画は、TODOリストにほこりを集め、「しかし、今夜ここでpython / erlang / haskell /などを勉強して、「Hello world」の次の記事を書きたいですか？」という形で時々現れましたが、それらは先に進みませんでした。
突然、冗談の形で（楽しみのためだけに）、nginxの経験に基づいて、ipgeobaseに似たWebサービスを作成するというアイデアが生まれましたが、データベースエンジンとスクリプト言語は使用していません。
この結果が得られたことの簡単な分析：
1）パブリックドメインでは、テキストにcsvおよびipgeobaseにGeoLiteデータベースがあります。
2） ngx_http_geo_moduleモジュールは、変数の値をIPアドレスで設定できます。また、非常に高速です（バイナリジオレンジベースを使用して高速化します）。
3）RUおよびUAについては、ipgeobaseを信頼しますが、可能であれば、MaxMindデータも表示する必要があります。
4）nginxはssi（ ngx_http_ssi_module ）を完全に実装します。これは、テキスト/ htmlだけでなく、他のファイルタイプに対しても同様です。
5）nginxはリクエストヘッダーからIPアドレスを取得し、これがクライアントのIPアドレス（ ngx_http_realip_module ）であると想定できます。これは、geoモジュールに渡すことを意味します。
csvファイルとipgeobaseファイルからnginxに必要な設定を作成するいくつかの「ニーハイ」スクリプトを追加することは残っています。

取得したものは次のとおりです。
https://yadi.sk/d/QsNN87nMesXo8-構成とスクリプト。

動作中のWebサービスを表示するために、 http：//muxgeo-demo.4mycar.ru： 6280 / muxgeo /で利用可能なVDSに一時的に展開しました。

このようなサービスを自分ですばやく起動するには、完成したLXCイメージ（ https://yadi.sk/d/1WrvV2RyesYFM （ログイン：パスワード-ubuntu：ubuntu））をダウンロードできます。

スクリプトの動作の簡単な説明を以下に示します。LXCでは、スクリプトを/ opt / scriptsに配置します。

サブディレクトリの/ opt / scripts /に、MaxMindとipgeobaseから受け取ったファイルを入れて、少し処理する必要があります（次のようなものです）。
iconv -f latin1 GeoLiteCity-Location.csv | iconv -t ascii // translit> GeoLiteCity-Location-translit.csv

動作するには、MaxMindから追加のファイルと領域の名前が必要です。
dev.maxmind.com/static/csv/codes/maxmind/region.csv

これで、スクリプト自体：
GeoLite2nginx.pl-ファイルを生成します/ nginx_geoip_ *
ipgeobase2nginx.pl-out / nginx_ipgeobase_ *ファイルを生成します

geoipとipgeobaseでIP範囲をオーバーレイする必要があります。 これを行うには、最初の2つのスクリプトを実行すると、IPアドレスの整数表現（out / nginx_geoip_num.txtおよびout / nginx_ipgeobase_num.txt）でファイルが作成されました。 /nginx_localip_num.txtにファイルを手動で作成し、そこに予約範囲（ローカルネットワークなど）のリストを配置しました。 さらに、結果リストからマルチキャストアドレスの範囲を除外します。

方法：
make-dup-ranges.plスクリプトはリストを調べて、偶数IP（新しい範囲の開始）ごとに前の（前の範囲の終わり）をリストに追加し、奇数ごとに次のものを追加します。 次に、リストを並べ替え、重複を削除します。

make-ranges.plスクリプトは、nginxの範囲を持つそのような構成を作成します。

nginxの設定ができましたので、それらを接続する必要があります。

私たちのスキームは、フロントエンドとバックエンドで構成されます（フロントエンドはヘッダー変換とキャッシングを伴うバックエンド要求を送信します）。 これはすべて、LXCコンテナのubuntu 14.04で行います。公式サイトからnginxを取得します。

ここにコンテンツを掲載します。
/ etc / nginx / muxgeo /データ/

必要な変数を設定する「バインディング」を作成しましょう。
/etc/nginx/muxgeo/muxgeo.conf
/etc/nginx/muxgeo/muxgeo-geoip.conf
/etc/nginx/muxgeo/muxgeo-ipgeobase.conf

また、バックエンドのプリミティブロジック：
/etc/nginx/muxgeo/muxgeo_site.conf

フロントエンドとバックエンドの構成は次のとおりです。
/etc/nginx/conf.d/muxgeo-frontend.conf（ポート6280で待機）
/etc/nginx/conf.d/muxgeo-backend.conf（ポート6299）

また、index.htmlなどのファイルも必要です。このファイルでは、nginxのSSIを使用して必要な形式でデータを出力します。 ディレクトリに配置します
/ opt / muxgeo / muxgeo-backend / muxgeo

だからへの要求
http://muxgeo-demo.4mycar.ru:6280/muxgeo/?ip=217.149.183.4
これは、217.149.183.4をIPアドレスに置き換えてバックエンドでブロードキャストされ、バックエンドはHTMLテキストの適切な場所に情報を挿入します。

しかし、htmlページは私たちが望んでいたものではなく、ipgeobaseのようにxmlが必要です。 テンプレートに対応するフィールドの出力を入力するだけです。muxgeo.xmlファイルの例を参照してください

リンクで
http://muxgeo-demo.4mycar.ru:6280/muxgeo/muxgeo.xml?ip=217.149.183.4
ipgeobaseのxml出力とutf-8でも「同じ、しかしより良い」結果が得られます

JSONが必要-問題ありません。 同様に、テンプレートは次のように実行されます。
http://muxgeo-demo.4mycar.ru:6280/muxgeo/muxgeo.json?ip=217.149.183.4

エキゾチックにしたい-iniファイルとして出力しましょう：
http://muxgeo-demo.4mycar.ru:6280/muxgeo/muxgeo.ini?ip=217.149.183.4

作業をテストするために、たとえば、上記の結果（ ipgeobase2nginx.php ）の結果と同様の形式で、すべての国の住所にジオデータベースを作成できます。 テンプレート（muxgeo_fullstr.txt）と使用可能なすべての範囲のデータを読み取る単純なスクリプトを含むテキストファイルを作成します。

小さな発言。 例では、フロントエンドとバックエンドは同じnginxで動作します。 重い負荷の場合、geodataでのバックエンドの作業はproxy_cacheでの最小のnginxよりも多くのメモリを消費するため、それらを異なるnginxに分割することは理にかなっています。

このプロジェクトのさらなる発展は何ですか？ たとえば、他のデータソースを追加して、構成を少し複雑にし、「信頼できるソースから取得した洗練::」を配置できるジオベースを接続することもできます。