語彙データベースWordnetの例でグラフ指向のDBMS Neo4jを研究します

Neo4j DBMSは、NoSQLグラフ指向データベースです。 製品のハイライトは、宣言クエリ言語Cypherです。

暗号は、SQLからWHERE、ORDER BYなどのキーワードを借りました。 Python、Haskell、SPARQLなどのさまざまな言語の構文。 その結果、 ASCIIアートのような視覚的な形式でグラフクエリを作成できる言語が登場しました。 たとえば、この記事のタイトルは、グラフ（Neo4j）-[学習]->（Wordnet）の形式で表示します。 そして、これはほとんど既製のデータベースクエリです！



グラフ指向データベースを学習するには、何らかのグラフが必要です。 これは、ソーシャルネットワーク、ウィキペディアダンプ、または鉄道地図です。 簡単な方法で、 Wordnetレキシカルデータベースの巨大なパブリックグラフを使用します。 プリンストンの言語学者は英語の語彙を整理するという大変な仕事をし、愛好家はデータベースをロシア語を含む多くの言語に翻訳しました。 たとえば、このデータベースには、「同義語」、「大部分の」、「の材料」などの字句関係で相互接続された8万以上の名詞があります。このデータベースは自然なグラフであり、Neo4jにインポートします。

Neo4jをインストールする

さまざまなオペレーティングシステムのインストールプロセスについては、 サイトで説明しています 。 ここで説明するソフトウェアはすべてプラットフォームに依存しませんが、明確にするため、すべての指示はDebian / Ubuntu向けです。

1.リポジトリを追加する

wget -O - https://debian.neo4j.org/neotechnology.gpg.key | sudo apt-key add - echo 'deb http://debian.neo4j.org/repo stable/' >/tmp/neo4j.list sudo mv /tmp/neo4j.list /etc/apt/sources.list.d sudo apt-get update 

2. Neo4j（コミュニティエディション）をインストールします

 sudo apt-get install neo4j 

このコマンドは、ホームディレクトリにソフトウェアをインストールし、サービスを開始します。これは、ユーザーneo4jとして機能します。

3.リモートアクセスを許可する

Neo4jをコンピューターにインストールした場合は、この手順をスキップしてください。 ローカルネットワーク上の他のコンピューターからサーバーにアクセスする必要がある場合は、ファイル/var/lib/neo4j/conf/neo4j-server.propertiesを編集します

ローカルネットワーク上の任意のコンピューターからアクセスするには、パラメーターを設定します。

 org.neo4j.server.webserver.address=0.0.0.0 dbms.security.auth_enabled=false 

デフォルトでは、ポート7474が使用されますが、同じファイルに行を追加してポートを変更できます。

 org.neo4j.server.webserver.port=7474 

DBMSセキュリティを設定していないことに注意してください！ 指示をさらに詳しく読んでください 。

ブラウザにサーバーのアドレスとポートを入力して、インストールを確認できます。 Neo4jは、ブラウザを介して豪華なグラフィックコンソールを実装しています。 次のステップでインストールするクライアントソフトウェアからデータベースへのREST要求は、同じポートを通過します。

クライアントインストール（Python）

WordnetデータベースをNeo4jにインポートするために、Pythonスクリプトを使用します。

1.まず、 py2neoライブラリをインストールする必要があります

 pip install py2neo 

2. githubからスクリプトをダウンロードします

 mkdir habrawordnet2neo4j cd habrawordnet2neo4j git clone https://github.com/sergey-zarealye-com/wordnet2neo4j.git 

このスクリプトは、工業品質のコードであるとほとんど主張していませんが、PythonのNeo4jを試してみたい場合は、コードを見てください。これにより、プログラミングを迅速に開始できます。

Wordnetレキシカルデータベースの取得

Wordnetプロジェクトのダウンロードページで、データベースを表示するためのソフトウェアと一緒にダウンロードすることが提案されています。 ただし、表示にはNeo4jを使用します！ したがって、データファイルのみをダウンロードするだけで十分です。

• Wordnetの最新バージョンの英語データベースは、次のサイトで入手できます。
• 以前のバージョン （ImageNetとの互換性など）
• wordnet.ruからロシア語版をダウンロードすることをお勧めします
  

ファイルをアクセス可能な場所に解凍します。

Neo4jにデータをインポートする

Wordnetの字句データは、品詞のファイルにあります。 たとえば、名詞はファイルdata.nounにあります。 data.verbの動詞。 しかし、他の品詞では私は試していません。

1.名詞のインポート

名詞をインポートするには、スクリプトが配置されたディレクトリ（habrawordnet2neo4jと呼びます）に移動し、コンソールでコマンドを実行します。

 python wordnet2neo4j.py -i rwn3/data.noun --neo4j http://127.0.0.1:7474 --nodelabel Ruswordnet --reltype Pointer --encoding cp1251 --limit 1000 

パラメーターをさらに詳しく見てみましょう。

 -i Wordnetデータファイルへのパス
 --neo4j Neo4jデータベースサーバーのURL
 --nodelabel Wordnetワードに一致するノードにラベルを付ける 
		作成されたグラフ（Neo4jでは、グラフのノードは 
		テキストラベル それは単なる識別子です）
 --reltype Wordnetポインターに一致するグラフエッジのタイプ 
		 （Neo4jでは、グラフのエッジはタイプにすることができます;それはちょうど 
		識別子）
 --encodingデータファイルのエンコード。 ロシア語のデータベースが記録されました 
		エンコードされたcp1251; 英語のファイルはこれ 
		パラメーターを指定する必要はありません
 --limitファイルの処理された行の最大数。 
		実際、私のスクリプトの実行は非常に遅く、 
		試してみると、インポートの量を制限できます 
		データ、たとえば、ファイルの最初の1000行。 インポート用 
		完全なファイル、このパラメーターを指定する必要はありません、 
		 1時間半待つ準備をします。

2.動詞のインポート

動詞をインポートするには、コンソールでコマンドを実行します。

 python wordnet2neo4j.py -i rwn3/data.verb --neo4j http://127.0.0.1:7474 --nodelabel Ruswordnet --reltype Pointer --encoding cp1251 --limit 1000 

動詞のインポートはオプションですが、一部は名詞に関連していますが、これは学ぶのに興味深いものです。

3.データがインポートされたことを確認します。

これを行うには、ブラウザでNeo4jコンソールを開き（DBMSサーバーのアドレスとポートを入力）、次のクエリを入力します。

 MATCH (node)-[relation]-() RETURN node, relation LIMIT 100 

画面にグラフ画像を受け取ったら、すべてがうまくいきました。

簡単なクエリを実行します

それ以降のすべてのアクションは、ブラウザのNeo4jコンソールで実行されます。 ノードラベルとしてRuswordnetを使用し、エッジタイプとしてポインターを使用したと仮定します（前のセクションで示したとおり）。 そして、ロシア語のWordnetデータベース全体をインポートしたこと。

1. Hello World

ロシア語のWordnetデータベースのWebサイトに示されているように、最も一般的な単語を含むセマンティックユニットの約半分が翻訳されています。 したがって、データベースで最初に思いついたものを見つけようとします。

 MATCH (n:Ruswordnet {name: "_"}) RETURN n 

要求を満たし、この概念が見つかることを確認してください。これは、ロシア語の言語学者によれば、最も一般的に使用される概念の1つであることを意味します。 この単純なクエリを見てみましょう。

MATCHキーワードは、SQLのSELECTとほぼ同じ意味です。 大まかに言って、「テンプレートに適合するグラフの要素を見つける」。

括弧はグラフのノードを示します。 パターン（n：Ruswordnet）は、「Ruswordnet」というラベルが付いたすべてのノードを検索することを示します。 ここでnは識別子であり、「変数」と言うことができます。

グラフのノード（およびエッジ）には、任意の属性を指定できます。 特定のノードを見つけるために、リクエストで属性の条件をJSONに似た形式で指定しました： {name： "digging out a corpse"} 。 だからフレーズ

 MATCH (n:Ruswordnet {name: "_"}) 

は、グラフ全体から、Ruswordnetラベルとそこに示されているコンセプトに等しい属性名を持つすべてのノードが選択されることを意味します。

RETURNキーワードは、どの変数に関心があるかを示します。 この場合、指定された条件を満たすノードを確認したいだけなので、 RETURN nと記述します。 nはクエリを満たすノードのコレクションであることを理解することが重要です。 これを確認するには、クエリの概念を単純に置き換えます。

 MATCH (n:Ruswordnet {name: ""}) RETURN n 

Wordnetデータベース全体をインポートした場合、ライオンの概念の6つのノードが表示されます。 理由を見てみましょう。

2.変数=コレクション

次のリクエストを実行します。

 match (n:Ruswordnet {name: ""})--(m) return n,m 

ここでは、より複雑な検索テンプレートを設定しました。 「ライオン」の概念に対応するすべてのノード（n）と、ライオンに関連付けられているすべてのノード（m）を検索します。 接続、つまりグラフの端は2つのハイフンで示されます。 シンボル->（これをASCIIアートと呼びます）を使用して、関心のある方向を明示的に示すことができます。



セマンティックユニットの名前が表示されない場合は、グラフの左上隅にあるRuswordnetボタン（23）をクリックし、コンソールの下部にあるステータスバーの[キャプション]フィールドで[名前]を選択します。 したがって、より明確になります。

今、ライオンはブルガリアの通貨（bulgarian_money）だけでなく、ペニーがstotinkaであるだけでなく、大きな猫、星座、占星術のサイン、プライドに関連するものでもあることに気付きました。

3.リブを接続する

Wordnetデータベースでは、エッジはポインターと呼ばれ、多数の言語タイプのポインターが使用されます。 それらは記号で示されており、その一部を表に示します。

記号	言語関係の英語名	言語態度
！	匿名	反意語
@	ハイパーニム	一般化
@i	インスタンスHypernym	汎化インスタンス
〜	ヒポニム	明確化
〜私	インスタンスのHyponym	絞り込みインスタンス
#m	会員ホロニム	この概念を含む概念
#s	物質のホロニム	アイテムを構成する物質
#p	パートホロニム	この件名の一部として含まれる件名
％m	メンバーメロニム	より一般的な概念の一部
％s	サブスタンスメロニム	どんな物質が対象ですか？
％p	パートメロニム	アイテムパーツ
=	属性	属性
+	派生的に関連するフォーム	微分形式

インポートプロセス中に、pointer_symbol属性をグラフのエッジに割り当て、エッジの属性を考慮したクエリを作成できるようになりました。 一般化（hypernum）とは何かを見てみましょう：

 MATCH (n:Ruswordnet {name: ""})-[p:Pointer {pointer_symbol: "@"}]->(m) RETURN n,m 

角括弧は、エッジの仕様を示します。 このクエリでは、pointer_symbol属性が「@」、つまり汎用文字であるPointer型のエッジを検索します。 ちなみに、洗練記号「〜」は一般化の反対です。



ライオンの一般化は、人間であると同時に猫であることは明らかです。 もちろん、私たちはさまざまな意味単位について話しています。ライオン（猫）はグラフの1つのノードであり、ライオン（男）は星座に対応する別のノードです。 レオ（名声）は、ロシア語への翻訳が不十分な結果です。 私はライオン（有名人）、すなわち、有名人、世俗的なライオンを意味します。

ホロニムとは何かを見てみましょう：

 MATCH (n:Ruswordnet {name: ""})-[p:Pointer {pointer_symbol: "#p"}]->(m) RETURN n,m 

そして今、はっきりしている：ライオンは一体の部分として黄道帯に入ります。つまり、黄道帯はライオンの一部の略語です。

この表から、Wordnetには多くの興味深い関係が含まれていることがわかります（たとえば、物質の構成要素など）。 残念ながら、ライオンが肉でできているという情報はないので、私たちは異なる質問を投げかけます。「どの物質から作られたのか」という関係によって関係付けられたグラフのノードを見つけます。

 MATCH (n)-[p:Pointer {pointer_symbol: "#s"}]->(m) RETURN n,m LIMIT 10 

このクエリでは、ノード（n）および（m）に条件を課しません。 エッジを「#s」属性に関連付けるだけです。 SQLでよく知られているLIMITキーワードに注目してください。 ここにない場合、サーバーは多くの結果を返しますが、ブラウザーにとっては悪い結果になります。

リクエストの結果、タバコはマリファナで構成され、牛革スープは牛毛で構成されていることがわかりました。

4.任意の長さのチェーン

子供の頃、誰もが次のゲームをプレイしました。ハエを象に変えてください。 これを行うには、単語MUHAが単語ELEPHANTに変わるまで、単語内の1文字を変更する必要がありました。 字句の列で、LEOとOVCAが関連しているかどうかを調べましょう。

 MATCH (n:Ruswordnet {name: ""})-[p:Pointer*1..3]-(m:Ruswordnet {name: ""}) RETURN n,m,p 

構造[p：Pointer * 1..3]は、ノード「lion」とノード「sheep」を接続する、長さが1から3のPointerタイプのリブのチェーンを見つける必要があると述べています。



これは、古典的な子供向けのゲームとは異なりますが、興味深いことです。羊-PROSTAK-MAN-ライオン...それは誇らしげに聞こえます。 ちなみに、ハエとゾウの間のつながりを見つけようとすることができます。チェーンの最大長をわずかに増やすだけです。 値6を使用しました。ところで、すぐに100を入力しようとしないでください-グラフ内のパスを列挙するためのオプションの数が多すぎるため、検索プロセスが失敗する可能性があります。 したがって、これは象とハエが字句的に接続される方法です。



この段階で、あなたはNeo4jデータベースについて多くのことを理解し、Wordnetデータベースで多くの興味深いことを個別に発見でき、プロジェクトでNeo4jを使用できると思います。 映画アーカイブ検索システムでは、WordnetでNeo4jを使用します。 機械学習の分野での研究に参加したい場合は、NIKFI-科学および研究映画および写真研究所でのインターンシップまたは恒久的な仕事に招待します。