Python Parsim：初心者のためのPyparsing

構文解析（構文解析）は、一連の単語または文字を照合するプロセスです-いわゆる形式文法。 たとえば、次のコード行の場合：

import matplotlib.pyplot as plt 

次の文法が行われます：最初にキーワードimport、次にモジュールの名前またはドットで区切られたモジュール名のチェーン、次にキーワードas、次にインポートされたモジュールの名前が続きます。

たとえば、解析の結果として、次の式に到達する必要がある場合があります。

 { 'import': [ 'matplotlib', 'pyplot' ], 'as': 'plt' } 

この式は、「import」と「as」の2つのキーを持つPython辞書です。 「インポート」キーの値は、インポートされたモジュールの名前が順番にリストされているリストです。

解析には、通常、正規表現が使用されます。 これを行うために、re（正規表現）と呼ばれるPythonモジュールがあります。 正規表現を使用したことがない場合は、その外観が怖いかもしれません。 例えば、コード行「matplotlib.pyplotをpltとしてインポート」の場合、次のようになります。

 r'^[ \t]*import +\D+\.\D+ +as \D+' 

幸いなことに、Pyparsingと呼ばれる便利で柔軟な解析ツールがあります。 主な利点は、コードを読みやすくし、分析されたテキストをさらに処理できることです。

この記事では、Pyparsingをインストールし、最初のパーサーを作成します。


最初にPyparsingをインストールします。 Linuxで作業している場合は、コマンドプロンプトで次のように入力します。

 sudo pip install pyparsing 

Windowsでは、管理者として起動されたコマンドラインで、最初にpip.exeファイルがあるディレクトリ（たとえば、C：\ Python27 \ Scripts \）に移動してから実行する必要があります。

 pip install pyparsing 

別の方法は、SourceForgeのPyparsingプロジェクトページに移動し、そこにWindows用のインストーラーをダウンロードして、通常のプログラムとしてPyparsingをインストールすることです。 Pyparsingをインストールするすべての可能な方法に関する完全な情報は、プロジェクトページにあります 。

構文解析に移りましょう。 sを次の行にします。

 s = 'import matplotlib.pyplot as plt' 

解析の結果として、辞書を取得したい：

 { 'import': [ 'matplotlib', 'pyplot' ], 'as': 'plt' } 

まず、Pyparsingをインポートする必要があります。 たとえばPython IDLEを実行して、次のように入力します。

 from pyparsing import * 

上記のアスタリスク*は、pyparsingからすべての名前をインポートすることを意味します。 その結果、名前のワークスペースが混乱し、プログラムでエラーが発生する可能性があります。 私たちの場合、使用するPyparsingのクラスがまだわからないため、*が一時的に使用されます。 パーサーを記述した後、*を使用したクラスの名前に置き換えます。

pyparsingを使用する場合、パーサーは最初に個々のキーワード、文字、短いフレーズに対して書き込まれ、次にテキスト全体のパーサーが個々の部分から取得されます。

まず、行にモジュール名があります。 正式な文法：一般的な場合、モジュールの名前は文字とアンダースコアで構成される単語です。 pyparsingについて：

 module_name = Word(alphas + '_') 

単語は単語、アルファは文字です。 Word(alphas + '_') -文字とアンダースコアで構成される単語。 module_nameはモジュールの名前に変換されます。 ここですべてを一緒に読みます。モジュールの名前は、文字とアンダースコアで構成される単語です。 したがって、Pyparsingエントリは自然言語に非常に近いものです。

モジュールの完全な名前は、チェーンのモジュールに到達するまで、モジュールの名前、次にドット、次に別のモジュールの名前、次に再びドット、次に3番目のモジュールの名前、というように続きます。 モジュールのフルネームは、1つのモジュールの名前で構成され、ピリオドを持たない場合があります。 pyparsingについて：

 full_module_name = module_name + ZeroOrMore('.' + module_name) 

ZeroOrMoreは文字通り「ゼロ以上」に変換されます。つまり、括弧内のコンテンツが数回繰り返されるか、欠落する可能性があります。 その結果、パーサーの2行目全体を読み取ります。モジュールの完全な名前はモジュールの名前であり、その後、ドットとモジュールの名前は0回以上続きます。

モジュールのフルネームの後に、オプションの部分「as plt」が続きます。 キーワード 'as'の後に、インポートしたモジュールに付けた名前が続きます。 pyparsingについて：

 import_as = Optional('as' + module_name) 

オプションは文字通り「オプション」に変換されます。つまり、括弧内のコンテンツが存在する場合と存在しない場合があります。 合計で、「as」という単語とモジュール名で構成されるオプションの式が得られます。

完全なimportステートメントは、importキーワード、モジュールのフルネーム、オプションの「as plt」コンストラクトで構成されます。 pyparsingについて：

 parse_module = 'import' + full_module_name + import_as 

その結果、最初のパーサーができました。

 module_name = Word(alphas + '_') full_module_name = module_name + ZeroOrMore('.' + module_name) import_as = Optional('as' + module_name) parse_module = 'import' + full_module_name + import_as 

次に、文字列sを解析する必要があります。

 parse_module.parseString(s) 

取得します：

 (['import', 'matplotlib', '.', 'pyplot', 'as', 'plt'], {}) 

結果をリストに変換することにより、出力を改善できます。

 parse_module.parseString(s).asList() 

取得するもの：

 ['import', 'matplotlib', '.', 'pyplot', 'as', 'plt'] 

次に、パーサーを改善します。 まず、パーサー出力でimportという単語とモジュール名の間のドットを見たくないでしょう。 Suppress（）は、出力を抑制するために使用されます。 これを念頭に置いて、パーサーは次のようになります。

 module_name = Word(alphas + '_') full_module_name = module_name + ZeroOrMore(Suppress('.') + module_name) import_as = Optional(Suppress('as') + module_name) parse_module = Suppress('import') + full_module_name + import_as 

parse_module.parseString(s).asList() 、次のようになります。

 ['matplotlib', 'pyplot', 'plt'] 

パーサーに、すぐに{'import':[1, 2, ...], 'as':}という形式の辞書を返すようにしましょう。 これを行う前に、まずインポートしたモジュールのリスト（full_module_name）と独自のモジュール名（import_as）に個別にアクセスする必要があります。 このため、pyparsingでは解析結果に名前を割り当てることができます。 インポートされたモジュールのリストに「モジュール」という名前を付けましょう。そして、私たちがモジュールと呼んでいるように、「インポートする」という名前を付けます。

 full_module_name = (module_name + ZeroOrMore(Suppress('.') + module_name))('modules') import_as = (Optional(Suppress('as') + module_name))('import_as') 

上記の2行からわかるように、解析結果に名前を付けるには、パーサー式を角かっこで囲み、括弧内のこの式の後に結果の名前を付ける必要があります。 何が変わったのか見てみましょう。 これを行うには、コードを実行します：

 res = parse_module.parseString(s) print(res.modules.asList()) print(res.import_as.asList()) 

取得するもの：

 ['matplotlib', 'pyplot'] ['plt'] 

これで、モジュールのチェーンを個別に抽出して、目的のモジュールとその名前をインポートできます。 パーサーが辞書を返すようにすることは残っています。 このために、いわゆるParseActionが使用されます-解析中のアクション：

 parse_module = (Suppress('import') + full_module_name).setParseAction(lambda t: {'import': t.modules.asList(), 'as': t.import_as.asList()[0]}) 

lambdaはPythonの匿名関数で、tはこの関数の引数です。 次に、コロンとPython辞書の式が必要になります。 asList（）を呼び出すと、リストが取得されます。 asの後のモジュールの名前は常に1であり、リストt.import_as.asList()は常に1つの値のみが含まれます。 したがって、リストの唯一の要素（インデックスがゼロ）を取得し、asList（）[0]を記述します。

パーサーを確認してください。 parse_module.parseString(s).asList()を実行し、 parse_module.parseString(s).asList()を取得します。

 [{ 'import': [ 'matplotlib', 'pyplot' ], 'as': 'plt' }] 

もうすぐです。 結果のリストには引数が1つparse_module.parseString(s).asList()[0]
ため、行の末尾に[0]を追加してテキストを解析しますparse_module.parseString(s).asList()[0]
parse_module.parseString(s).asList()[0]


要約すると：

 { 'import': [ 'matplotlib', 'pyplot' ], 'as': 'plt' } 

欲しいものが手に入りました。

目標を達成したら、「from pyparsing import *」に戻り、アスタリスクを有用なクラスに変更する必要があります。

 from pyparsing import Word, alphas, ZeroOrMore, Suppress, Optional 

その結果、コードの形式は次のとおりです。

 from pyparsing import Word, alphas, ZeroOrMore, Suppress, Optional module_name = Word(alphas + "_") full_module_name = (module_name + ZeroOrMore(Suppress('.') + module_name))('modules') import_as = (Optional(Suppress('as') + module_name))('import_as') parse_module = (Suppress('import') + full_module_name + import_as).setParseAction(lambda t: {'import': t.modules.asList(), 'as': t.import_as.asList()[0]}) 

非常に単純な例と、Pyparsingの機能のごく一部のみを検討しました。 オーバーボード-再帰式の作成、テーブルの処理、検索自体を劇的に高速化する最適化を伴うテキスト検索など。

結論として、あなた自身についてのいくつかの言葉。 私は大学院生であり、MSTUのアシスタントです。 バウマン（MT-1「金属切断機」の部）。 Python、Linux、HTML、CSS、JSが好きです。 私の趣味は、工学活動と工学計算の自動化です。 パイパーシング、セージ、およびエンジニアリング計算の自動化のいくつかの機能での作業に関する知識を共有し、Habrに役立つと思います。 Wolfram Alphaの強力な代替手段であるSageMathCloud環境も知っています。 SageMathCloudは、クラウドでのPython計算を対象としています。 同時に、コンソール（ボンネットの下のUbuntu）、Sage、IPython、LaTeXにアクセスできます。 コラボレーションの可能性があります。 Pythonコードに加えて、SageMathCloudはhtml、css、js、coffescript、go、fortran、scilabなどをサポートしています。 現在、この環境は無料で（かなり安定したベータ版）、フリーミアムシステムで動作します。 現時点では、この環境はHabréでカバーされていません。このギャップを埋めたいと思います。

記事の編集に協力してくれたDaria FrolovaとNikita Konovalovに感謝します。