RとPythonの組み合わせ：なぜ、いつ、どのように？

おそらく、データ分析に携わっている人の多くは、RとPythonを同時に使用できるかどうかを考えたことがあるでしょう。 もしそうなら、なぜこれが必要なのでしょうか？ プロジェクトにとって有用で効果的なのはいつですか？ はい、Googleが約100,500のオプションを作成する場合、言語を組み合わせる最適な方法をどのように選択しますか？

これらの問題を理解してみましょう。

なぜ

• まず、今日のデータ分析に最も人気のある 2つのプログラミング言語を活用する機会です。 場合によっては、最も強力で安定したRおよびPythonライブラリを組み合わせることで、計算の効率を高めたり、統計モデルを実装するための自転車の発明を回避したりできます。
• 第二に、チーム（または自分）の異なる人々が異なる言語の十分な知識を持っている場合、これはプロジェクトの速度と利便性の向上です。 ここでは、既存のRとPythonプログラミングスキルの合理的な組み合わせが役立ちます。

最初の段落について詳しく話してみましょう。 以下に続く要約は確かに主観的であり、補足することができます。 これは、言語と個人的な経験の利点に関する重要な記事の体系化に基づいて作成されました。 しかし、私たちが知っているように、世界は非常に急速に変化しています。

Pythonは、賢明なプログラマーによって作成された汎用言語であり、データサイエンスの発展に伴い、データ分析の特定のタスクに適応した後期になりました。 したがって、この言語の主な利点は次のとおりです。 データを分析するとき、その使用は次の場合に最適です。

• Webスクレイピングとクロール（beautifulsoup、Scrapyなど）
• データベースとアプリケーションの効果的な作業（sqlachemyなど）
• クラシックMLアルゴリズムの実装（scikit-learn、pandas、numpy、scipyなど）
• コンピュータービジョンタスク

Rの主なものは、ライブラリの広範なコレクションです。 この言語は、特に初期段階では、主にプログラマではなく統計学者の努力により開発されました。 統計学者は一生懸命努力し、彼らの業績は挑戦するのが難しい。

最初に会議に参加する前に会議で最近聞いた新しいおいしい統計モデルを試すことを突然考えた場合は、 R package <INSERT NAME: new great stats model> google R package <INSERT NAME: new great stats model>ます。 あなたの成功の可能性は非常に大きいです！ したがって、Rの間違いないプラスは、高度な統計分析の可能性です。 特に、科学と実践の多くの特定の分野（計量経済学、バイオインフォマティクスなど）。 私の意見では、現時点でのRでは、時系列の分析はさらにずっと発展しています。

RがPythonより優れているもう1つの重要な利点は、インタラクティブグラフィックスです。 JSの知識がなくても、ダッシュボードとシンプルなアプリケーションを作成およびカスタマイズできる可能性は非常に大きいです。 それを信じないでください-リストからいくつかのライブラリの可能性を調べるために少し時間を費やしてください： htmlwidgets 、 flexdashboard 、 shiny 、 slidify 。 たとえば、最初は、この記事の資料はslidifyのインタラクティブなプレゼンテーションとして編集されました。

しかし、統計学者がいくら努力しても、彼らはすべてに強いわけではありません。 Pythonのように、メモリ管理のこのような高い効率を達成することはできませんでした。 むしろ、Rでは、大量のデータで実行される適切で高速なコードが非常に可能です。 しかし、Pythonよりもはるかに多くの努力と自己管理が必要です。

徐々に、すべての違いがなくなり、両方の言語がますます相互交換可能になります。 Pythonでは、視覚化機能が開発され（ seaborn大きなseabornます）、 常に機能するとは限らない計量経済学ライブラリ（ puFlux 、 pymaclabなど）が追加されました.Rでは、メモリ管理効率が向上し、データ処理機能が向上しています（ data.table ）。 ここでは、たとえば、 RおよびPythonのデータを使用した基本操作の例を見ることができます。 プロジェクトの言語を組み合わせることに利点はありますか、それはあなた次第です。

プロジェクトの実施の速度と利便性を改善することに関する2番目のポイントについては、ここでは主にプロジェクトの組織について話します。 たとえば、プロジェクトに2人の人がいて、1人はRでより大きく、より強く、もう1人はPythonでいます。 コードレビューと他のコントロールを両方の言語に提供できる場合は、各参加者が最高のスキルを使用できるようにタスクを分散してみることができます。 もちろん、さまざまな言語で特定の問題を解決した経験も重要です。

データを扱う研究プロジェクトについて話していることは明確にすべきです。 他の基準は意思決定にとって重要です。 結合は、ほとんどの場合、計算の安定性とスケーラビリティに役立ちません。 したがって、私たちはスムーズに、そしていつ言語を組み合わせることがより便利かという問題に進みます。

いつ

両方の言語の機能を考えると、RとPythonを次のように組み合わせることでメリットが得られます。

• 探索的データ分析
• プロトタイピング
• さまざまな科学的および実践的な分野で幅広いカバレッジを持つプロジェクト/タスクセットの実装

言語の可能な組み合わせの例を示します。

• 地域労働市場の研究 。 Pythonを使用して公式HH.ru APIに接続し、 Rを使用して傾向と依存関係を調査（ xgboost 、 xgboostExplainer ）+視覚化（Markdownレポート）
• ブルームバーグデータに基づくアプリケーション 。 公式APIに接続し、Python（ numpy 、 htmlwidgets ）でデータを処理し、結果をRのダッシュボードまたは光沢のあるアプリケーションに出力します（ flexdashboard 、 htmlwidgets ）
• ソーシャルメディアデータ分析 。 Python +計量経済学、ネットワーク分析、視覚化、ウェブサイトを使用した解析とMLスタック-Rの使用
• 個々のポイントでの製品の需要を予測するためのモデル 。 Python（MLアルゴリズム）を使用して個々の場所の商品の需要を予測するユニット+ R（一般均衡モデルおよび構造varモデル）を使用してマクロ経済予測
• ニュースフローの分析 。 Rの解析（ rvest ）+ PythonのNLP + RのRMarkdown Parameterized Reports （ RMarkdown Parameterized Reports ）

すべての例は実際のプロジェクトです。

RとPythonの組み合わせの可能性に関する最初のプレゼンテーションから2年が経過しましたが、実稼働環境で言語を組み合わせることをお勧めしません。 互いに厳密に結びついていないのは、ほぼ2つの個別のエンティティ/モデルである場合を除きます。

R + Pythonのプロダクションを洗い流した幸運な人がいるなら、コメントでシェアしてください！

どうやって

今すぐ椅子について直接。 RとPythonを組み合わせるアプローチの中で、3つの主要なカテゴリを区別できます。

• コマンドラインツール 。 コマンドラインを使用したスクリプトの実行+ディスク上のファイルの中間ストレージ（エアギャップを埋める）
• RとPythonのインターフェース 。 RプロセスとPythonプロセスを同時に実行し、ランダムアクセスメモリ（メモリ内）でデータを転送します
• その他のアプローチ

それぞれのアプローチをより詳細に検討してみましょう。

コマンドラインツール

ポイントは、プロジェクトをRまたはPythonで実行される比較的独立した別々の部分に分割し、両方の言語に適した何らかの形式でディスクを介してデータを転送することです。
構文では、すべてが非常に簡単です。 スクリプトは、次のスキームに従ってコマンドラインを使用して実行されます。

 <cmd_to_run> <path_to_script> <any_additional_args> 

<cmd_to_run> -コマンドラインを使用してRまたはPythonスクリプトを実行するコマンド
<path_to_script> -スクリプトの場所ディレクトリ
<any_additional_args> -スクリプト入力への引数のリスト

次の表は、コマンドラインからスクリプトを実行し、渡された引数を読み取ることをより詳細に示した図です。 コメントは、引数リストが書き込まれるオブジェクトのタイプを示します。

コマンド	Python	R
Cmd	python path/to/myscript.py arg1 arg2 arg3	Rscript path/to/myscript.R arg1 arg2 arg3
引数を取得する	# list, 1st el. - file executed import sys my_args = sys.argv	# character vector of args myArgs <- commandArgs(trailingOnly = TRUE)

興味のある方のために、非常に詳細な例を以下に示します。



あるスクリプトから別のスクリプトに情報を転送する際の中間ファイルの保存には、目的と好みに応じて多くの形式を使用できます。 両方の言語には、各形式を操作するためのライブラリがあります（各ライブラリはありません）。


もちろん、クラシック形式はフラットファイルです。 多くの場合、csvは最もシンプルで便利で信頼性の高いものです。 比較的長期間情報を構造化または保存する場合、おそらく最良の選択はデータベース（SQL / NoSQL）に保存することです。

Rとの間でnumpyオブジェクトを高速で転送するために、高速で安定したRCppCNPyライブラリがあります。 その使用例はここにあります 。

同時に、RとPythonの間で日付フレームを転送するために特別に開発されたfeather形式もあります。 この形式の最初の機能は、RとPythonのシャープ化、両方の言語での処理の容易さ、および非常に高速な書き込みと読み取りです。 アイデアは素晴らしいですが、実装には時々起こるように微妙な違いがあります。 このフォーマットの開発者は、長期的なソリューションにはまだ適していないと繰り返し述べています。 フォーマットを操作するためにライブラリを更新すると、プロセス全体が壊れ、大幅なコード変更が必要になる場合があります。

しかし同時に、RとPythonでのフェザーの書き込みと読み取りは非常に高速です。 1,000万行のファイルの読み取り/書き込み速度のテスト比較を下の図に示します。 どちらの場合も、従来のcsv形式で作業する場合、 featherキーライブラリよりも大幅に高速です。

まとめると

メリット

• シンプルな方法であるため、多くの場合最速
• 中間結果を見るだけ
• ほとんどの形式の読み取り/書き込み機能は、両方の言語で実装されています

短所

• 言語間の移行の数が増えると、設計はすぐに扱いにくくなり、管理が難しくなります。
• データ量の増加に伴うファイルの書き込み/読み取り速度の大幅な損失
• 言語間の相互作用のスキームと中間ファイルの形式を事前に合意する必要性

RとPythonのインターフェース

このアプローチは、1つの言語を別の言語から直接起動することで構成され、情報の内部（メモリ内）送信を提供します。

RとPythonを並置するのではなく組み合わせることを考えていた時代に、多くのライブラリが作成されました。 これらのうち、成功し、Windowsオペレーティングシステムの使用を含むさまざまなパラメーターに耐性があるのは2つだけです。 しかし、それらの存在はすでに新しい視野を開き、言語を組み合わせるプロセスを大幅に促進します。

各言語を別の言語で呼び出すために、品質の高い順に3つのライブラリを以下に示します。

PythonからのR

最も人気のある安定した安定したライブラリはrpy2です。 すぐに動作し、 pandas の公式ドキュメントの一部として適切な説明があり、 別のサイトにあります。 主な機能は、 pandasとの統合です。 言語間で情報を送信するための重要なオブジェクトは、 data frameです。 最も人気のあるR ggplot2視覚化パッケージの直接サポートも宣言されています。 すなわち Pythonでコードを書くには、Python IDEで直接グラフを参照してください。 ただし、 ggplot2使用したテーマは、Windowsでジャムになります。

おそらくrpy2は1つの欠点がありrpy2 -チュートリアルの学習に時間を費やす必要があるからです。 2つの言語で正しく動作するには、送信中にオブジェクトのタイプの構文とマッピングに明らかなニュアンスがあるため、これが必要です。 たとえば、PythonからRへの入力に数値を転送すると、1つの要素から数値ではなくベクトルが取得されます。

下の表の2番目にあるpipeライブラリの主な利点は、速度です。 パイプを介した実装は、平均して作業を実際にスピードアップし（このトピックに関するJSSの記事もあります）、R-Pythonでのpandasオブジェクトの操作のサポートが利用可能になっています。 しかし、利用可能な欠点により、ライブラリは確実に2位にシフトします。 主な欠点は、Python経由でRにライブラリをインストールするための不十分なサポートです。 Rで非標準ライブラリを使用する場合（およびRはこれだけで必要な場合が多い）、それをインストールして動作させるには、すべての依存関係を順番に（!!!）ダウンロードする必要があります。 また、一部の図書館では約100500と小さなカートがあります。 2番目の重要な欠点は、グラフィックの不便な作業です。 作成されたスケジュールは、ディスク上のファイルに書き込むことによってのみ表示できます。 3番目の欠点は、不十分なドキュメントです。 ジャムが標準セットの境界のすぐ外側で発生した場合、解決策はドキュメントまたはstackoverflowのどちらにも見つからないことがよくあります。

pyrserveライブラリpyrserve使いやすいpyrserve 、機能もかなり制限されています。 たとえば、テーブル転送はサポートしていません。 開発者がライブラリを更新およびサポートすることも、多くの要望があります。 バージョン0.9.1は、2年以上使用可能な最後のバージョンです。

図書館	コメント
rpy2	-Cレベルのインターフェース -パンダの直接サポート -グラフィックのサポート（+ ggplot2） -Windowsの弱いサポート
パイパー	-Pythonコード -パイプの使用（平均的に高速） -間接パンダのサポート -限られたグラフィックスのサポート -不十分なドキュメント
serve	-Pythonコード -パイプの使用（平均的に高速） -間接パンダのサポート -限られたグラフィックスのサポート -不十分なドキュメント -低レベルのプロジェクトサポート

RからのPython

これまでで最高のライブラリは、RStudio reticulate公式開発です。 その中の短所はまだ表示されていません。 しかし、利点は十分です：アクティブなサポート、明確で便利なドキュメント、スクリプトおよびエラーの結果のコンソールへの即時出力、オブジェクトの簡単な転送（メインオブジェクトは日付フレームです）。 積極的なサポートに関して、私は個人的な経験から例を挙げます。stackoverflowとgithub / issuesで質問に答える平均速度は約1分です。 動作するには、チュートリアルから構文を学習し、個々のpythonモジュールを接続して関数を記述できます。 または、 py_run関数を介してPythonで個別のコードを実行します。 RからPythonスクリプトを簡単に実行し、必要な引数を渡して、すべてのスクリプト出力を含むオブジェクトを取得できます。

品質の2番目は、 rPythonライブラリです。 主な利点は、構文が単純であることです。 チームは4つだけで、RとPythonを使用するウィザードです。 ドキュメントは遅れることもありません。すべてが明確に、簡単に、そして簡単に述べられています。 主な欠点は、データフレーム送信の曲線実装です。 RとPythonの両方で、渡されたオブジェクトがテーブルになるために追加の手順が必要です。 2番目の重要な欠点は、関数の結果をコンソールに出力できないことです。 Rから直接Rから何らかのpythonコマンドを実行すると、正常に実行されたかどうかをすぐに理解できなくなります。 ドキュメントにも、Pythonコードの実行結果を確認するには、Python自体にアクセスして確認する必要があるという著者からの良い一節がありました。 Windowsからのパッケージの操作は、苦痛を通してのみ可能ですが、可能です。 便利なリンクは表にあります。

Rcppライブラリで3位。 これは実際には非常に良いオプションです。 原則として、C ++を使用してRで実装されるものは、安定して、効率的かつ迅速に動作します。 しかし、それを理解するには時間がかかります。 そのため、リストの最後に示されています。

表の外で、 RSPythonに言及できます。 アイデアは良かった-単一のロジックと構文を備えた両側の単一プラットフォーム-しかし、実装は失敗しました。 このパッケージは2005年以降サポートされていません。一般的には、スティックを使用して古いバージョンを起動および起動できます。

図書館	コメント
網状	-優れたドキュメント -活発な開発（2016年8月以降） -マジック機能 py_run_file("script.py")
rPython	-JSONを介したデータ転送 -間接的なテーブル転送 - 優れたドキュメント -Windowsの弱いサポート -しばしばアナコンダから落ちる
Rcpp	-C ++経由（ Boost.PythonおよびRcpp ） -特定のスキルが必要 良い例です

以下の最も一般的な2つのライブラリの詳細な使用例です。

まとめると

メリット

• 柔軟でインタラクティブな方法
• ランダムアクセスメモリのフレームワーク内でのオブジェクトの高速相互転送

短所

• チュートリアルを読む必要があります！
• オブジェクトの比較可能性の微妙さと言語間での転送方法
• 大量のデータを転送することも難しい場合があります。
• 弱いWindowsサポート
• ライブラリバージョン間の不安定性

その他のアプローチ

別のカテゴリとして、言語を結合するためのいくつかの方法、ラップトップの特別な機能と個々のプラットフォームを使用したいと思います。 以下のリンクのほとんどは実用的な例であることに注意してください。

ラップトップを選択するときは、次を使用できます。

• 前述のrpy2に加えて、古典的なjupyterおよびR majic構文。 一般的には簡単ですが、繰り返しますが、構文の学習には少し時間をかける必要があります。 別のオプション： IRKernelインストールしIRKernel 。 ただし、この場合、カーネルを個別に実行し、ディスクへの書き込みを介してファイルを転送することしかできません。
• Rノート 既に述べたreticulateライブラリをインストールし、ラップトップの各セルに作成する言語を指定するだけで十分です。 便利なこと！
• Apache Zeppelin。 彼らはそれが価値があり、使用するのにも便利だと言います 。

素晴らしいBeaker Notebooksプロジェクトもあり、JupyterとZeppelinの両方に似たインターフェースで言語間を移動するのに非常に便利でした。 インメモリオブジェクトを転送するために、著者は別のbeakerライブラリを作成しました。 さらに、結果をすぐに（一般に）公開できます。 しかし、何らかの理由で、これらすべてはもはや存在せず、古い出版物も削除されます-開発者はBeakerXプロジェクトに注力しました。

RとPythonを組み合わせることを可能にする特別なソフトウェアの中では、強調表示する必要があります。

• 優れたオープンソースH2Oプラットフォーム。製品はのための別々のライブラリコネクタを必要とPythonの、とのためにR。
• SAS機能
• Cloudera

拡張例

記事の最後で、RとPythonを使用すると便利な小さな研究問題を解決する詳細な例を分析したいと思います。タスクが

設定されていると仮定します：2013年以来、金融政策レジームとしてインフレーションターゲティング（または類似物）を実装している国のインフレ率と経済成長率を比較する-この制度のロシアへの導入の概算です。

問題を迅速に解決する必要がありますが、Pythonのみで高速読み込みを行い、Rで処理および視覚化することを覚えています。

したがって、手を振ってRノートブックを開始し、最上位セルに「python」と書き込み、世界銀行のWebサイトからデータをダウンロードします。データはCSV経由で送信されます。


次に、データはRで前処理されます：さまざまな国のインフレの広がり（最小/最大/平均）および経済成長の平均率（実質GDP成長率）。また、一部の国の名前をより短い名前に変更します。これにより、後でレンダリングしやすくなります。


次に、小さなコードとRを使用して、読みやすく楽しいチャートを作成し、インフレターゲティングモードを使用する国のインフレとGDPの比較に関する元の質問に答えることができます。




極座標系の結果のグラフは、2013年から2017年までのインフレ値の広がりと、GDPの平均値（インフレ率）を示しています。円は正のGDP成長率を意味し、三角形は負のGDP成長率を意味します。

全体として、この数字は、他の国と比較したロシアのインフレ標的制度の成功についていくつかの予備的な結論を引き出すことを可能にします。しかし、これはこの記事の範囲外です。興味があれば、トピックに関するさまざまな資料へのリンクを提供できます。

結論

• RとPythonを組み合わせることが可能であり、必要です！
  特に研究データの分析とプロトタイピング用
• プロジェクトの目的に基づいて、組み合わせ方法の選択に注意してください。
  
  
  • コマンドラインツール：シンプルでわかりやすく、間違いなく機能します。
  • !
  • feather!
• Interfacing R and Python: , .
  
  
  • — , .
  • : rpy2 reticulate .
• . !