ビッグデータに行く

この投稿では、バッチ、インタラクティブ、および分散処理のために、Intel Data Analytics Acceleration Library（Intel DAAL）をGoプログラミング言語とともに使用する方法について説明します。

Goに基づいて、 Kubernetes 、 Docker 、 Consul 、 etcdなど、最新のインフラストラクチャプロジェクトが構築されました。 Goは、DevOps、Webサーバー、およびマイクロサービスの優先言語になりつつあります。 この言語は習得が容易で、展開が簡単で、非常に高速で、優れた開発ツールセットを備えています。

データの処理と分析はビジネスでますます頻繁に使用されるため、Go言語が使用されるレベルを含む、企業インフラストラクチャのすべてのレベルでリソース集約型の計算アルゴリズムを実装する必要があります。 論理的な疑問が生じます。機械学習、分散データ変換、対話型データ分析などのソリューションをGoベースのシステムにどのように統合するのでしょうか。

Goでデータを確実、迅速、スケーラブルに処理する1つの方法は、GoプログラムでIntel Data Analytics Acceleration Library （Intel DAAL）を使用することです。 このライブラリは、さまざまな便利なタスクのためのバッチ、インタラクティブ、および分散処理アルゴリズムを提供します。



GoはC / C ++で正常に機能するため、この機能をGoプログラムにそれほど困難なく実装できます。 同時に、速度の面でも大きなメリットがあります。これらのライブラリはすでにIntelアーキテクチャ向けに最適化されています。 ここに示すように 、主要コンポーネントの分析などの特定の操作では、Intel DAALは、MLlibを使用したSparkよりも7倍高速に実行できます。 これはとてもクールです！ Goアプリケーションでこのようなパワーを使用すると非常に便利です。

Intel DAALをインストールする

Intel DAALはオープンソースとして入手できます。以下の手順に従ってインストールしてください。 私のLinuxコンピューターでは、信じられないほど簡単でした。

1. ソースコードをダウンロードしてください。
2. インストールスクリプトの実行。
3. 必要な環境変数を設定します（このために提供されたシェルスクリプトを使用することもできます）。

Intel DAALをGoプログラムに統合する前に、すべてが正しく機能することを確認することは理にかなっています。 このために、 Intel DAALのドキュメントにあるさまざまな入門ガイドを使用できます。 特に、これらのマニュアルは、コレスキー分解アルゴリズムの Intel DAALアプリケーションの例を提供します 。 以下では、Go言語で作成しようとします。 C ++のコレスキー分解アルゴリズムの最初の例は次のようになります。

/**************************************************************************** ! Copyright(C) 2014-2017 Intel Corporation. All Rights Reserved. ! ! The source code, information and material ("Material") contained herein is ! owned by Intel Corporation or its suppliers or licensors, and title to such ! Material remains with Intel Corporation or its suppliers or licensors. The ! Material contains proprietary information of Intel or its suppliers and ! licensors. The Material is protected by worldwide copyright laws and treaty ! provisions. No part of the Material may be used, copied, reproduced, ! modified, published, uploaded, posted, transmitted, distributed or disclosed ! in any way without Intel's prior express written permission. No license ! under any patent, copyright or other intellectual property rights in the ! Material is granted to or conferred upon you, either expressly, by ! implication, inducement, estoppel or otherwise. Any license under such ! intellectual property rights must be express and approved by Intel in ! writing. ! ! *Third Party trademarks are the property of their respective owners. ! ! Unless otherwise agreed by Intel in writing, you may not remove or alter ! this notice or any other notice embedded in Materials by Intel or Intel's ! suppliers or licensors in any way. ! !**************************************************************************** ! Content: ! Cholesky decomposition sample program. !***************************************************************************/ #include "daal.h" #include <iostream> using namespace daal; using namespace daal::algorithms; using namespace daal::data_management; using namespace daal::services; const size_t dimension = 3; double inputArray[dimension *dimension] = { 1.0, 2.0, 4.0, 2.0, 13.0, 23.0, 4.0, 23.0, 77.0 }; int main(int argc, char *argv[]) { /* Create input numeric table from array */ SharedPtr inputData = SharedPtr(new Matrix(dimension, dimension, inputArray)); /* Create the algorithm object for computation of the Cholesky decomposition using the default method */ cholesky::Batch<> algorithm; /* Set input for the algorithm */ algorithm.input.set(cholesky::data, inputData); /* Compute Cholesky decomposition */ algorithm.compute(); /* Get pointer to Cholesky factor */ SharedPtr<Matrix > factor = staticPointerCast<Matrix, NumericTable>(algorithm.getResult()->get(cholesky::choleskyFactor)); /* Print the first element of the Cholesky factor */ std::cout << "The first element of the Cholesky factor: " << (*factor)[0][0]; return 0; } 

このコードをコンパイルして実行し、Intel DAALが正常にインストールされていることを確認してください。 さらに、これにより、Goで何をするのかがわかります。 Intel DAALのインストールに関する質問や問題については、 Intel DAALフォーラムで議論できます（個人的には、このフォーラムは、Intel DAALで作業を始めたときに非常に役立つリソースであることがわかりました）。

GoプログラムでIntel DAALを使用する

GoプログラムでIntel DAALライブラリを使用することについて話している場合、いくつかの選択肢があります。

1. ラッパー関数を介してGoからIntel DAALを直接呼び出します。
2. 特定のIntel DAAL機能を備えた再利用可能なライブラリを作成します。

以下に、これらのアプローチの両方を示します。 すべてのソースコードはこちらから入手できます 。 これはほんの一例です。 時間が経つにつれて、Intel DAALを使用した他のGoプログラムをこのリポジトリに追加できればいいと思います。 実験については、お問い合わせください。 私はあなたが作成するものを見て非常に興味があります。

Goを使用したことがない場合は、この記事を続ける前に、この言語に慣れることをお勧めします。 Goは、学習を開始するためにローカルコンピューターにインストールする必要さえないことに注意してください。 Go on the InternetとGo Playground Webサイトの紹介を利用して、準備ができたらGoをローカルコンピューターにインストールできます 。

Goから直接Intel DAALライブラリを呼び出す

Goには、Cコードを呼び出すGoパッケージを作成できるcgoというツールが用意されていますが、この場合、cgoを使用してGoプログラムとIntel DAALライブラリの相互作用を整理します。

ちなみに、Goプログラムでのcgoの使用には、インターネットで十分に詳細に議論されている特定の制限があります（特に、 Dave Cheneyによる議論またはCockroach Labsによるこの記事を参照 ）。 cgoの使用を決定するときは、これらの制限を常に考慮に入れるか、少なくとも覚えておいてください。 この場合、最適化された分散ライブラリIntel DAALを活用するために、cgoの制限を調整する準備ができています：これらの制限は、高い計算負荷または大量のデータがある特定の場合にパフォーマンスを向上させるだけで十分です。

Intel DAALのCholesky分解アルゴリズムをGoプログラムに統合するには、次のフォルダー構造を作成する必要があります（ $ GOPATHディレクトリに）。

cholesky`
├── cholesky.go`
├── cholesky.hxx`
└── cholesky.cxx`

cholesky.goファイルは、Intel DAALライブラリのCholesky分解アルゴリズムを使用するGoプログラムです。 cholesky.cxxおよびcholesky.hxxファイルは、Intel DAALを含むC ++定義/宣言であり、使用するIntel DAAL機能をcgoコンパイラに伝えます。 それぞれについて考えてみましょう。

まず、* .cxxファイル。

 #include "cholesky.hxx" #include "daal.h" #include <iostream> using namespace daal; using namespace daal::algorithms; using namespace daal::data_management; using namespace daal::services; int choleskyDecompose(int dimension, double inputArray[]) { /* Create input numeric table from array */ SharedPtr inputData = SharedPtr(new Matrix(dimension, dimension, inputArray)); /* Create the algorithm object for computation of the Cholesky decomposition using the default method */ cholesky::Batch<> algorithm; /* Set input for the algorithm */ algorithm.input.set(cholesky::data, inputData); /* Compute Cholesky decomposition */ algorithm.compute(); /* Get pointer to Cholesky factor */ SharedPtr<Matrix > factor = staticPointerCast<Matrix, NumericTable>(algorithm.getResult()->get(cholesky::choleskyFactor)); /* Return the first element of the Cholesky factor */ return (*factor)[0][0]; } 

* * .hxxファイル。

 #ifndef CHOLESKY_H #define CHOLESKY_H // __cplusplus gets defined when a C++ compiler processes the file. // extern "C" is needed so the C++ compiler exports the symbols w/out name issues. #ifdef __cplusplus extern "C" { #endif int choleskyDecompose(int dimension, double inputArray[]); #ifdef __cplusplus } #endif #endif 

これらのファイルは、Cholesky Intel DAAL分解アルゴリズムを使用して入力行列を分解し、Cholesky乗数の最初の要素を出力するC ++ choleskyDecomposeラッパー関数を定義します（Intel DAAL入門ガイドの例のように）。 この場合、入力データは行列の次元の長さの配列であることに注意してください（つまり、3 x 3の行列は長さ9の入力配列に対応します）。 * .hxxファイルにextern“ C”を含める必要があります。 この場合、C ++コンパイラは、C ++ファイルで定義された対応する名前をエクスポートする必要があることを「認識」します。

* .cxxおよび* .hxxファイルでコレスキー分解のシェル関数を定義した後、この関数をGoから直接呼び出すことができます。 cholesky.goは次のようになります。

 package main // #cgo CXXFLAGS: -I$DAALINCLUDE // #cgo LDFLAGS: -L$DAALLIB -ldaal_core -ldaal_sequential -lpthread -lm // #include "cholesky.hxx" import "C" import ( "fmt" "unsafe" ) func main() { // Define the input matrix as an array. inputArray := [9]float64{ 1.0, 2.0, 4.0, 2.0, 13.0, 23.0, 4.0, 23.0, 77.0, } // Get the first Cholesky decomposition factor. data := (*C.double)(unsafe.Pointer(&inputArray[0])) factor := C.choleskyDecompose(3, data) // Output the first Cholesky dcomposition factor to stdout. fmt.Printf("The first Cholesky decomp. factor is: %d\n", factor) } 

このプロセスをステップごとに見て、ここで何が起こっているのかを理解しましょう。 まず、プログラムをコンパイルするときにcgoを使用する必要があることをGoに伝える必要があります。また、特定のフラグを使用してコンパイルする必要があります。

 // #cgo CXXFLAGS: -I$DAALINCLUDE // #cgo LDFLAGS: -L$DAALLIB -ldaal_core -ldaal_sequential -lpthread -lm // #include "cholesky.hxx" import "C" 

使用するには、インポート「C」が必要です。これは、cgoの使用を報告する擬似パッケージです。 インポートコマンド「C」の直前にコメントがある場合、このコメント（プリアンブルと呼ばれる）は、このパッケージのC ++コンポーネントをコンパイルするときにヘッダーとして使用されます。

CXXFLAGSとLDFLAGSを使用して、コンパイル時にcgoが使用するコンパイルフラグとリンクフラグを指定し、// #include“ cholesky.hxx”を使用してC ++関数を追加できます。 この例をコンパイルするために、適切なフラグを使用して上記のようにLinuxとgccを使用しました。 ただし、このガイドに従って、Intel DAALを使用してアプリケーションをビルドする方法を決定できます。

その後、他のプログラムと同じ方法でGoコードを記述し、 C.choleskyDecompose（）としてラッパー関数にアクセスできます。

 // Define the input matrix as an array. inputArray := [9]float64{ 1.0, 2.0, 4.0, 2.0, 13.0, 23.0, 4.0, 23.0, 77.0, } // Get the first Cholesky decomposition factor. data := (*C.double)(unsafe.Pointer(&inputArray[0])) factor := C.choleskyDecompose(3, data) // Output the first Cholesky dcomposition factor to stdout. fmt.Printf("The first Cholesky decomp. factor is: %d\n", factor) 

この場合の独自の機能（cgoの使用による）は、関数のfloat64スライスの最初の要素へのポインターを安全でないポインターに変換する必要があることです。 choleskyDecompose。 安全でないポインターにパックすると、Goプログラムで有効なタイプセーフティの制限を回避できます。
いいね！ そのため、Intel DAALライブラリのCholesky分解アルゴリズムと呼ばれるGoプログラムがあります。 次は、このプログラムをビルドして実行します。 これは、go buildを使用して通常の方法で実行できます。

 $ ls cholesky.cxx cholesky.go cholesky.hxx $ go build $ ls cholesky cholesky.cxx cholesky.go cholesky.hxx $ ./cholesky The first Cholesky decomp. factor is: 1 $ 

そして結果は準備ができています！ もちろん、コレスキーの分解の最初の乗数は1です。IntelDAALライブラリをGoから直接使用することに成功しました。 しかし、Goプログラムは安全ではないポインターとCコードの断片でかなり奇妙に見えますが、これは1回限りのソリューションです。 次に、他のGoパッケージと同じ方法でインポートできる、再利用可能なGoパッケージと同じ機能を実装してみましょう。

Intel DAALで再利用可能なGoパッケージを作成する

Intel DAAL機能を含むGoパッケージを作成するには、 SWIGプログラムを使用します。 Goでは、cgoの使用に加えて、アセンブリ中にSWIGを呼び出して、C / C ++機能を実装するGoパッケージをコンパイルできます。 このようなアセンブリの場合、次のフォルダー構造を作成する必要があります。

choleskylib
├── cholesky.go
├── cholesky.hxx
├── cholesky.cxx
└── cholesky.swigcxx

この場合、* .cxxおよび* .hxxシェルファイルは同じままです。 ただし、* .swigcxxファイルを追加する必要があります。 このファイルは次のようになります。

 %{ #include "cholesky.hxx" %} %include "cholesky.hxx" 

SWIGプログラムは、コレスキー分解関数のラッパーコードを作成します。これにより、このコードをGoパッケージとして使用できます。

さらに、（スタンドアロンアプリケーションではなく）再利用可能なGoパッケージを作成するため、* .goファイルにはパッケージmainまたは関数mainが含まれない場合があります。 パッケージの名前を決定するだけです。 この場合、それをコレスキーと呼びましょう。 これでcholesky.goは次のようになります。

 package cholesky // #cgo CXXFLAGS: -I$DAALINCLUDE // #cgo LDFLAGS: -L$DAALLIB -ldaal_core -ldaal_sequential -lpthread -lm import "C" 

（再び、ヘッダーでファイルを指定します。）

これで、パッケージをビルドしてローカルにインストールできます。

 $ ls cholesky.cxx cholesky.go cholesky.hxx cholesky.swigcxx $ go install $ 

このコマンドは、このパッケージを使用してGoプログラムがアクセスする必要なすべてのバイナリとライブラリをコンパイルします。 フォルダーに* .swigcxxファイルがあることを「確認」し、SWIGを使用してパッケージをビルドします。

いいね！ これで、Intel DAALを使用したGoパッケージができました。 パッケージのインポートと使用の仕組みを見てみましょう。

 package main import ( "fmt" "github.com/dwhitena/daal-go/choleskylib" ) func main() { // Define the input matrix as an array. inputArray := [9]float64{ 1.0, 2.0, 4.0, 2.0, 13.0, 23.0, 4.0, 23.0, 77.0, } // Get the first Cholesky decomposition factor. factor := cholesky.CholeskyDecompose(3, &inputArray[0]) // Output the first Cholesky dcomposition factor to stdout. fmt.Printf("The first Cholesky decomp. factor is: %d\n", factor) } 

クラス！ このコードは、Intel DAALを直接使用するよりもずっときれいです。 他のGoパッケージと同様に、Choleskyアルゴリズムパッケージをインポートし、ラップされた関数をcholesky.CholeskyDecompose（...）として呼び出すことができます 。 さらに、安全でないコンポーネントはすべてSWIGで自動的に処理されました。 これで、元のfloat64スライスの最初の要素のアドレスをcholesky.CholeskyDecompose（...）に渡すことができます。

このプログラムは、他のGoプログラムと同様に、go buildコマンドでコンパイルおよび実行できます。

 $ ls main.go $ go build $ ls example main.go $ ./example The first Cholesky decomp. factor is: 1 $ 

やった！ すべて正しいです。 コレスキー分解アルゴリズムが必要な場合、他のGoプログラムでこのパッケージを使用できます。

結論とリソース

Intel DAAL、cgo、SWIGを使用して、最適化されたCholesky分解アルゴリズムをGoプログラムに統合することができました。 もちろん、可能性はこのアルゴリズムだけに限定されません。 同様に、Intel DAALに実装されている任意のアルゴリズムを使用するプログラムとパッケージをGoで作成できます。 Goアプリケーションで、バッチ、インタラクティブ、および分散処理、クラスタリング、アクセラレーション、コフィルタリングなどの機能を使用して、ニューラルネットワークを直接作成できます。

上記で使用したすべてのコードは、 ここから入手できます 。

Goプログラミングリソース

• SlackでGophersに参加し、ビッグデータ、データ分析、機械学習、およびGoを使用した他の同様のソリューションに関与している＃データサイエンスチャネルの他のメンバーと話します。
• GopherData組織のウェブサイトにアクセスして 、ユーザーがデータ管理、処理、分析、機械学習、およびGo視覚化ツールの開発者とやり取りします。
• TwitterでGopherDataをフォローしてください 。
• 増え続けるGoのツールのリストを使用（および補充）します。

DAALリソース

• Intel DAALのドキュメントをご覧ください。
• トレーニング資料を使用します 。
• Intel DAALフォーラムに参加してください。

著者について

ダニエル（@dwhitena）は、経験豊富なデータ研究者である博士号で、Pachyderm（@pachydermIO）で働いています。 彼は、予測モデル、データの視覚化、統計分析などの機能を含む最新の分散データパイプラインを開発しています。 彼は世界中の会議（ODSC、Spark Summit、Datapalooza、DevFest Siberia、GopherCon b lheubt）で講演し、Ardan Labs（@ardanlabs）でデータの調査と分析を教え、JupyterのGoコアをサポートし、さまざまなプロジェクトの開発に積極的に関与していますオープンソースのデータマイニング。