Rでの深層学習、word2vecのトレーニング

Word2vecは、実際には（ビデオカードではなく）通常のPC上で比較的簡単に実行でき、妥当な時間内に単語の分散表現を構築する唯一の深層学習アルゴリズムです。少なくとも、 Kaggleはそう考えています。 訓練されたモデルでできるトリックについてここで読んだ後、私はそのようなことを試してみなければならないことに気付きました。 問題は1つだけです。私は主にR言語で働いていますが、word2vecの公式の実装がRの下で見つからなかったため、単に存在しないと思います。

しかし、Cにはword2vecのソースコードがあり、Googleには説明があります。Rには、C、C ++、およびFortranで外部ライブラリを使用する機会があります。 ところで、最速のRライブラリは、特にCおよびC ++で作成されています。 開発中のtmcn.word2vec Rラッパーもあります。 その著者
Jian Li （中国語のウェブサイト）は、中国語のデモのようなことをしました（英語でも動作しますが、ロシア語ではまだ試していません）。 このバージョンの問題は次のとおりです。

• まず、すべてのパラメーターはCコードで保護されています。
• 第二に、著者は訓練されたモデルを操作するための関数を1つだけ作成しました。これは単語の類似性を評価し、最大値を持つ20のオプションを表示します。
• 第三に、x64 Windows用のパッケージを構築できませんでした。 win32では、パッケージは問題なくインストールされます。

この「豊かさ」をすべて評価して、私はword2vecのRインターフェイスの独自バージョンを作成することにしました。 実を言うと、私はCをよく知らないので、簡単なプログラムを書くだけでよいので、 Jian Liのソースコードを Windowsで確実にコンパイルされるので、基礎とすることにしました。 何かが機能しない場合は、常に元のものと比較できます。

準備する

WindowsでRのCコードをコンパイルするには、さらにRtoolsをインストールする必要があります。 このツールキットには、Cygwinの下で実行されるgccコンパイラが含まれています。 Rtoolsをインストールした後、PATH変数を確認する必要があります。 次のようなものがあるはずです。

 D：\ Rtools \ bin; D：\ Rtools \ gcc-4.6.3 \ bin; D：\ R \ bin

OS Xでは、Rtoolsは必要ありません。 インストールされたコンパイラが必要であり、その存在はgcc --versionコマンドによってチェックされます。 そうでない場合は、 Xcodeをインストールし、Xcode-コマンドラインツールを使用する必要があります。

RからCライブラリを呼び出すには、次のことを知っておく必要があります。

1. 関数を呼び出すときのすべての値はポインターの形式で渡され、それらの型を明示的に登録するように注意する必要があります。 最も信頼できる方法は、char型のパラメーターを渡してから、既にCにある目的の型に変換することです。
2. 呼び出された関数は値を返しません。 void型でなければなりません。
3. Cコードでは、＃include <Rh>命令を追加する必要があります。複雑な数学がある場合は、＃include <R.math>も追加します。
4. Rコンソールに何かを出力する必要がある場合は、printf（）の代わりにRprintf（）を使用することをお勧めします。 確かに、printf（）も機能します。

まず、Hello、World！など、非常にシンプルなものを作成することにしました。 ただし、そこに値が渡されるようにします。 私が通常使用するRstudioを使用すると、CおよびC ++コードを記述でき、すべてが正しく点灯します。 hello.cにコードを記述して保存した後、コマンドラインを呼び出し、目的のディレクトリに移動して、次のコマンドでコンパイラを起動しました。

 > R --arch x64 CMD SHLIB hello.c

win32では、アーキテクチャキーは必要ありません。

 > R CMD SHLIB hello.c

その結果、ディレクトリにhello.o（安全に削除できます）とhello.dllライブラリの2つのファイルが表示されました。 （OS Xでは、dllの代わりに、拡張子がsoのファイルを取得します）。 結果のRのhello関数は、次のコードで呼び出されます。

dyn.load("hello.dll") hellof <- function(n) { .C("hello", as.integer(n)) } hellof(5) 

テストでは、すべてが正しく機能し、word2vecを使用した実験ではデータを準備することが残っていることが示されました。 私は「言葉の袋とポップコーンの袋」タスクからそれらをKaggleに連れて行くことにしました 。 トレーニング、テスト、未割り当てのサンプルがあり、合計でIMDBからの映画の10万の改訂版が含まれています。 これらのファイルをダウンロードした後、それらからHTMLタグ、特殊文字、数字、句読点、ストップワードを削除し、トークン化しました。 処理の詳細は省略しますが、すでにそれらについて書きました。

Word2vecは、スペースで区切られた単語を含む1行のテキストファイル形式でトレーニング用のデータを受け入れます（公式ドキュメントのword2vecの使用例を分析することでこれを見つけました）。 データセットを1行に接着して、テキストファイルに保存しました。

モデル

Jian Liバリアントでは、これらは2つのファイルword2vec.hおよびword2vec.cです。 最初のコードにはメインコードが含まれており、メインコードは元のword2vec.cと一致しています。 2番目は、TrainModel（）関数を呼び出すためのラッパーです。 私が最初に決めたのは、すべてのモデルパラメータをRコードに取り込むことでした。 word2vec.cのRスクリプトとラッパーを編集する必要がありました。次の構造が得られました。

 dyn.load("word2vec.dll") word2vec <- function(train_file, output_file, binary, cbow, num_threads, num_features, window, min_count, sample) { //...    ... OUT <- .C("CWrapper_word2vec", train_file = as.character(train_file), output_file = as.character(output_file), binary = as.character(binary), //...    ) //...      OUT... } word2vec("train_data.txt", "model.bin", binary=1, # output format, 1-binary, 0-txt cbow=0, # skip-gram (0) or continuous bag of words (1) num_threads = 1, # num of workers num_features = 300, # word vector dimensionality window = 10, # context / window size min_count = 40, # minimum word count sample = 1e-3 # downsampling of frequent words ) 

パラメーターに関するいくつかの言葉：
バイナリ -モデル出力形式。
cbow -skip-gramまたは単語の袋（cbow）のトレーニングに使用するアルゴリズム。 Skip-gramは低速ですが、まれな単語ではより良い結果が得られます。
num_threads-モデルの構築に関係するプロセッサスレッドの数。
num_features-ワードスペース（または各ワードのベクトル）の次元。数十から数百が推奨されます。
window-学習アルゴリズムが考慮すべきコンテキストの単語数。
min_count-意味のある単語の辞書のサイズを制限します。 テキスト内で指定された数を超えて見つからない単語は無視されます。 推奨値は10〜100です。
サンプル -テキスト内の単語の出現頻度の下限、.00001から.01までが推奨されます。

推奨されるmakefileキーを使用して次のコマンドでコンパイルします。

 > R --arch x64 CMD SHLIB -lm -pthread -O3 -march = native -Wall -funroll-loops -Wno-unused-result word2vec.c

コンパイラーはいくつかの警告を出しましたが、深刻なことは何もありませんでした。 問題なく、dyn.load関数（ "word2vec.dll"）を使用してRにロードし、同じ名前の関数を起動しました。 pthreadキーだけが便利だと思います。 残りなしでも実行できます（それらの一部はRtools構成に登録されています）。

結果：
合計すると、私のファイルは1150万語、辞書-19133語であることが判明し、Intel Core i7を搭載したコンピューターでのモデル作成時間は6分でした。 オプションが機能するかどうかを確認するために、num_threadsの値を1から6に変更しました。 リソースの監視を見ないことも可能です。モデルの構築時間は1分半に短縮されました。 つまり、このものは数分で1,100万語を処理できます。

類似性の評価

距離的には、実際には何も変更せず、返された値の数のパラメーターを引き出しました。 次に、彼はライブラリをコンパイルし、Rにロードして、「悪い」と「良い」を簡単に確認しました。

単語：語彙の悪い位置：15
         ワードコスディスト
 1ひどい0.5778409
 2恐ろしい0.5541780
 3お粗末な0.5527389
 4ひどい0.5206609
 5笑いながら0.4910716
 6極悪な0.4841466
 7恐ろしい0.4808238
 8良い0.4805901
 9悪い0.4726501
 10恐ろしい0.4579800

単語：語彙の良い位置：6
        ワードコスディスト
 1まともな0.5678578
 2素敵な0.5364762
 3素晴らしい0.5197815
 4悪い0.4805902
 5優れた0.4554003
 6良い0.4365533
 7大丈夫0.4361723
 8本当に0.4153538
 9好き0.4061105
 10罰金0.4004776

すべてが再びうまくいった。 興味深いことに、言葉で数えると、悪い距離から良い距離までの距離は、良い距離から悪い距離よりも大きくなります。 まあ、彼らは「愛から憎しみへ...」と言うように、逆もまた同様です。 アルゴリズムは、次の式に従って、ベクトル間の角度のコサインとして類似度を計算します（ wikiの画像）：

そのため、トレーニング済みのモデルを使用すると、Cなしで距離を計算し、類似性の代わりに、たとえば差異を評価できます。 これを行うには、テキスト形式（バイナリ= 0）でモデルを構築し、read.table（）を使用してRにロードし、一定量のコードを書き込む必要があります。 例外処理のないコード：

 similarity <- function(word1, word2, model) { size <- ncol(model)-1 vec1 <- model[model$word==word1,2:size] vec2 <- model[model$word==word2,2:size] sim <- sum(vec1 * vec2) sim <- sim/(sqrt(sum(vec1^2))*sqrt(sum(vec2^2))) return(sim) } difference <- function(string, model) { words <- tokenize(string) num_words <- length(words) diff_mx <- matrix(rep(0,num_words^2), nrow=num_words, ncol=num_words) for (i in 1:num_words) { for (j in 1:num_words) { sim <- similarity(words[i],words[j],model) if(i!=j) { diff_mx[i,j]=sim } } } return(words[which.min(rowSums(diff_mx))]) } 

ここでは、単語数に対するクエリの単語数のサイズで正方行列が作成されます。 さらに、非類似語の各ペアについて、類似性が計算されます。 次に、値が行で合計され、最小量の行があります。 行番号は、リクエスト内の「余分な」単語の位置に対応しています。 マトリックスの半分のみをカウントすることにより、作業を加速できます。 いくつかの例：

 >違い（「リス鹿人間犬猫」、モデル）
 [1]「人間」
 >違い（「悪い赤、良い、いい、ひどい」、モデル）
 [1]「赤」

類推

類推の検索により、「男性は女性を指し、王はどのように関係しているのか？」などの問題を解決できます。 特別な単語アナロジー関数は元のGoogleコードにのみあるため、私はそれをいじる必要がありました。 Rから関数を呼び出すラッパーを作成し、コードから無限ループを削除し、標準の入力/出力ストリームをパラメーターの受け渡しに置き換えました。 次に、ライブラリにコンパイルし、いくつかの実験を行いました。 私は女王で成功しませんでした。明らかに1,100万語では不十分です（word2vecの著者は約10億語を推奨しています）。 良い例：

 >アナロジー（ "model300.bin"、​​ "man woman king"、3）
      ワードコスディスト
 1玉座0.4466286
 2リア0.4268206
 3プリンセス0.4251665

 >類推（「model300.bin」、「男と女の夫」、3）
        ワードコスディスト
 1人の妻0.6323696
 2不忠実な0.5626401
 3結婚0.5268299

 >アナロジー（「model300.bin」、「man woman boy」、3）
     ワードコスディスト
 1人の女の子0.6313665
母2人0.4309490
 3 10代0.4272232

クラスタリング

ドキュメントを読んだ後、word2vecには組み込みのK-Meansクラスタリングがあることがわかった。 そして、それを使用するには、Rのもう1つのパラメーター「クラス」を「引き出す」だけで十分です。 これはクラスターの数です。これがゼロより大きい場合、word2vecはword-cluster numberという形式のテキストファイルを生成します。 300個のクラスターでは、正気を得るのに十分ではありませんでした。 開発者からの発見的手法：辞書のサイズは5で割られます。したがって、3000を選択しました。いくつかの成功したクラスターを提供します（これらの単語が近い理由を理解できるという意味で成功します）。

           単語ID
 335ユーモア2952
 489深刻な2952
 872賢い2952
 1035ユーモア2952
 1796の参照2952
 1916風刺2952
 2061ドタバタ2952
 2367風変わりな2952
 2810原油2952
 2953アイロニー2952
 3125とんでもない2952
 3296茶番2952
 3594広い2952
 4870愚かさ2952
 4979エッジの効いた2952

        単語ID
 1025猫241
 3242マウス241
 11189ミニー241

           単語ID
 1089軍隊322
 1127軍隊322
 1556ミッション322
 1558年兵士322
 3254ネイビー322
 3323戦闘322
 3902コマンド322
 3975ユニット322
 4270大佐322
 4277コマンダー322
 7821小隊322
 7853海兵隊322
 8691海軍322
 9762捕虜322
 10391 gi 322
 12452軍団322
 15839歩兵322
 16697ダイバー322

クラスタリングの助けを借りて、感情分析を行うのは簡単です。 これを行うには、「クラスターバッグ」を作成する必要があります。これは、クラスターの最大数に対するリビジョン数のサイズのマトリックスです。 このようなマトリックスの各セルには、特定のクラスター内のレビューからの単語のヒット数が必要です。 試したことはありませんが、ここでは問題はありません。 彼らは、IMDBからのレビューの精度は、「言葉の袋」を通してそれを行う場合と同じか、わずかに低いと言います。

フレーズ

Word2vecは、フレーズを使用したり、単語の安定した組み合わせを使用したりできます。 これを行うために、元のコードにはword2phraseプロシージャがあります。 彼女の仕事は、頻繁に発生する単語の組み合わせを見つけて、それらの間のスペースをアンダースコアに置き換えることです。 最初のパスの後に取得されるファイルには2つの単語が含まれています。 再度word2phraseに送信すると、トリプルとフォーが表示されます。 その結果は、word2vecのトレーニングに使用できます。
word2vecとの類推により、Rからこのプロシージャを呼び出しました。

 word2phrase("train_data.txt", "train_phrase.txt", min_count=5, threshold=100) 

min_countパラメーターは、指定された値よりも少ないフレーズを考慮しないようにします。 しきい値はアルゴリズムの感度を制御し、値が大きいほど、検出されるフレーズは少なくなります。 2回目のパスの後、私は約6000の組み合わせを得ました。 フレーズ自体を見るために、最初にテキスト形式でモデルを作成し、そこから単語の列を引き出して、その下でフィルタリングしました。 次に例を示します。

 [5887] "works_perfectly" "four_year_old" "multi_million_dollar"               
 [5890] "fresh_faced" "return_living_dead" "seemed_forced"                      
 [5893] "freddie_prinze_jr" "re_lucky" "puerto_rico"                        
 [5896]「every_sentence」「living_hell」「went_straight」                      
 [5899] "supporting_cast_include" "action_set_pieces" "space_shuttle"     

距離（）のいくつかのフレーズを選択しました：

 >距離（ "p_model300_2.bin"、​​ "crouching_tiger_hidden_​​dragon"、10）
単語：crouching_tiger_hidden_​​dragon語彙の位置：15492
                 ワードコスディスト
 1 tsui_hark 0.6041993
 2 ang_lee 0.5996884
 3 martial_arts_films 0.5541546
 4 kung_fu_hustle 0.5381692
 5大ヒット0.5305687
 6 kill_bill 0.5279162
 7グラインドハウス0.5242150
 8かくはん0.5224440
 9予算0.5141657
 10 john_woo 0.5046486

 >距離（ "p_model300_2.bin"、​​ "academy_award_winning"、10）
単語：academy_award_winningボキャブラリーの位置：15780
                   ワードコスディスト
 1ノミネート0.4570983
 2 ever_produced 0.4558123
 3 francis_ford_coppola 0.4547777
 4 producer_director 0.4545878
 5 set_standard 0.4512480
 6参加0.4503479
 7 won_academy_award 0.4477891
 8 michael_mann 0.4464636
 9 huge_budget 0.4424854
 10 directorial_debut 0.4406852

これで、実験を完了しました。 重要な注意点の1つは、word2vecがメモリと直接「通信」することです。Rの結果、不安定に動作し、セッションをクラッシュさせる可能性があります。 これは、Rが正しく処理できないOSからの診断メッセージの出力が原因である場合があります。 コードにエラーがない場合は、インタープリターまたはRstudioの再起動が役立ちます。

Rコード、Cソース、および私のリポジトリの x64 Windows dllでコンパイルされます 。

UPD：
ServPonomarevとの論争およびその後のword2vecコードの分析の結果、アルゴリズムが1000ワードの行でトレーニングされ、それに沿ってウィンドウがプラス/マイナス5ワードで移動することがわかりました。 EOL文字が検出されると、アルゴリズムによって辞書内のゼロ番号の特別な単語に変換され、ウィンドウの移動が停止し、新しい行で続行されます。 モデル内のEOLで区切られた単語の表現は、スペースで区切られた同じ単語の表現とは異なります。 結論：ソーステキストがドキュメントのコレクションであり、ラインフィードで区切られたフレーズまたは段落である場合、この追加情報を削除しないでください。 EOLキャラクターをトレーニングセットに残します。 残念ながら、これを例で説明することは非常に困難です。