PHPで任意のテキスト言語を自動的に検出する-PHPLangautodetectライブラリ

市場で新しくてユニークなものを作成しようとしているスタートアップと仕事をすることはとてもエキサイティングです。 そして、オープニングの機会だけでなく、クリエーターに向けられ、かつて誰も解決したことのない些細なタスクや質問もしばしばあります。 昨日、私の前に出てきたこれらの質問の1つがあります：任意のテキスト行が私たちに与えられました。それは2つであり、場合によっては3か国語であることが知られています。 ユーザーは、テキストを記述する言語を決定する必要があります。

実際、タスクはそれほど珍しくありません。同様の機能がテキストエディター、PuntoSwitcherキーボードスイッチ、および機械翻訳システムにあり、情報検索システムはもちろんのこと、そのような機能が求められています。 ちなみに、このような問題が発生したのは、特殊な検索エンジンとテキスト分類子を作成するというコンテキストでした。 PHPプラットフォームの独自のプログラムでこの機会を取得し、同時にサードパーティのサービスを使用しないことが必要でした-Google言語APIにはWebサービスの形式で同様の機会があります（ ブログでこのサービスを既に検討しました ）が、リモートで実行され、特に、言語認識のプロセスは大幅に遅れて実行され、本質的に非同期です。 さらに、プロセスを完全に制御し、柔軟に構成できるようにしたかったのですが、これはサードパーティのサービスには含まれていません。 したがって、私は自分でそれを考えて実装する必要がありましたが、結果をあなたの注意に示します。


まず、少しの理論。 言語の自動決定のプロセスは不正確であり、原則として確率的であるとすぐに言わなければなりません。 つまり、結果は常に確率で与えられます。特に、スペルが非常に似ている、または同じアルファベットでさえあるが、異なる言語の場合はそうです。 さらに、調査対象のテキストの行の長さにも依存します。調査のための資料が少ないほど、そのような定義はより困難または不可能にさえなります。 実際、統計情報の場合は、パラメーターを計算するためのフィールドを大きくする必要があります。短い行では、特に同じアルファベットに基づく言語を分析する場合、識別に十分な資料を取得できません。 そのようなテキストでは、一意の文字は単に発生しない場合があり、別の言語の単語として定義されます。 したがって、使用されるアルファベットの分析方法の最初の制限は、テキストの長さです。それが大きいほど、分析の精度が高くなります。 例を挙げましょう。「 rappel 」という言葉です。 それは何語ですか？ 英語で？ それは「ロープで降りる」ことを意味します。 しかし、同じ言葉はドイツ語です！ そして、それは「（突然の）狂気、怒りの発作」を意味します。

この方法には2つの種類があります。 「アルファベットの使用率」の使用例では、テキストで使用されているアルファベットの一意の文字数の計算と、総量の％の計算を使用します。 2番目は、アルファベットと一致するテキストの文字数を変更しますが、一部の文字は異なるアルファベットに分類され、両方の言語にカウントされる可能性があります。

2番目の方法は、言語の文法に固有または典型的な一連の文字（たとえば、英語の記事、ロシア語の文字「b」および「e」、またはウクライナ語の「є」）を使用してテキストのアイデンティティを確立する事前に形成されたルールの使用に基づいています。 このようなN-gramのルールは言語学者が開発でき、テキストの言語を迅速かつ正確に決定できますが、保証された結果は得られません。 最初に作成する必要があります。つまり、言語の優れた能力があり、さまざまな言語に固有の特性シーケンスはそれほど多くありません。 ただし、どの言語を定義する必要があるかを事前に知っている場合は、すべての言語を使用する場合よりも固有の組み合わせがより多く存在する可能性があります。 ロシア語と英語しかない場合、ドイツ語と英語のペアよりも明らかにこのような文字の組み合わせが多くあります。

また、テキストに異なるアルファベットの単語が混在している場合についても検討する必要があります。 たとえば、会社や製品の名前は、元の言語、ほとんどの場合は英語で記述できますが、文全体はロシア語で作成されます。 ここでは、アルファベットに属する文字の総数を計算するオプションのみが役立ち、誰がより多くの文字に基づいて決定を下すことができます。 将来のバージョンでは、ライブラリはそのようなオプションを認識し、文字列で見つかった言語の配列を発行できるようになり、文字列で最も文字数が多いメイン言語のみを表示するようになります。

私のライブラリでは、両方のアプローチとすべての可能なオプションを使用することにしました。これにより、任意のアプローチまたは両方の組み合わせを使用するようにアルゴリズムを柔軟に構成できます。 技術的には、ライブラリは非常に単純です-1つのクラス、作業のパラメーターを指定するいくつかのメソッドとプロパティ。 彼はソースコードの行ごとにコメントしたので、ここでは実装の完全な説明はせず、機能のみに焦点を当てます。

ライブラリはUTF-8でエンコードされたテキストで動作するため、mb_stringsモジュールが必要です。まず、結果の文字列を標準形式に変換し、トランスコードを試みて、余分な文字を削除して長さをチェックします。 最小テキストサイズは50文字、最大テキストサイズは1680です。これは、1つの標準A4ページとほぼ同じです。

さまざまな検出オプションを設定できます。 ライブラリは、テキストの合計量または各アルファベットで使用されている文字の割合を確認しながら、アルファベットの分析を使用できます。 決定のしきい値も設定されます。デフォルトでは75％です（計算に応じて、アルファベットの文字の75％か、テキストでこの言語の文字の総数が75％を超えます）。 ヒューリスティックルールを使用して結果を明確にすることもできますが、優先順位を調整できます-ルールが統計に従って分析の結果を確認しない場合、ルールの結果を考慮するか、統計を信頼する必要があります。 特に大量のテキストまたは多数の言語で作業を高速化するには、ルールのみを使用できます。通常は、アルファベットの文字よりもはるかに小さくなります。 ちなみに、ルールの使用も設定可能です-結果を取得するには、ルールの1つとの一致として使用するか、同じ言語のすべてのルールとの一致を要求できますが、これは長いテキストにのみ適用され、常にエラーの可能性があります。

ライブラリは、検出後またはfalseを返します。これは、ライブラリを判別できないか、使用されている言語がデータベースにないことを意味します。 成功すると、2文字の言語コード（例：「en」、「ru」、または「ua」）、および追加情報-言語のフルネーム、およびボーナスとしてウィキペディアの言語に関する記事へのリンクを含む配列を取得します。 org（もちろん、同じ言語で）。

これまでのところ、ライブラリの最初のバージョンは、英語、ロシア語、ウクライナ語の3つの言語のみで動作しますが、言語を操作するためのアルファベットとルールを追加することを妨げるものはありません。

最後に、速度についての1つの発言。 最速のオプションはルールのみを使用することです。これは常に文字よりもルールの数が少なく、ライブラリ内で短いループを使用するためです。 特に、データベース内で検索するテキストが長くなり、言語が多くなるほど、ルールのみのオプションが速くなります。 したがって、最適化のためには、事前に言語セットを制限し、不要な言語を削除することをお勧めします。これにより、サイクル数が大幅に削減され、アルゴリズムが高速に実行されます。 システムでUTF-8エンコーディングに変換されたアルゴリズム変換された文字列のみがアルゴリズムの入力に送られることが確実な場合は、文字列のチェックとデコードを削除することもできます。

プロジェクトの公式サイト ： http : //code.google.com/p/phplangautodetect/
ライセンス ： GNU General Public License v3
作成者 ：Alexander Lozovyuk（aleks_raiden、aleks.raiden @ gmail.com）
言語/プラットフォーム ：PHP 5（mb_stringsモジュールが必要）
ディストリビューションには、実験用の最もシンプルなスクリプトが含まれています 。 最新のオンラインバージョンはこちらです。

以下は、上記のアルゴリズムの実装に関するコメントと見解を含むソースコードです。

1. Lang_Auto_Detect クラス
2. {
3. //主な変数
4. //サポートされている言語のリスト
5. public $ lang = Array（ 'en' => array（ 'English' 、 'http://en.wikipedia.org/wiki/English_language' ）、
6. 'ru' =>配列（ 'ロシア語' 、 'http://en.wikipedia.org/wiki/%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0 ％B9_％D1％8F％D0％B7％D1％8B％D0％BA ' ）、
7. 'ua' =>配列（ 'ウクライナ' 、 'http://uk.wikipedia.org/wiki/%D0%A3%D0%BA%D1%80%D0%B0%D1%97%D0%BD%D1 ％81％D1％8C％D0％BA％D0％B0_％D0％BC％D0％BE％D0％B2％D0％B0 ' ）
8. ）;
9. //感度のしきい値、定義する言語に何％の文字が必要か
10. public $ detect_range = 75;
11. //多言語ドキュメントを処理し、使用される言語の配列を返すかどうか
12. public $ detect_multi_lang = false ; //まだ実装されていません
13. //すべての結果と確率を返します
14. public $ return_all_results = false ; //実際の使用では、無効にする方が良い
15. //ルールと例外の追加システムを使用します
16. public $ use_rules = false ;
17. //ルールのみを適用します（はるかに高速ですが、結果は少なく、テキストが多いほど信頼性が高くなります）
18. public $ use_rules_only = false ;
19. //統計よりもルールの優先度-
20. public $ use_rules_priory = true ; // true-統計に関する規則、false-規則に関する統計
21. //最初のルールまたは最大一致のみを検索しますか？
22. public $ match_all_rules = false ; // 1つだけ= else
23. //アルファベットの％または各アルファベットの文字の総数を使用します
24. public $ use_str_len_per_lang = true ; // true-優先度よりもテキストの全長をアルファベットの文字の％よりも使用し、false-その逆
26. //検出のための最小文字列長
27. public $ min_str_len_detect = 50;
28. //通常のパフォーマンスを確保するために、比較する文字の最大長を指定します
29. public $ max_str_len_detect = 1680; //
32. //内部の非変数-定義で使用されるアルファベットの表
33. private $ _langs = array（
34. 'en' =>配列（ 'a' 、 'b' 、 'c' 、 'd' 、 'e' 、 'f' 、 'g' 、 'h' 、 'i' 、 'j' 、 'k' 、 「l」 、 「m」 、 「n」 、 「o」 、 「p」 、 「q」 、 「r」 、 「s」 、 「t」 、 「u」 、 「v」 、 「w」 、 「 x ' 、 ' y ' 、 ' z ' ）、
35. 'ru' =>配列（ 'a' 、 'b' 、 'c' 、 'd' 、 'd' 、 'e' 、 'e' 、 'w' 、 's' 、 'and' 、 'i' 、 「k」 、 「l」 、 「m」 、 「n」 、 「o」 、 「p」 、 「p」 、 「s」 、 「t」 、 「y」 、 「f」 、 「x」 、 「 c ' 、 ' h ' 、 ' w ' 、 ' u ' 、 ' b ' 、 ' s ' 、 ' b ' 、 ' e ' 、 ' u ' 、 ' i ' ）、
36. 'ua' =>配列（ 'a' 、 'b' 、 'c' 、 'd' 、 'ґ' 、 'd' 、 'e' 、 'є' 、 'w' 、 's' 、 'and' 、 「і」 、 「ї」 、 「y」 、 「k」 、 「l」 、 「m」 、 「n」 、 「o」 、 「p」 、 「r」 、 「s」 、 「t」 、 「 y ' 、 ' f ' 、 ' x ' 、 ' c ' 、 ' h ' 、 ' w ' 、 ' u ' 、 ' b ' 、 ' u ' 、 ' i ' ）
37. ）;
39. //ルールを保存します
40. //ルールは文字または行であり、その存在（いずれかまたはすべて）は自動的にテキストの識別を伴います
41. private $ _lang_rules = array（
42. 'en' =>配列（ 'th' 、 'ir' ）、
43. 'ru' =>配列（ '' 、 '' ）、
44. 'ua' =>配列（ 'ї' 、 'є' ）
45. ）;
48. //クラスコンストラクター
49. パブリック 関数 __construct（）
50. {
51. trueを 返し ます 。
52. }
55. //保存する入力文字列を準備します
56. プライベート 関数 _prepare_str（$ tmp_str = null ）
57. {
58. if （$ tmp_str == null ） falseを 返し ます ; //何も渡されない場合、終了します
60. $ tmp_str = trim（$ tmp_str）;
61. $ tmp_encoding = mb_detect_encoding（$ tmp_str）;
63. if （mb_strlen（$ tmp_str、$ tmp_encoding）> $ this-> max_str_len_detect）
64. {
65. //パフォーマンスのために、テキストの長さをトリミングします
66. $ tmp_str = mb_substr（$ tmp_str、0、$ this-> max_str_len_detect、$ tmp_encoding）;
67. }
68. 他に
69. if （mb_strlen（$ tmp_str、$ tmp_encoding）<= $ this-> min_str_len_detect） false ;
71. //エンコードを変換します
72. $ tmp_str = mb_convert_encoding（$ tmp_str、 'UTF-8' 、$ tmp_encoding）;
74. //すべてを小文字にキャストします
75. $ tmp_str = mb_strtolower（$ tmp_str、 'UTF-8' ）;
77. return $ tmp_str;
78. }
80. //ルールに従って言語を決定する機能
81. //ルールは言語を明確に決定しますが、省略できます:)
82. プライベート 関数 _detect_from_rules（$ tmp_str = null ）
83. {
84. if （$ tmp_str == null ） falseを 返し ます ; //何も渡されない場合、終了します
85. if （！is_array（$ this-> _ lang_rules）） return false ;
87. //すべてのルールを反復処理します
88. foreach （$ this-> _ lang_rules as $ lang_code => $ lang_rules）
89. {
90. $ tmp_freq = 0;
92. foreach （$規則としての $ lang_rules）
93. {
94. $ tmp_term = mb_substr_count（$ tmp_str、$ルール）;
96. if （$ tmp_term> 1） //つまり、文字列内の文字が1回以上
97. {
98. $ tmp_freq ++; //この行にある言語文字のカウンターを増やします
99. }
101. //今確認する
102. if （$ this-> match_all_rules === true ）
103. {
104. //すべてのルールが一致する必要があります
105. if （$ tmp_freq == count（$ lang_rules）） return $ lang_code;
106. }
107. 他に
108. {
109. // 1つで十分です
110. if （$ tmp_freq> 0） return $ lang_code;
111. }
112. }
113. }
115. falseを 返し ます 。
116. }
118. //テーブル言語定義関数
119. プライベート 関数 _detect_from_tables（$ tmp_str = null ）
120. {
121. if （$ tmp_str == null ） falseを 返し ます ; //何も渡されない場合、終了します
123. //比較する前に文字列を処理する必要があります
124. //すべての言語を反復処理し、各言語の確率を決定します
125. $ lang_res = array（）;
127. foreach （$ this-> lang as $ lang_code => $ lang_name）
128. {
129. $ lang_res [$ lang_code] = 0; //デフォルト0、つまりこの言語ではない
131. $ tmp_freq = 0; //現在の言語の文字の頻度
132. $ full_lang_symbols = 0; //この言語の合計文字数
134. //文字列の長さは任意であり、アルファベットは同じであるため、アルファベットの循環
135. $ cur_lang = $ this-> _ langs [$ lang_code];
137. foreach （$ cur_lang として $ l_item）
138. {
139. //文字列内の文字の出現回数を確認します
140. $ tmp_term = mb_substr_count（$ tmp_str、$ l_item）;
142. if （$ tmp_term> 1） //つまり、文字列内の文字が1回以上
143. {
144. $ tmp_freq ++; //この行にある言語文字のカウンターを増やします
145. $ full_lang_symbols + = $ tmp_term;
146. }
147. }
149. if （$ this-> use_str_len_per_lang === true ）
150. {
151. //合計文字数を使用します
152. $ lang_res [$ lang_code] = $ full_lang_symbols;
153. }
154. 他に
155. //アルファベットのすべての文字の割合を計算します
156. $ lang_res [$ lang_code] = ceil（（100 / count（$ cur_lang））* $ tmp_freq）;
158. }
160. //それでは、何が起こったのか見てみましょう
161. arsort（$ lang_res、SORT_NUMERIC）; //言語の最初の要素で配列をソートします
163. if （$ this-> return_all_results == true ）
164. {
165. return lang_res; //すべての結果を返す場合-戻る、そうでない場合は最良を選択する
166. }
167. 他に
168. {
169. //指定したしきい値より大きい場合は言語コードを返し、そうでない場合はnull（つまり、言語コードを特定できない）
170. $ key = key（$ lang_res）;
172. if （$ lang_res [$ key]> = $ this-> detect_range）
173. $キーを返します。
174. 他に
175. falseを 返し ます 。
176. }
178. }
181. //言語を決定するための一般的な機能
182. パブリック 関数 lang_detect（$ tmp_str = null ）
183. {
184. if （$ tmp_str == null ） falseを 返し ます ; //何も渡されない場合、終了します
186. $ tmp_str = $ this-> _ prepare_str（$ tmp_str）;
188. if （$ tmp_str === false ） return false ;
190. //テーブルの前にルールを適用する場合
191. if （$ this-> use_rules_only === true ）
192. {
193. $ res = $ this-> _ detect_from_rules（$ tmp_str）;
195. return array（$ res、$ this-> lang [$ res]）;
196. }
197. 他に
198. {
199. //テーブルを使用する場合、結果に応じて完全なレイアウトを取得できないため、オフにします
200. $ this-> return_all_results = false ;
202. $ res = $ this-> _ detect_from_tables（$ tmp_str）;
204. if （$ tmp_str === false ） return false ;
206. if （$ this-> use_rules === true ）
207. {
208. $ res_rules = $ this-> _ detect_from_rules（$ tmp_str）;
210. //ルールの優先度設定と統計から進みます
211. if （$ this-> use_rules_priory === true ）
212. {
213. //ルールは統計よりも重要です
214. return array（$ res_rules、$ this-> lang [$ res_rules]）;
215. }
216. 他に
217. {
218. return array（$ res、$ this-> lang [$ res]）;
219. }
220. }
221. 他に
222. return array（$ res、$ this-> lang [$ res]）;
223. }
224. }
225. }

*このソースコードは、 ソースコードハイライターで強調表示されました。

PSもちろん、コードは完全であると主張していません。おそらく、ネットワークには、この機能の実装が既にありますが、私は発見していません。 よく知られている実装を知っているなら、コメントで教えてください。 元の記事は私のブログに掲載されています。