「ウクライナ語の周波数分析」というメモに関する解説

記事「ウクライナ語の頻度分析」[1]の解説として、文字ペアの頻度に関する簡単な観察結果が示されています。 開発した手法をテキストの分析に適用することが提案されています。 主な仮説：多くの幾何学的に接続されたシンボルクラスタは、著者情報やその他の重要な積分データに関する情報を保持しています。

特に、ネイティブスピーカー（フォーラムなど）のさまざまなコミュニティに同じスペクトルのダイグラムを期待するのは理不尽に思えます。

やる気

ウクライナ語の頻度に関するメモの著者は、彼の計算の動機を与えていません。 文字の頻度、および言語内のペア、文字のトリプルの分析は、単純なパスワードの解読と同様の暗号解読タスクの目標によって開始されたようです。

約6〜7年前、友人と私は同じような、しかし野心的ではない計算を行いました。 私たちの動機はアマチュアで原始的でしたが、異なっていました。 私たちが信じていたように、これらの計算は、テキストから人にとって意味のある情報の選択を機械で決定しようとする試みの最初のステップになる可能性があります。 （後に、彼らは、最も興味深い部分で、オリジナルではないことが判明しました[1-3]）。



マシンは「読む」ことができ、文字や句読点の文字を知っていて、頻度を数えることができるなどと想定されていました。 しかし、彼は、テキスト全体に関する一般化された不可欠な情報を得るために、特に「考える」方法を知りません。 善悪とは何か、何が誰と議論されているかなど タスクは、テキストの構造を調べ、文字レベルでは埋め込まれていない頻度から意味のある情報を抽出できる「アルゴリズム」を選択することです。 人間の観点から、たとえば、学習体験をオフにして、私たちにははっきりしない連続したキャラクターのグループの意味を理解してみてください。 たとえば、a、b、cなどのすべての文字をx、y、z、アルファ、ベータ、ガンマ、またはより適切にはバビロニアのウェッジとしてエンコードします。 その後、テキスト全体について何が言えるかを尋ねます。 明確ではありませんが、ほぼ同じ分野で問題はDNAを取得し、4文字の長いシーケンスで「意味」を見つけることであると考えられています。

非常に狭い意味での重要な情報は、テキストと他のテキストとの類似性、著者、テキストのリズムと速度などです。 私たちはそのような原始的な問題を解決することであまり進歩することができませんでした。 いくつかの所見がありますが、さらに多くの質問があります。 このタスクは意味があり、部分的に解決可能であると信じたいです。 単純な推定（英語のテキストに基づく）の後、このような原始的な周波数解析を行いました。 最初に、D。Londonの同名の小説に登場するWhite Fangキャラクターセットの外観図を見てみました。 最初の部分の犬の名前は完全に欠けていました！ そして、本の主要部分である小規模では、もちろん、単語の密度の変動はノイズに圧倒されました。 しかし、小説の冒頭にある「White Fang」という単語の厳密にゼロの頻度がプロットと相関していることは明らかでした。 主人公が生まれていないか、そのように命名されていないか、小説がいくつかの部分で構成されている（牙についてか牙についてではない）かのどちらかという明確な感覚がありました。 このような結論を厳密と呼ぶことはおそらく不可能です。 それにもかかわらず、「白い牙は最初の章で言及されていない...」という言葉は、テキストに関する人間の反応の通常の部分であると考えられています。 不完全で、原始的なだけでなく、マシンの「分析」にも数ミリ秒かかり、アルゴリズムはまったくありませんでした。 第二に、最後のハリー・ポッターの本のキャラクター名の出現の統計は、頻度と、いつ、誰とハリーが近づいたか（テキストでは幾何学的に、しかし意味では判明した）でのみ追跡することが非常に可能であることも示しましたロンとホグワーツは、ヴォルデモートが登場したときなど、ハリーからプロットを落としました。 つまり 「ハリー」という言葉を取り、ページ上の幾何学的な近隣の他のキャラクターの密度を見ると、「プロット線」について非常に曖昧で曖昧な結論を引き出すことができます。

技術的な挑戦

主人公を識別するための最初のステップは、文字の頻度を研究するための技術の開発です。 この最初のステップで、私たちの業績は概ね終わりました。 当時のインターネットは高額だったため、フォーラムやメディアの徹底的な分析は行いませんでしたが、レオトルストイの小説からダリアドンツォヴァの探偵まで、1人の著者による本を含むテキストファイルを取りました。 合計で300Kbから数百冊の本がありました。 グラフォマニアックな作家が個々の文字の頻度で彼らの作品に明らかな相関関係を持っていたことは興味深いことが判明しました。 特に、文字のスペクトル系列は、「イロニック探偵」の多作な著者を示していました。

次のステップは、隣接する文字のクラスターを調査するテキストのスペクトル構成をテストすることでした。 特に、最も単純なジオメトリで問題を計算しました。最も近い有効な文字「aa」、「ab」、「av」、...、「yaya」のペアの正規化された頻度です。 シンボルペアの最も頻度の高い組み合わせの中で、最初の30〜60が区別され、異なるテキストで比較されました。 相対指標-頻度をペアの合計頻度で割ったものが考慮されました。 300〜400 Kbのテキストの問題の統計的合計は非常に大きいことが判明しました。 より具体的には、三部作「子供時代」、「思春期」、「若者」の頻度が取られ、それに対して他の作品の頻度の変動が見られました。 結果は、特に、ロシアの文学言語の創始者によって認識された著者の間でさえ、異なる著者の間でスペクトルの大きな違いを示しました。

これまで知らなかったロシア語のしっかりと確立された「法律」の1つは、すべてのテキストの大きさの順序でのテキスト内のコンマの数が、最も頻繁に発生する隣接文字のペアの数に匹敵するという事実です。 これは原始的な知識である可能性がありますが、私たちにとっては「発見」であり、少なくともその重要性は強調されていません。

残りの観測はそれほど正確ではありませんでした。 特に、同時代の作品（初期のチェーホフ、または後期のチェーホフ、初期のトルストイまたは後期）の優れた作家は、目を引くスペクトル曲線さえ持っていました。 ただし、これらの著作権曲線は他の著者の曲線とは異なりました。 現代の作家に関しては、 彼らのテキストの曲線の相関関係は、この作家がより「ジャンク」と見なされるほど強くなりました。 この結論はいくつかの例に基づいてなされたものであり、厳密ではありません。 たとえば、サミダットの新人のさまざまなグラフォマニアの作品の曲線は、ほぼ重なり合っていました。 同じことは、たとえば、アクニンのファンドリン、初期および中期のルキヤネンコの空想科学小説、マリニンの探偵など、より高度な作品にも言えます。 クラシック、特にドストエフスキーは自分自身に非常にひどい嘘をついた。 特別な最後の期間であるトルストイの小説は、著者のスペクトルからノックアウトされました。 すべての著者を説明するために、曲線を著者クラスに分離するために、曲線の近接性の異なる定義を試す必要がありました。 ただし、一般に、スタイル決定手法は機能しました。 ほとんどの場合、異なる著者のスペクトル曲線を互いに分離することができました（100人を超える著者）。

私たちのアプローチでは、3つの隣接する文字のクラスターを含めても、著者のスタイルの定義に重要な定量的修正は加えられませんでした。 の違い
句読点の頻度。 （Khmelevとフォロワーの作品では、トライグラムが基礎として採用されました[2-4]）。 「1つを介して」ペアをカウントするとき、および他の簡単な修正で構造も観察されませんでした。

隣接する文字のペアのクラスターがテキストで多くのことを明らかにする理由、これは一般的に謎です。 頻度に関する元の投稿へのコメントには、次のようなコメントがありました。

ロボテックス
ちなみに、誰かが音素シーケンスを変換する方法を知っていれば（それによって、それらを繰り返すことができます、つまり、単語momはプログラムをmmmmmmmaaaaaaaammmmmmmmmmaaaaaaとして認識します）、それから私はそれを読んでうれしいです（今のところ停止しました）

元の質問を正しく解釈していない可能性があります。 ただし、この例では、一連の文字の重要な部分を強調表示する際に、文字の正確なペアの重要性を明確に示しています。 ペアを検討すると、大きな言葉で「mm」、「ma」、「am」、「aa」のクラスターがあることがわかります。 低頻度の「mm」と「aa」を折り返すと、2文字の組み合わせがすべてカウントされる場合、「ma」と「ma」、または「ma」、「am」、「ma」になります。 「mother」という単語は、 2文字の高周波パケットの観点から、mmmmmmmaaaaaaaammmmmmmmmaaaaaaa と同じスペクトルを持っていることは明らかです。 元のパスワードを推測してパスワードを解読するには、もちろんこれは役に立ちません。 ノイズクリッピング、元の分析の観点から、それはうまくいくようです：余分なaとmは新しい情報を伝えません。

意味の面では、ロシア語で単語を文字のペアに分割することは、音節に分割することにかなり近いです。 ひらがなのようなアルファベットがあり、正確なペアには基本要素の意味があることに注意してください。 「頻度」という言葉を使用します（他のものも使用できます）。 ペアクラスターのアプローチでは、「cha」、「ac」、「that」、「from」、「us」、「oh」に分かれます。 まれな例外（nnなど）を持つ子音と子音のペアは、バックグラウンドとのマージによりスペクトルから外れます。 大ざっぱに言えば、子音と子音のペアを捨てることができ、原作者とスタイルに関する結論は変わりません。 したがって、子音と母音のペアのみが残ります。これは、言語によって作成された音に対応します。 句読点（吸入や呼気の時間など）を含めることで、おそらくペアの分析が音節や口頭での会話の分析にさらに近づくでしょう。

昔ながらのコマーサント語またはウクライナ語「i」、ロシア語またはウクライナ語の言語は、この著者のスペクトル曲線に影響を与えなかったという結論も楽しかったです（例としては、ブニンのみが取り上げられ、著者に関する統計はありません）。 原作者およびテキストのスタイルに対する英語からの翻訳の効果を検証することはできませんでした。 英語のテキストのみの分析は、ハリー・ポッターとジャック・ロンドンのいくつかの作品に限られていました。 繰り返しますが、統計は収集されませんが、これら2人の著者の2つの象徴的な相関関係も表示されました。

最初に、インターネットでの検索でも、マルコフ自身が興味を持ったMorovozym [1]を含むテキストの頻度の同様の分析が前世紀の初めから行われていることを示したため、タスクを放棄しました。 このスコアにはフォメンコフ主義もありました。 トライグラムに基づいてテキストの原作者を決定する可能性についてのまさに結論は、D。Khmelevによって2000年の領域ですでに定式化されました[2,3]。 他の著者による作品がありました。たとえば、[4]を参照してください。 もちろん、Khmelevの作品には、テキスト不変量、マルコフ連鎖、遷移行列の対角化などに関する単語が含まれていました。 実際、スタイルを決定するための最も一般的な文字のトリプルの重要性について、同様の声明が出されました。 これらの作品には多くの質問があります。 ドストエフスキーがどのように、例えば三gram星によって捕らえられるかは、私たちには明らかではありません。 等

数学用語がなくても、文字のペアは多くの著者にとって非常に類似したスペクトルグラフを与えることがわかります。 定量的には、著者の範囲の数値は、2つのグラフの近接性がどの程度正確に決定されたか、2次誤差がポイントワイズ、キュービックなどのいずれで取得されたかに大きく依存しました。 しかし、これらは詳細です。 「スタイル」のパターンが文字と句読点のペアのレベルにあるという事実は非常に明白です。 小説が「プロジェクトの黒人」によって書かれたとき、例に明示的なパンクが観察されました。 翻訳された本も問題でした。

一般に、6年前の結論は、これらのタスクはすべてオリジナルではなく、「研究」を続ける意味はないというものでした。 もちろん、このような周波数はサイトでここで議論された可能性があります。 私たちが気づいたのは、ダイグラムの分析において、句読点を考慮して著者の重要な違いが得られることでした。 ある程度、句読点の割合はテキストのペースの尺度です。 トライグラムを考慮する場合、句読点は統計に含まれない可能性が最も高く、これは、私の意見では、重要な情報の間違いと損失です。

言語がいくつかの記号の頻度のみで構築され、客観的な量的特性と法則が存在しないという事実は、非常に不十分に信じられています。 過去数年間の分析の複雑さのため、誰も見ていないと信じられています。 しかし、テキストの組織化の原則、ロシア語の記号の幾何学のさらなる調査では、明らかな結果は得られませんでした。 たとえば、仮説の1つは、同じ文内の同一クラスターの存在、たとえば同じ文内のペア「ma」がテキストとスタイルの重要な特性であるというものでした。 例えば、学校では、彼らは隣にある文章で「どちら」を二度と言ってはいけないと教えています。 または、主人公の名前を繰り返します。 いくつかの文字を繰り返すことは、テキストの質の低さの基準として機能し、メロディーに違反するなどと考えられていました。 同じ子供の「母」、「父」、「女性」という言葉：もたらされる新しい情報の観点から、2番目の「ma」、「pa」、「ba」は不要であることは明らかです。 点で区切られていない「ma」の多くも避けるべきです。 したがって、そのような組み合わせは、強化された-削減された貢献-2、3回などで撮影されました ただし、この仮説は明確に定式化された新しい結果をもたらしませんでした。 古典の分析は、多くの作品が2つのポイントの間の二重を含むことを示しました。 もちろん、そのようなレベルでのジオメトリの複雑さは、すぐに詩をキャッチしましたが、これはすでに明らかです。

テキストの構造をより微妙に研究する必要がある可能性があります。 または、まったく異なる方法でタスクを設定します。 残念ながら、私たちの環境で問題を真剣に受けとめる有能な専門家は一人もいませんでした。 科学がすでに知っていることは理解できませんでした。 モスクワ州立大学のメヒマスの人々は、「これはすべて100年前にバウマンで行われた」と言っており、したがって無関係です。 しかし、バウマンカなどから出版されたテキストや人々を見つけることができませんでした。

おそらく新しい挑戦

私たちの「実験」も、プログラミングの基礎知識の欠如とインターネットの高コストのために進歩しませんでした。 プログラムと機器の原始的な性質のため、500ページのテキストの分析には数分かかり、コンピューターなどにハングアップしました。 インターネットを介したギガバイト単位のテキストの自動で無料のダウンロード、htmlタグの分析などは考えられませんでした。 つまり 上記の結論-これは私たちの技術的限界でした（そしてそれです）。

ただし、ロシア語のテキストの幾何学的構造を研究するタスクは、当初（もちろん、真剣ではなく）より広く設定されました。

コミュニティの誰かが仮説をテストできるようになる可能性があります...これは、すべてのオンラインコミュニティ、新聞などの事実にあります。 独自のスペクトルがあり、 定量化するのは興味深いでしょう。

具体性と活力のために、1つまたは別の大規模なサイトが政治家、企業、現象にどのように関係するかという問題を考えてみましょう-「XYZ」など。 「XYZ」という文字の組み合わせがよく見られるサイトの多くのWebページの中には、文字、単語の特徴的なクラスターの対応する環境も存在するという明らかな考えがありました。 たとえば、コミュニティである出版物は、XYZブランドに対して否定的な態度を持っています。 理論的には 、このシンボルの組み合わせと幾何学的に近いページで、平均して、「崩壊」、「破滅」、「危機」、「衰退」、落下する飛行機の写真、沈没した船などの正確に負のシンボルが立つはずです。 別のコミュニティでは、「XYZ」の組み合わせの隣に、平均して、「自信」、「進行」、「達成」など、良いシンボルがより近くに立つことができます。

一般に、このようなリソースの分析は、インターネットの効率化に役立ちます。 これは、もちろん、テキスト情報の意味を認識する問題からはほど遠いですが、コミュニティ、マシンに関する何らかの新しい知識もそのようなジオメトリから得られるべきです。 次の意味です。 言語の文字の頻度との類推により、テキスト分析の最も単純なタスクは、もちろん、重要な単語の頻度、セマンティックコアの構造、またはタグクラウドを計算することです。 太く、色を付けて、斜めに余分な重量をかけるのは完全に賢明です。 これはGoogle、Yandex、すべてseoshnikiによって行われ、現在行われています。 次のステップは、セマンティックコアのジオメトリを含めることです。 キャップに近いという言葉は、重量が大きく、地下に近いことを意味します-低い。 ヘッダー内または本文内。 また、これは検索エンジンによるランキングおよび発行時にも行われます。

しかし、リーマンの意味では、メトリックが含まれています、すなわち 機械でテキストを評価する際の重要な単語間の幾何学的距離（たとえば、ページの二乗平均平方根距離、クリックの距離など）、私はまだ知りません。

SEO初心者向けの無料のオンラインツールでも、Webページのテキストから重要な単語を除くすべてを消去できます。 大きなテキストから、意味のある単語のフレームが残ります。 このスケルトン内の何かは、1つの量だけでなく、頻度である必要があります。 たとえば、相対距離。 ただし、このようなスケルトンを使用して、テキストのこのような基盤を使用して、さらなる計算作業が実行されるかどうかはわかりません。 私たちのほとんどが「斜めに」読むため、検索エンジンがテキスト編成の法則を研究することは自然に思えます。 不要なものをすべて削除した場合、著者がテキストで何を言いたかったかを判断するための何らかの手段が必要です。 しかし...検索エンジンには数十億のページがあり、そのような分析がGoogleのような巨人にとっても技術的にすでに可能であるという事実はまったくありません。 つまり タスクの規模は検索エンジンの標準（数十億ページではなく、数千ページ）よりもはるかに小さいですが、分析はより深いものになります。 さらに、この方向は、インターネットのハイパーテキスト構造によって大幅に抑制される可能性があります。 誰が誰を参照し、誰が信頼ネットワークに入るかを追跡する方がはるかに効率的です。 しかし...リンクには、検索エンジンが独自の目的で活用するウェブマスターの自然な知性が含まれています。 機械自体がテキストについて結論を出す能力も必要になる場合があります。

おわりに

ロシア語には、文字の頻度に基づいた客観的で統計的に決定可能な内部構造があると主張されています[1-4]。 以前の作品[1-4]とは異なり、私たちの声明の残りの「新規性」は、この場合、テキスト内の隣接する文字と句読点のペアの頻度の役割が重要であるということです。 テキストを分析するとき、言語学者は漠然と「ユニークなリズム」、「読みやすさ」に言及します。 句読点の頻度は、他の要因とともに、リズムの同等の定量的記述を提供する可能性があります。

言語の頻度の研究に注意を払うことを提案します。これは、ウクライナ語の頻度に関する元の研究から始まりましたが、個々のコミュニティのテキストから重要な情報を強調する目的で。 つまり、ロシア語のインターネット全体の頻度を平均するのではなく、同じ不変条件を特徴とするセクターに分割します。

新しいパラメータ、つまり文字間の相対的な距離を導入することにより、テキストのジオメトリを調査しようとすることが提案されています。 N文字に（N-1）文字があります！ 接続、および各接続にはまだ重みがあります。 したがって、技術的には、このような分析は、周波数の単純な計算よりもはるかに複雑になる可能性があります。

アイデアが完全に些細で独創的ではない可能性があります。 ここでの実用的な価値は、ツルゲーネフの小説の分析ではなく、2012年の特定の大統領候補の人気メディアやコミュニティによる特定のインフォグラフィック、特定のオンライン出版物における特定のブランドの広報または反広報などであったことは明らかです。 しかし、全体として、それ自体が興味深いタスクになる可能性があります。

このようなタスクには、まず、周波数に関する元の投稿の著者が使用したインターネット技術の習熟が必要です-ギガバイトのテキストをダウンロードする機能、周波数のデータセットをすばやく分析する機能、カオスの一般的な特徴を見つける機能など 同じhtmlタグは、テキストのジオメトリに多くを与えます。

同じ技術的な、インターネットコンピューターの理由で、そのような問題は、専門の数学者や言語学者によってほとんど研究されないかもしれません。 したがって、このようなタスクは、言語学や数学のいずれも知らないIT専門家による研究に適している場合があります。

参照資料

[1] professor_k 「ウクライナ語の周波数分析」

[1] Morozov N.、「言語スペクトル：盗作を、1人または他の未知の著者の真の作品と区別する手段」1915;

[2] Khmelev D. V.チェーンを使用したテキストの著者の認識A. A. Markova //モスクワ州立大学紀要、ser。9：文学。 「-2000」-N 2.「-S. 115-126。

[3] Khmelev D.、Tweedie F.作家の識別のためのマルコフ連鎖の使用//文学および言語計算。 「-2001.」-Vol。 16、いいえ。 4.「-Pp。299-307。

[4] Romanov AS、Meshcheryakov RV、2つの可能な選択肢の場合の参照ベクトルの装置を使用したテキストの著者の識別。