女性は何について話しているのですか？ （美容ブログのテキストマイニング）

CleverDATAチームの手にはユニークな素材がありました-美容業界に特化した約10万ページの英語のブログ。 この建物は、ブロゴスフィアが「機能する」法律を見つけたいというある化粧品会社の要望のおかげで私たちに来ました。 同社は、美容ブロガーとより効果的に交流したいと考えていました-忠実な著者の良い手に彼らの製品を与えることによって、より大きな広告効果を得るために。


出所

ほとんどの企業は、マーケティング担当者の直感とプロ意識に基づいてブログレビューに製品を追加しています。 実際、統計や分析的計算のないブロガー、友情、契約との個人的な知り合いは非常に信頼できないことがあるため、ブランドは盲目的に動きます。

すぐに言いますが、次のことがわかりました。

• 美容業界のブログは、主にポジティブな感情的なトーンで書かれています。
  
• 初心者ブロガーは高い感情を抱く傾向があります。
  
• マスターブロガーは狭い感情的範囲で働いています。
  
• 最もホットな議論は中規模のブログで行われますが、巨大なブログはブロードキャストツールになります。
  
• ほとんどの美容ブロガーは、ソーシャルネットワーク上の普通の人です。
  

この記事で取り上げる最も興味深い発見は、Webでの製品のプロモーションに何らかの形で関係しているすべての人に役立つと思います。 たとえば、ブログの人気はブロガーのアクティビティと、投稿の一般的な雰囲気に対する視聴者の反応に依存しますか。 そして、これに加えて、ブロゴスフィアの分析の例で、 テキストマイニングの可能性についてお話したいと思います。

このプロジェクトに取り組んでいる間、私たちは多くのアプローチとテクニックを開発しました。このケースでは良い結果を示しましたが、キャリブレーションなしで他の建物でそれらを使用するのは効果がありません。 したがって、コードは引用しませんでしたが、ケース自体、使用した方法、主な結論について詳しく説明します。

さあ、行こう！

テキスト情報が現代社会の主要な情報の1つであることは秘密ではありません。したがって、テキスト分析は暗黙のパターンを明らかにするだけでなく、商用アプリケーションにもメリットをもたらします。

データを収集する必要はありませんでした。ビューティーブログのクロールの結果、配列は以前に収集されました。 確かに、私たちのタスクでは、非常に粗雑であることが判明し、予備処理が必要でした。 さらに、テキストは当然マークアウトされていないため、教師と一緒に機械学習ツールを使用することはできませんでした。

超過分をカット

出所

美容ブログの配列は、約10万ページ、より正確には98 496で構成されていました。最初は嬉しかったです。10万ページは、今後の調​​査に適したケースです。 しかし、それは非常にうるさいことが判明し、クリーニング後は分析に適した59.6％しか残っていませんでした。

データの40.4％は空白で、エラーページ、英語以外のページ（23,461）、テキストのない写真およびビデオ素材（2,315）、techcrunch.comの記事は、美容業界とは関係ありません（明らかにこれはリソースです。素材を収集するクローラーがテストされ、ケース全体への貢献が顕著であることが判明しました-3.402ページ）。

もちろん、分析に適した6万ページ近くを自由に使えるようにすることも悪くありません。 約2,000のユニークなブログがこの大量のテキストに対応していることがわかりました。つまり、クローン化された類似の資料を除いて、2,000のユニークな著者がこの大量のテキストを作成しました。

著者は誰ですか？

出所

美容と健康をテーマにしたブログは、主に女性のトピックです。 英語圏のブロゴスフィア全体の正確な性別構成が問題である場合、化粧品と健康的なライフスタイルに関するブログでは、すべてが明確です。ここで著者と読者の大半は女性です。 これらの女性はブログで何について話しているのですか？ これは、ブロゴスフィアで美容製品を最も効果的に宣伝する方法を理解するために解決しなければならなかった主な問題です。 この重要な質問に答えるために、まずブログで女性がどのように言っているかを調査してみてください。

もちろん、ブロガーのオーサリングスタイルはさまざまです。 しかし、投稿のサイズに応じて、投稿者は2つのグループにまとめることができます。投稿が最大100ワード（全投稿者の20％）のミニチュアブロガーと、200〜500ワードのフルテキスト（〜80％）を好むブロガーです。

著者の冗長性と彼らの活動との相関関係は興味深いです。 これは、冗長よりも書かれた短い投稿が多いということではなく、Twitterで書くことのファンが多くの出版物を取り上げているということではありません。 まったくありません。 2つのグループの著者の活動は似ていることがわかりました。



分析の結果、積極的に執筆している著者はほとんどいないことがわかりました。 ブログが登場してから20人以下の著者が、ほとんどのブログで300を超える投稿を書くことができました。最大100の投稿は、通常の統計的規則性の枠組みに適合します。

ブログトーカー

ブログの議論を見て、40以上のコメントを投稿しているブロガーはほとんどいないことがわかりました。 ほとんどの著者の記事はそれほど活発に議論されておらず、出版物ごとに平均10〜20のコメントがあります。

感情的な配達

テキストの研究について話すときに最初に思い浮かぶのは、テキストの調性の分析、つまり、著者の感情の評価-肯定的か否定的かです。 感情的な着色の分析のモデルがこれまでに提案されてきました。 そのため、車輪の再発明を開始せず、既製のモデルを使用しました。

• Sentity（https://sentity.io/）、
  
• Twinword（https://www.twinword.com/）、
  
• Textualinsights（http://www.textualinsights.com/）、
  
• VivekN（ https://github.com/vivekn/sentiment-web ）。
  

感情色を評価するための各モデルは、独自のテキスト本文でトレーニングされました。 1つは短いテキスト（Twitterの本文で学習したとおり）で良い結果を出し、もう1つはより広範なテキスト（IMDBの本文）で結果を出しました。 各モデルには、ニュートラルテキストの色に関する独自の問題がありますが、4つのモデルを使用したため、互いの欠点の一部が滑らかになり、スムーズな分布が得られました。

4つの独立したモデルの組み合わせにより、感情的な色分けによる以下のテキストの分布が得られました。



0.72を中心とする非対称準正規分布と重い右尾が見られます。 これは、ブログの大多数が肯定的な感情的なトーンを持っていることを意味します。 平均的な感情色のポジティブな領域へのシフトは驚くべき事実であり、高い統計的有意性について語ることができ、ランダムに撮影された少数の女性のブログを読むことで簡単に確認できます。

ブロガーの活動別の分布（ページ数の分析）を見ると、感情色による最も多作なブロガーは、0.74±0.03という非常に狭い範囲で機能していることがわかります。



この場合、プロのブロガーが感情的な色の狭い範囲で作業するのは非常に興味深いです-聴衆の共鳴周波数を使用するかのように。 おそらくフィードバックシステムであることがわかります。中立的な記事を持つ著者は、コメントを通じて読者からフィードバックを受け取り、次回は観客の熱狂的な気分に適応します。

このような狭い範囲の気分は、職業上の変形に関連していると想定できます。 しかし、 競合他社のインターネット上のテキストの研究では、ポジティブな色付けは女性のコミュニケーションの特徴であり、男性の会話の感情的なトーンは中立に近いことが示されています。

議論

ブログの議論はその活動に依存していますか？ 驚いたことに、いいえ。 最も活発なブログでは、コメントが少なくなっています。

おそらく、これは、多くの視聴者を持つアクティブなブロガーがすでに彼らと議論するのが難しいほどの権限を獲得しているという事実によるものです。



感情的な色への議論の依存は、私たちにとって驚きでした。 ブログについて最も話題になっているのは、感情的な色の肯定的な領域です。 上記のグラフに示されているように、これらは最もアクティブなブログではないことに留意してください。 結論は明らかです。議論を引き起こすためには、何かを賞賛するだけでは不十分であることがわかります。

ブログの人気

ブログの有効性を評価するために、情報の普及の観点から（読むかどうか、再投稿するかどうか）、既成のツールを使用してインターネットトラフィックを評価しようとしました。

ネットワーク上の読者の数と引用を反映する指標の中で、以下を強調します。

Alexaランクは、訪問者数とサイトビュー数の一般的なカウンターであり、すべてのインターネットリソースから遠く離れてインストールされているため、そのデータを常に使用できるとは限りません。

Yandex Thematic Citation Index （TIC、Yandexテーマ別引用インデックス）は、他のサイトからのリンクの品質特性を考慮して、インターネットリソースの「信頼性」を決定しますが、Webの英語セグメントではあまり一般的ではありません

Google Page Rank-ブログへのリンクの数と質をカウントして、視聴者にとってのリソースの重要性を評価します。 ウェブサイトのプロモーションの主な指標です。 Google Page Rankの主な利点は、すべてのサイトに存在することですが、多くのWebページでは明らかに不十分です（これが最大の欠点です）。 さらに、ライセンス契約の条件により、Google Page Rankの使用には制限があるため、Googleのような研究にも使用できません。

上記のすべてが選択を決定しました。YandexTICとAlexaRankを試しました。 これらの測定基準はすべて、聴衆の量（著者の引用回数、読み量）に関連しており、独自の欠点があるため、網羅的であると主張することはできません。 したがって、著者の人気を評価するための追加のツールを探す価値があります。

著者の人気をどういうわけか測定するために、 Kloutスコアに頼りました。 この指標は、ソーシャルネットワークで、その人の社会的つながりや投稿の引用など、人の影響を評価するために使用されます。 この指標は、以前の指標とは無関係に、読者の視聴者とソーシャルネットワークの再投稿数の両方を推定します。 2011年に注目度の高いケースがKloutスコアに関連付けられたことは注目に値します。2社の候補者は、1社の副社長の職に応募しました。しかし、強力な切り札を持っている-67に等しいKloutスコア。この場合、より高いKloutスコアを持つ候補者が位置を獲得しました。 私たちの場合、著者の平均Kloutスコアは40.1であることがわかりました 。 おそらく、15年の経験を持つ副社長にとっては、このようなKloutスコアは低くなりますが、ブロガーにとってこれは正常です。調査対象の美容ブロガーは、巨大な社会的クラスターの中心ではありません。 。



Kloutスコアと感情色の関係をトレースすると、興味深い傾向を見つけることができます。



グラフは、Kloutスコアが低いブロガーのグループがあり、感情的な色が「共鳴」値よりも明らかに高いことを示しています。 これは、そのような著者が執筆を始めたばかりであることを意味します（したがって、記事はほとんどありません）が、テキストの感情的な色付けは誇張されています。 おそらく、これは新しいアクティビティに関連する心理現象です。著者は意図的に装飾しようとしている、または「ピンクのメガネ」を持っている、つまり 彼自身はかなり高めの気分です。 いずれにせよ、著者が執筆を続けると、コメントのフィードバックにより、より低い感情に進化します。

ブランドで働く

私たちは商標を使って作業しましたが、その本当の名前はもちろん開示しませんが、便宜上、この記事では「Baba Yaga」と呼びます。 このブランドのすべての製品には、たとえば「ババヤガフェイスクリーム」のように、詳細な名前が付けられています。

テキスト全体にファジー文字列照合手法を適用し、すべてのテキストでブランドとその製品への参照を見つけようとしました。

ファジー文字列照合は、単語の文字の違いを示すレーベンシュタイン距離分析に基づいています。 厳密に言えば、レーベンシュタイン距離は、1つの単語を別の単語に変換するために必要な1つの文字の変更（削除、置換、追加）の最小数を決定します。 Python fuzzywuzzyモジュールを使用して取得された距離は、0〜100の範囲で正規化されます。したがって、完全に異なる単語は0に等しい類似性尺度を持ち、同一の単語は100に類似する類似性尺度を持ちます。たとえば、パンとビールの場合、類似性の尺度はゼロになります。パンからビールを得るには、4文字すべてを置き換える必要があります。

ブランド製品名が幸運だったことに注意してください。 それらは単音節ではありませんでした（有名な石鹸「ボアコンストリクター」のような）が、製品の種類と部分的な目的を理解できるいくつかの単語、例えば「フェイスオイルババヤガ」で構成されていました。 ファジー文字列マッチングを使用すると、「フェイスオイル」など、適切な設定で部分的な言及をキャッチできます。

お探しの製品がファジィ文字列マッチングの指標で90％言及されている投稿は「良い」とマークされました。 ブランドには約100の製品があったため、各記事は各製品に対して100回以上テストされました。

著者の関連性の評価は、すべての「良い」記事の合計とみなされました。 記事数の正規化は意図的に導入されたものではないため、より多くの記事を持つ著者が先に進みます。

その後、結果の評価の自然対数を使用しました。 たとえば、30、10、および5つの「良い」記事を持つ著者は、3.4、2.3、および1.6の適切な関連性評価を受けました。

ただし、多数の記事と多数の製品により、アプローチは簡単です。多数の法則とCLT（中心極限定理）が機能し始め、合理的な見積もりを受け取りました。

プロセスを高速化し、精度を向上させるために、Word2Vecモデルを使用して取得した距離の使用に切り替えましたが、最初のアプローチでも、さらなる作業に使用できる結果が得られました。

著者の評価

これらの手法に基づいて、著者の評価を作成しました。 以下に基づいています。

• ブログ投稿の数
  
• コメント数
  
• AlexaRank + YandexTICメトリック、
  
• ブランド製品とブログの関連性、
  
• 感情色
  
• Kloutスコア。
  

投稿数が500を超えるアクティブなブログと、投稿数が100未満の非アクティブな著者の両方が存在するため、ページ数の多いブロガーを優先することはありません。コメント数の優先順位もありません。 感情的な色に関しては、すべてポジティブであり、0.70から0.78の範囲で機能します。

リストのリーダーを慎重に研究しました。 彼は私たちのブランドに関する記事を発表したことが判明しました。 特定の製品の分析や説明なしで、ブランド全体に対する称賛の歌でした。

それで、ブロガーの評価が構築されました。今、あなたは著者とレビューのために彼らに与えることができる製品をつなぐ必要があります。 これを行うには、次のものが必要です。

• レビューする製品を選択し、
  
• 著者の主要なトピックを強調し、
  
• 選択したトピックを製品名に一致させる、
  
• 製品とブログの間の最適な接続を見つけます。
  

宣伝する製品の選択

プロモーション用の製品はほぼ任意に選択されました。 実際、彼らの販売統計が他の製品と比べて著しく際立っていたという事実のために、選択は彼らに落ちました。

最初の2つの製品は非常に人気があったため、潜在的なバイヤーの数をさらに増やすことができました。


2番目に選択した2つの製品は最近市場に参入し、まだその潜在能力を十分に発揮する時間がありませんでした。 プロモーションは間違いなく彼らを傷つけません。 これらの製品は、販売数に対する製品の価値のグラフで際立っています。

原則として、このような分析はどの製品でも実行できます。 特定の製品の選択は基本的ではありません。

著者とそのトピック

各著者のブログでは、ブランドプロモーションに興味深いトピックを見つけることができます。 そして、著者は一般的に何について書いていますか？ 各ブログのトピックのリストを見つけるために、各行が投稿に対応するマトリックスを作成し、列のキーワードを示し、セルの色はTF-IDFインデックスを示します（TF-IDFメソッドの使用については、 こちらとこちらをご覧ください ）-周波数応答キーワード。 したがって、セルの色が濃くなればなるほど、私たちが見つけた単語への参照が増え、この単語が文脈においてより重要になります。 テーブルを形成するための単語の例：「メイクアップ」、「顔」、「ボディ」、「スクラブ」、「ローション」、「オイル」、「クレンジング」、「コンディショナー」など



次に、 NMFメソッドが使用されます。これにより、マトリックスを2つの小さなマトリックスに分解できます。「authors」/「intermediate measurement」および「intermediate measurement」/「words」です。 私たちが課した唯一の因数分解条件は、値が負であってはならないことです。つまり、値はすべて0以上でなければなりません。

この場合の「中間測定」は、トピックとして解釈できます。 したがって、著者はテキストのトピックについて著者を分解しました。

テキストトピックを取得するために使用されるNMFメソッドは、通常、LDAおよびLSA（pLSA）メソッドと競合できますが、この領域のもう1つの強力なツールであるBigARTMを無視することはできません。 マトリックス分解の基本的な考え方はBigARTMメソッドにも存在しますが、その利点は、レギュライザーを使用する柔軟な可能性にあります。

それぞれの能力に応じて。

次に、ブランド製品の名前と強調表示されたトピックを比較する必要があります。 既に使用されているファジー文字列マッチングアプローチを使用してこれを行うことは可能ですが、Word2Vecモデルを使用して測定された距離を使用する方がより正確で正確です。

ここで1つ考慮すべき点があります：投稿のタイトルに製品の名前が完全に記述されている場合、ほとんどの場合それはレビュー投稿でした。つまり、著者はすでに製品について書いているので、再度それをするように求められるべきではありません。

カラフルなマトリックスを取得します。色は、著者と製品との相関の度合いを示します。 マトリックス「authors-products」は、著者の評価によってソートされています。

著者の評価は、テキスト内のブランド製品の言及可能性に一部基づいていました。 著者の評価でソートした後、評価が高い著者に焦点を当て、評価が低下するにつれて減衰する色分布を観察できます。



この色分布は、別の数学的アプローチ（TF-IDF、NMFなど）を使用して取得されたものであり、単純な参照カウントを使用して取得した初期結果とよく一致しています。 したがって、一方では評価の妥当性を確認し、他方では、より複雑な数学的手法を使用して得られた結果の妥当性を示します。 さまざまな方法で得られた結果の一貫性は、私たちにとって有利なことです。

製品を宣伝するために、多くの人を関与させる必要はありません。 最初の40人の著者を取ります。 それらの場合、マトリックスは次のようになります。



著者と製品のマトリックスから、最も共鳴するピークを抽出します。その後、ピークのある列は破棄されます。 したがって、著者ごとに1つの製品しか取得できません。 したがって、私たちの目標は達成されました：著者と製品とのつながりが確立されました。

まとめると

したがって、ソーシャルアクティビティのKloutスコアメトリックを使用した美容ブログ記事の最初の本文の調査結果と、記事の感情的な色を考慮して、美容ブロガーの多くの機能を発見しました。 これらの機能は、美容ブロガーを介して広告キャンペーンを整理するときに考慮する必要があります。 さらに、ブログ記事の主要なトピックを見つけました。 見つけたトピックに基づいて、製品がブログの視聴者に最も近くなるように、製品と著者を関連付けました。

アクセシブルで複雑でないテキストの操作方法（ファジー文字列マッチング、TF-IDF、NMF）を使用して初期分析を行いましたが、このレベルではすでに主要な結果が得られ、その後、改良されました。

この化粧品会社は、調査した著者の30％と協力していることが判明しました。 もちろん、ブロゴスフィアでの影響力を拡大するために、美容ブランドは残りの70％のデータを喜んで受け取りました。 将来的には、製品の詳細な説明、成分に関するデータ、その他の特性へのアクセスが許可され、作業を新しいレベルに進めることができ、Word2VecとBigARTMを積極的に使用し始めました。 説明された分析は、 CleverDATAチームがブランドのために準備した推奨システムを完全に補完するツールへと発展し始めました。

結果のデモンストレーションには、さらに4つの美容ブランドが参加しました。 当然、ブロゴスフィアでは、各ブランドは製品のニッチに対応する独自のテーマを調査および開発することに関心があります。

製品を宣伝するための特定のブロガーの推奨事項は、次のように時間とともに変化します ブロゴスフィアは成長し、進化しています。 したがって、著者の定期的なレビューとブログの監視は、ブランドが製品を宣伝するだけでなく、業界での地位を理解するためにも重要です。

現在、ブログのクロールに定期的に取り組んでおり、商品レビュー付きの新しい記事に対する視聴者の反応をすばやく表示する機能を開発しています。 したがって、ブランドは、高価なマーケティング調査を注文することなく、製品に関するフィードバックを迅速に受け取ることができます。 また、ソーシャルネットワークからのより多くの情報を接続することを計画しています。ソーシャルネットワークは、新しい視聴者を引き付けるためにブランドにとって非常に興味深いものです。