電報の測定

「これまで、本格的なチャネル分析の機会
主にBotAPI Telegramの機能によって制限されます»
Telegram Marketing Channel、2016年6月28日

Telegramチャンネルでは、1つを除いてすべてが問題ありません-探すのが難しすぎます。 リンクはほぼどこでも見つけることができます...


...しかし、検索プロセスは完全にはほど遠いままです。 単一のデータソースと通常の分析ツールがなければ、見つけるだけでなく、理解することすら困難です。
1.ロシアのチャネルはどれくらい一般的ですか？
2.チャンネルの人気度と数字での「人気」とは何ですか？

これらの質問には数字で答える必要があります。 散在データのみがインターネット上で見つけることができます。 何かがRusbase（ ここ ）、Vedomosti（ ここ ）、Twitter（ ここ ）にありますが、これらの情報はすべて体系的ではなく、検証が困難です。

この記事は、ロシア語の電報チャネルの市場分析に専念しています。 ロシア語チャネルの一般化された（信頼性の低い完全な）リストの収集から、コンテンツのクロールとメトリックの構築までの作業が行われました。 ビッグインターネットで宣伝されているチャネルのみを分析し、自身へのリンクを示しました。 この動作は、多くの視聴者向けに作成されたチャンネルの指標です。

ステップ1.チャネルのリストを収集する

最初は、ゲリラ分析の方法を使用して統合データベースが作成されました。 ユーザーが自分のチャンネルを手動で入力する2つのオンラインディレクトリ（tlgrm.ruとtchannels.me）、および2つの自己補完ディレクトリ：tsear.ch（ 作成者について ）およびinten.to（ セクション「作成者について」ページの下部にある ）、1つは手動で再インデックス付けされ、もう1つはリアルタイムでインデックス付けされます。 すべてのサイトで、ロシア語として識別されるチャネルが検索されました。 以下は、ソースを比較するための短い表です。



見つかったチャンネルがロシア語であることを確認できるのはなぜですか？

1. tlgrm.ruは、ロシア語のチャンネル用にデフォルトで作成されます。
2. tchannels.meは、手動で追加され、ロシア語として明示的に指定されたチャネルで構成されます（チャネルの2つの言語は、設計により指定できません）。
3. tsear.chは、Yandex.Translate APIを使用したコンテンツの分析に基づいてチャネルの言語を決定します。
4. inten.toは、翻訳サービス用の統合APIに特化した作成者によって作成されました。これは、チャネルの言語を自動的に決定するためにのみ使用されます。

作業で使用されるツール：Chrome開発者ツール、cURLからPythonへのコンバーター、Python自体、一般的な学習。

10,000を超えるチャネルが見つかったため、結果を図に示します。 主な結論：さまざまなディレクトリのデータベースは3％しか一致しません。

上記の表でデータはどのように取得されましたか

マニュアルカタログ

1. tlgrm.ruターゲットセクション：/チャンネル/。 完全なリストを取得するには、関連するすべてのカテゴリをバイパスし、チャネルIDを「削除」する必要があります。これらはページの本文にあります。

2. tchannels.meカタログ設定でロシア語を選択し、27のカテゴリを次々にスクロールできます。 パラメーターをわずかに変更することにより、サービスAPIを使用することもできます： tchannels.me/api/channels?list=top&categoryId=&languages=russian&offset=0&count=1000000

自動更新されたカタログ

3. tsear.chターゲットセクション：/ list / ru /。 [次へ]ボタンを何度もクリックすることで、各ページからチャンネルを記録し、一般的なリストを作成できます。

4. inten.toターゲットセクション：/テレグラム/チャネル/ロシア語/。 カタログの作成者は、データベースの安全性について非常に心配しています。チャネルは、リクエストがチャネルIDと完全に一致するか、説明のテキストと部分的に一致するか、検索で最初に一致するのは100個以下ですが、すぐには100個ではなく10個個。 「額」法と、3文字の組み合わせの徹底的な検索による検索が試みられました。 したがって、合計1722のチャネルが見つかりました。 これらのデータに従って手動でコンパイルされた評価が元の評価inten.toと一致しなかったため、これは間違いなくすべてではありません。
inten.toの場合のデータベースの完全性を評価するために、「反対から」という方法が適用されました。 最初に、以前の3つのソースからの一意のチャネルのリスト（合計8283チャネル）が収集され、次にinten.toデータベースでそれらのチャネルごとに検索が開始されました。 その結果、8328の3325（〜40％）のチャネルが見つかりました。これにより、inten.toのロシア語チャネルのベースのサイズを3325 + 1783〜= 5100として見積もることができます。

ステップ2.統計収集ツールの開発

彼らの正しい心の誰もが手で10,000チャンネルすべてを歩き回ることはありません-時間がない。 さらに、ディレクトリは常に更新されています-ここでは、定期的に使用するためのツールが必要です。 著者は、Webブラウザーの「ポンピング」の経験があったため、ブラウザーの拡張機能を使用してTelegram Webクライアントを自動化するという道をたどることになりました。

このメソッドを防御する引数：

1.問題を解決するための十分性：拡張機能により、javascriptインジェクションを実行でき、jQueryを使用してページコードに簡単にアクセスできます。
2.可視性：テキストをクリックしてリアルタイムで駆動するスクリプト。ねじれ方が明確
3.原則としてのスケーラビリティ：5台の仮想マシンにクローラーエージェントをインストールし、クローラーに「タスク」を配信するサーバーをエージェントに展開することにより、ボットネットを取得できます（拡張機能では、外部にリクエストを送信でき、ウェブフック経由で配信できます）
4.簡単で迅速なインストール：クローラーはブラウザーを備えたコンピューターにインストールされ、操作のための事前構成は必要ありません。 コードを修正して、さらに作業を進めることができます。
5.クロスプラットフォーム：すべての一般的なオペレーティングシステムでGoogle Chromeを使用できます。
6. VPNへの簡単で無料のアクセス：ブラウザに関連する拡張機能（Hola、frigateなど）が普及しているため

このアプローチは、基本的に、クロールをGUIの自動テストの（Selenium'aを使用しない）誤ったスペルに変換します。 動画でクロールプロセスを見ることができます。



将来的には、Telegram Webクライアントのメモリが不足しているため、このアプローチは普遍的ではなかったと言います。 洪水（スクロールアップ）でチャンネル履歴全体をダウンロードしようとすると、すべての投稿がキャッシュされ、ブラウザーの速度が大幅に低下し始めました。 Webクライアント（ webpackの前のコード ）を修正し、インスタンスを上げてクロールする代わりに、フラッドのあるチャネルを単に考慮から除外することにしました。

ステップ3.プロセスのスケーリング

Telegramにアクセスするには、SMS認証を通過する必要があります。 最近では、これはもはや人を必要としないように思われます。twilioで番号を購入してSMS APIを使用できましたが、機能しませんでした。 そのため、直接的なソリューションが使用されました。15枚のSIMカードがベラルースキー駅で手元に購入されました。 利用可能な古い不要な携帯電話をすべて充電し、自宅の手押し車で2、3台のvirtualokを受け取り、データの収集を開始しました。

ステップ4.テレグラム内から統計を収集し、結果を議論する

主なパターンは、サイトtlgrm.ruからのチャネルの選択で考慮されます。 このソースを支持する議論：

1.ユニークなチャンネルの13％のみ、つまり、それらのほとんどはまだ他の場所で見つかっています-チャンネルの所有者はプロモーションを懸念しています。
2.カタログ内のカテゴリの存在-より興味深い正確な分析が行われます。
3.ロシアのドメイン+ RuNetでの人気= 99％の場合、チャネルはロシア語になります。再確認することはできません。

この調査では、18以上のコンテンツを持つチャンネルとウズベク語のチャンネルを除くほぼすべてのカテゴリーのチャンネルが選択されました。1つ目は1回の洪水で、2つ目は平均してより高度でした。

さらに、すべてのチャネルのリストを〜500個のクォンタムに分割し（500 Telegramが検索メソッドを頻繁に呼び出すために禁止された後）、異なる仮想マシンでクローラーを実行する（著者はあらゆる機会に高性能コンピューティングを使用するよう努めています）ため、チャネルの最後の投稿から期間の統計を取得します少なくとも1週間の深さ。 チャンネルに7日間投稿がない場合、チャンネルは「デッド」と見なされます。 投稿が3時間ごとに複数回行われる場合-これは洪水の家です。 以下は、結果のスライドとFAQ形式のディスカッションです。



サンプルのサイズは？
3つの独立した測定が行われました：5月3日、6月4日、および6月23日。 興味のあるカテゴリには1,889のチャネルがあり、tlgrm.ruには3回ありました。

新しいチャネルが作成されていますか？
はい、常に。 チャンネルの作成日から判断すると、少なくとも3〜4個のチャンネルが毎日表示されます。

これらのチャネルはどのくらいアクティブに読み取りますか？
はい、彼らは非常に積極的に読んでいます。 過去2か月でチャネルの70％以上が「成長」し、サブスクリプションの合計増加率はほぼ90万でした（疑わしいことに、急速に成長しているチャネルはこの数字から除外されました。詳細は後で説明します）。 。

「通常」のチャネルはいくつですか？
チャネルの65％は定期的に更新されており、非常にフラッディングしているようには見えません。 一方、ランダムに取得された3分の1のチャネルは、長い間更新されていないか、洪水が発生しています。



Telegramの「成功」とは何ですか？
上のグラフが示すように、成功はチャンネルが1日あたり160人以上の速度で成長するときです。 最高のチャンネルでさえ、この値よりも高い平均速度を示すことはできませんでした。 音楽チャンネルに注意することをお勧めします。音楽チャンネルは比較的少数ですが、多くのチャンネル登録者がいます。 この方向で考えてみることができます。 同時に、gifと面白いvidosを使用したチャンネルは特に人気があります。統計によると、2か月で他のどのチャンネルよりも少なくとも4倍成長しています。

まとめ

数値はグラフに表示され、定性的な結論は下のリストにリストされています。

チャンネルのリストを収集する段階で

1.ロシア語には1万以上のチャンネルがあります-これはたくさんあり、一生読むことはできません
2.各ディレクトリは独自の小さなリストを維持し、その「隣人」とは交換しません。これは、ユーザーにとって一度に多くの場所を検索する必要があることを意味します-これは非常に不便です

チャネル分析フェーズ

1.現象としてのチャンネルは発展し続けています-毎日ますます増えています。
2.チャンネルへのサブスクリプションの数は、毎月約50万件という驚くべき速度で増加しています。
3.より複雑なメトリックの導入により、自動チャネル選択を生成できますが、それでも人間によるレビューが必要です。

すでに、ロシアのユーザーはチャンネルを探しており、自分の好みに合ったコンテンツを見つけるために数十回のクリックを費やしています。 同時に、これらのチャネルでの合計サブスクリプションの増加は、月間で月間50万件になります。 チャネルを中央で検索し、ワンクリックでチャネルを切り替えることができるサービスが表示される場合、Telegramの人気は大幅に高まります。

以上を踏まえて、開発者のリソースを使用します。 サービスの使いやすさを向上させるために、ディレクトリの所有者が次のことを行うことをお勧めします。

1.チャンネル分類子を更新します-web.archiveは、作成されてからほとんど変更されていないことを示します。 夏です、学生を雇うことができます。
2. Yandex.Musicの精神でチャンネルの「リスト」を作成してサイトのインターフェースを変更し、新しいチャンネルを選択するために最大1回のクリックが必要になるようにします。
3.ユーザーがチャンネルを検索する方法の監視を開始し、セッションごとの視聴量を測定します。 開発者は超過インジケーターにボーナスを与えます。
4. inten.toの作成者に連絡して、統合を提供します。彼らにとって、Telegramはコアビジネスではなく、その技術を使用して市場で最高のカタログを作成できます。

記事で使用されている資料
すべての結果（プレゼンテーション、表、コード）は公開されています。

1.プレゼンテーション、スプレッドシート、チャンネルリスト-Google.Driveのアーカイブ
2.拡張コード-Githubリポジトリ
3.電報の連絡先の詳細： devrazdev

ありがとう

PS最後に、ステップバイステップの指示の形で私たちと電信についての短い面白い話：

1. telegra.phに移動します
2.仕組みを習得する：すべてのテストフィールドに進み、[公開]をクリックします。 それはやがて私に起こりました。 これは、私の投稿がその日のタイトルテストで16番目の投稿（6月14日）だったことを意味します。
3.ひらめきがある
4.あなたは時間内に旅を始め、あなたのような人をスパイし始めます。あなたもタイトルにテストを書いて、数字を変えるだけです。 たとえば、1月20日に戻って偶然ソウルメイトに会うことができます。