Yandex.Toloka。 マシンインテリジェンスのトレーニングを支援する方法

過去1年半、YandexはTolokaプラットフォームを使用して、検索アルゴリズムとマシンインテリジェンステクノロジーを改善してきました。 驚くかもしれませんが、現代の機械学習技術はすべて、ある程度人間による評価が必要です。

検索クエリに対する参照ドキュメントの関連性を評価することで、検索のランキング式に導かれます。 音声認識アルゴリズムがこのデータに設定されるように、音声録音をテキストに書き換えます。 人々は画像を分類するので、これらの例について訓練した後、ニューラルネットワークはこれを人間なしで、人間よりも良くするでしょう。



これらはすべてクラウドソーシングプラットフォームであるTolokで実行でき、問題を解決する人を見つけるのに役立ちます。 現在はベータステータスになり、すべての外部顧客に公開されています。 それでは、プラットフォーム自体について、そしてその作業の過程で遭遇した予期しない困難について詳しく説明し、観察結果を共有して、Tolokaがどのように役立つかを説明するときが来ました。

上記で説明したタスクは、伝統的にYandexで訓練された専門家（評価者）の助けを借りて解決されます。 評価者は、検索結果がクエリとどのように一致するかを確認し、見つかったWebページからスパムを見つけ、分類し、他のサービスの同様の問題を解決します。

皮肉なことに、より多くの新技術を投入すればするほど、人間による評価の必要性が高まります。 ページと検索クエリの関連性を単に判断するだけでは不十分です。 ページに悪意のある広告が散らばっているかどうかを理解することは重要ですか？ ページにアダルトコンテンツが含まれていますか？ もしそうなら、ユーザーのリクエストは彼がまさにそのようなコンテンツを探していたことを意味していますか？ これらすべての要因を自動的に考慮するために、検索エンジンをトレーニングするための十分な数の例を収集する必要があります。 また、インターネット上のすべてが絶えず変化しているため、トレーニングセットを絶えず更新し、最新の状態に保つ必要があります。 一般に、検索タスクの場合のみ、人間の評価の必要性は月あたり数百万単位で測定され、毎年この数は増え続けています。

Yandexが存在する各国でますます多くの評価者を引き付けることは、組織的に困難です。 さらに、すべての新しいタスクに特別なトレーニングが必要なわけではありません。 ほとんどすべての人が多くのタスクを処理できますが、ランキングを専門的に評価する訓練を受けていない一般ユーザーの意見を収集することは、多くの場合さらに便利です。 このタスクの分割により、評価者に加えて、人間の評価を取得するためのより柔軟でスケーラブルな別のソースが必要であるという結論に至りました。

クラウドソーシング

評価者によって実行される困難なタスクに加えて、関心のある国で何百万もの簡単な評価を収集する方法を学ぶ必要がありました。 私たちが話しているほとんどのタスクは非常にシンプルで小さなものです。完了までに30秒以上かかることはありません。 しかし、これらのタスクの数は非常に多くなります。 いくつかのパフォーマーに直接連絡して、彼らに個人的に課題の本質を説明できる通常のフリーランス交換は、私たちには適していませんでした。 産業規模では、何千人ものパフォーマーを引き付け、事務処理なしで仕事にお金を払い、結果をコントロールする必要がありました。

本当に必要なものに最も近いものは、クラウドソーシングプラットフォームのAmazon Mechanical Turk、Clickworker、CrowdFlowerでした。 機械学習の分野の学術研究者や、たとえばBingなどの大規模検索会社は、通常、単純な人間の成績を収集します。



それは、これらのプラットフォームのすべてが、関心のある国では機能しなかったことです。 さらに、問題を自分で解決するために、すでにある程度の経験を積んでいます。

トロカ

クラウドソーシングプラットフォーム、特にTolokaの作業の基本的なロジックには、複雑なものはありません。 一方では、パフォーマーと協力し、タスクを分配し、支払いを行い、他方では、最小限の労力で顧客が結果を得るのを支援します。



ところで、この「Toloka」という言葉は何ですか？ 彼らは長い間名前を考え、国際的な選択肢を探しましたが、最終的にはまったく逆になりました。 Tolokoyサービスを呼び出すというアイデアは、ミンスクオフィスで生まれました。ちなみに、これはプラットフォーム開発の中核です。 この言葉（ベラルーシ語で「タラカ」）は、ベラルーシではロシアよりも約30倍強く配布されており、全体的な結果に関する共同作業を意味します。これはクラウドソーシングにも適しています。 名前の選択は、サービスを開発するときに遭遇した最も難しい質問とはほど遠いものですが。

どんなタスクができますか？ 潜在的には、ソースデータ、インターフェイス、予想される回答に応じて任意の値にすることができます。 1つは写真をアップロードして分類するように依頼し、もう1つはオーディオプレーヤーを表示してレコードで聞こえるものを書き留めるように依頼し、3つ目はユーザーの位置を示す地図を表示する必要があります。





したがって、最大の柔軟性のパスが選択されました。入力および出力パラメーターにjsonを使用し、インターフェイスにhtml / css / jsを使用すると、顧客はほとんどすべてのタスクを作成できます。 「現場」での作業が必要なタスク（たとえば、住所にアクセスして組織に関する情報の関連性を確認する）のために、Android向けのTolokaのモバイルバージョンを準備しました。



設定の柔軟性には欠点があります-高いエントリーしきい値。 誰もがインターフェイスをタイプセットできるわけではありません。 この問題は、既製のテンプレートを使用して解決します。テンプレートの総数は増やす予定です。

支払人への支払い方法は？ 苦労して稼いだ収入の成功した結論は、人が戻ってタスクを実行し続ける主な動機の一つです。 複雑で長い撤回手順は、プラットフォームを埋めることができます。 そのため、ウォレットをPayPalまたはYandex.Moneyに追加するだけで十分なシステムを構築しました。 トロカ側からのデバッグプロセスの段階では、お金の引き出しには最大30日かかることがありましたが、今では数日、さらには数分です。 同時に、トローカーと顧客は事務処理から免除されます。

品質パフォーマンスを確保する方法は？ この質問は、クラウドソーシングプラットフォームの主な頭痛の種です。 他の社会と同様に、Tolokには勤勉で気配りのある人々がおり、怠け者で、不cru慎で、同時にスクリプトを書くことができます。 主なタスク：前者を稼働状態に保ち、後者をできるだけ早く見つけて制限すること。 そのために、Tolokaにパフォーマーの行動を分析するように教えました。 顧客は、たとえば、応答が速すぎたり、回答が他の回答と一致していないトラーを自動的に識別して制限する機会があります。 また、制御タスク（「hanipots」）を使用する機能と、支払い前に必須の承認を追加しました。 さらに、受け入れも簡素化できます。 1人のユーザーにタスクを与え、他のユーザーに結果を評価します。



ところで、トーカー自体については何を知っていますか？

トロカー

Tolokでは、さまざまな人々がタスクを登録して実行します。 ほとんどのパフォーマー（およびタスク）はロシア、ウクライナ、トルコにいます。 ほとんどの強盗は、35歳未満の若者です（通常、工業大学の学生または産休中の母親）。 ほとんどのパフォーマーは、Tolokaを追加の資金源と考えていますが、多くの人は、有用な仕事をしたいので、インターネットをよりきれいにしています。 たとえば、インターネット上でTolokaについて議論し、彼ら自身について書いたものです。

790.41ルーブルはすでに私の財布に落ちています。 どちらかといえば、私が住んでいる地域では、例えば若い先生の給料は2800ルーブルです。 これはすべて、物事の間に詰め込まれていることに注意してください、あなたの自由な時間、メインの仕事をする間、あなたが少しリラックスして切り替えたいとき。

そして、あなたはまったくクリックするロボットのようには感じません。 私の仕事の有用性にはある程度の感覚があります。

ヤンデックスのトロカ

現在、Tolokaは、5か国のほぼ27万人のパフォーマー、1日あたり8万のタスクを完了し、400種類のタスクをテスト済み、 10億の評価を収集しています。

オープニングの時点で、私たちは3つの主なタイプのタスクから始めましたが、それらは依然としてほとんどのシューティングゲームにとって最も愛されているタスクであることが興味深いです：画像検索の品質の評価、成人向けのコンテンツのマークアップ、オブジェクトのペアリング比較（例えば、異なるデザインのページ）。

これらのプロジェクトでクラウドソーシングを使用して評価を収集することで、チームは評価がメトリックを作成するまでの待ち時間を大幅に短縮できました。 評価者がオブジェクトのセットを評価するのに数日を必要とする場合、トロッカーは数時間で対処します。 評価のコストを削減することにより、トレーニングセットのサイズを大幅に増やし、分類アルゴリズムの品質を向上させることができました。 たとえば、Tolokaに切り替えた後、アダルトコンテンツを決定する品質は30％向上しました。

Tolokの評価のクライアントは、さまざまなYandexチームです。 このサービスの助けを借りて、コンピュータービジョンおよび音声認識テクノロジーのデータが収集され、推奨テクノロジーが改善され、組織のディレクトリが補充され、他の多くの内部タスクが解決されます。 しかし、それでもすべてのトロッカーにタスクを提供するには十分ではありません。 先に進む必要があります。

最初の外部顧客

複数の外部パートナーと合意した後、クローズドアルファテストを実施して、プラットフォームが外部のニーズを満たしていることを確認しました。 外部の顧客は、使い慣れたタイプのタスクと、ビジネスに固有の新しいタスクの両方を利用していました。 テスト中に、写真を使用して商品の価格タグを解読し、小売店を監査し、商品を分類し、特性を検索するタスクが開始されました。

ブックメーカーの格付けのサイトでは、ポーカープレーヤーに、全国のブックメーカーブランチのベース（約4000個のオブジェクト）を更新するタスクを提供しています。 指定されたアドレスにオブジェクトが存在するかどうかを確認し、写真を撮り、その説明を書く必要がありました。 顧客によると、クラウドソーシングを使用してロシアの施設のデータベースの関連性を確認することは、従業員を派遣したり請負業者を探すよりも収益性が高く、迅速であることが判明しました。 少し特異性。 確認のために157の住所があったサンクトペテルブルクでタスクを実行すると、Tolokaを使用して顧客に4100ルーブル以上の費用がかかりました。 これは、モスクワからサンクトペテルブルクへの会社の従業員の7日間のプロジェクト旅行よりも10倍以上安く、その場で請負業者を雇うよりも3-6倍安いです。

トロカはビジネスだけでなく、科学研究にも役立ちました。 N.N. Krasovsky Institute of Mathematics and Mechanics（IMM UB RAS）のDmitry dustalov Ustalovは、 NLPubプロジェクトのフレームワークで使用される電子辞書の品質を改善するために、このサービスを使用してロシア語の意味関係の評価を収集します。 ドミトリーによると、彼は短時間で多くの仮説をテストし、迅速かつ安価に実験を行うことができます。 たとえば、タスクの1つでは、わずか1時間で13,000の評価を収集することができました。

そしてもう一つの例。 Ramblerは、Tolokaを使用して、検索結果の評価評価を改善します。 tolokersの結果は、特別なトレーニングを受けていないため、やや正確ではありませんが、大規模なタスクを短時間で安定した品質で実行できます。 したがって、推定値を取得するためのこのチャネルは、ピーク時に特に役立ちます。

クローズドアルファテストは、さらなる改善のベクトルを決定するのに役立ち、Tolokaは外部の顧客にとって有用であり、すべての人に開かれるべきであるという仮説を一般に確認しました。 これはまさに私たちがやったことです。 今週から、Tolokaはベータステータスになり、クラウドソーシング機能は誰でも利用できます。

タスクを追加するには？

ジョブを送信するプロセスには、顧客側の特定の知識が含まれますが、近い将来、このプロセスを簡素化するためにすでに作業しています。 それまでの間、ドキュメントはyandex.ru/support/toloka-requesterでご利用いただけます。

サンドボックスから始めることをお勧めします。 このテスト環境では、タスクの作成プロセスを理解できるだけでなく、お金を無駄にせずにテストすることもできます。 登録後、すぐにプロジェクトの作成を開始できます。サービスは、選択可能な既製のテンプレートを提供します。



タスクを設定するとき、特定の基準（国、言語、ブラウザユーザーエージェントなど）に従って実行者を制限し、結果と品質管理の予備検証を有効にし、入出力仕様を構成できます。

サンドボックスでトレーニングした後、 戦闘システムに行き、そこでプロジェクトを転送し、バランスを補充してクラウドソーシングを開始できます。 ちなみに、これはすべてインターフェイスで行う必要はありません。 Tolokaには独自のAPIがあります 。

結論として、トッカーに関する私たち自身の経験に基づいて策定した主な推奨事項についてお話したいと思います。

群衆のガイドライン

群衆の知恵は哲学的なものではなく、完全に統計的に検証された現象です。 一人の意見が十分でなく、彼の評価が十分に正確でない場合でも、多くの異なる人々からの推定値を組み合わせることで、1人の専門家の評価よりも正確な結果を得ることができます。 ここでの主なことは、個々の見積もりを収集および集計するプロセスを適切に編成することです。

1. クラウドソーシングは非常に強力なツールであり、大量の処理やプロセスのスケーリングと標準化が必要な場合に最適です。 しかし、1人のタスクが数時間で1人の人によって解決される場合、それが解決しやすい方法です。
2. 複雑なタスクは、一連の小さな独立したサブタスクに分解できること、また分解する必要があることが繰り返し確認されています。 これにより、マークアップ全体のコストを増加させることなく、最終データの品質が大幅に向上します。
3. クラウドソーシングのほとんどの仕事は、重複から始まります（複数のアーティストが同じ仕事をする場合）。 一般的な誤解：オーバーラップが大きいほど、結果の品質が高くなります。 これは通常そうではありません。 オーバーラップが増えると精度が十分に速く安定し、一部のタスクでは5人以上がタスクをオーバーラップするには不十分です。
4. 非常に直感的な事実ではありません。クラウドソーシングにおけるタスクの価格は、受け取った見積もりの​​品質に実質的に影響しません。 多くの場合、お金を追求している強引な者がタスクに十分な注意を払うのをやめるので、過剰な状態は品質を損なうことさえあります。
5. しかし、評価の質が本当に依存する主なものは、タスクの組織に依存します。 命令が明確に記述され、インターフェースが設計されるほど、結果の品質が向上します。 また、検証タスク（「hanipot」）を忘れないでください。これは、悪徳なトッカーを識別するのに役立ちます。
6. Tolokのほとんどのプロジェクトでは、専門知識は必要ありません。 それでも、顧客が必要とするとおりにタスクを完了するために、トレーナーを「トレーニング」する必要がある場合があります。 この場合、特別なトレーニングプールを作成し、追加の設定を使用する必要があります（たとえば、トレーニングを正常に完了したトッカーのみを許可するため）。
7. 特定の実行者のタスクを適切にターゲティングすると、多くの場合、マークアップ結果が大幅に改善されます。 たとえば、靴のカタログをマークアップするためにパントレットを評価する必要がある場合は、このタスクを少女銃手にすぐに与えることをお勧めします。
8. すべてのタスクが群衆の知恵に委ねられるわけではありません。 常にトレーニングと最大限の注意を必要とするタスクがあります。 しかし、ほとんどの場合、群衆による予備フィルタリングを使用すると、専門家の生活が簡素化され、見積もり取得のコストが大幅に削減され、ワー​​クフローのスループットが向上します。

Tolokaのベータ版の作業に関するフィードバックについては、Habrahabrコミュニティに感謝します。 私たちは、すべてのお客様がコードを書かなくても最高品質の結果を得ることができるように努力を続けており、責任のある各エグゼキューターは奨励され、十分な数のタスクを持っています。 そして、あなたのフィードバックはこの作業で私たちのチームを助けます。 よろしくお願いします！