不動産にデータ分析を適用した3つのケース。 データサイエンスウィーク2017。概要。 パート1

データサイエンスウィーク2017の初日のレビューを公開しています。その間に、スピーカーが不動産でのデータ分析の適用について話しました。

シアン

特定の適用事例に関して、不動産サービスの最大のレンタルおよび販売であるCIANの機械学習部門の責任者であるPavel Tarasovは、1日のトピックをカバーし始めました。1日あたり65,000を超える新しい広告が掲載されています。 攻撃者の主な目標は、可能な限り多くのコールを収集して、クライアントに送金を強制するか、悪徳な不動産業者の場合は他の製品を販売することです。

この問題を解決するために、同社は広告の説明から価格まで、多くの要素を使用して機械学習を積極的に使用していますが、最も重要な機能は写真です。 鮮明な例：



したがって、盗まれた写真や存在しないアパートを含む広告を特定するには、写真検索アルゴリズムを適用する必要があります。 3つの主なアプローチがあります。

• 局所性に依存したハッシュ（aHash、pHash、dHash ...）
• 記述子ORB / SIRF / SURF
• ニューラルネットワーク記述子

知覚的ハッシュは、そのような問題を解決するための最も一般的なアルゴリズムであり、その本質は、画像を32x32に圧縮し、各ピクセルについて、それが平均値よりも明るいかどうかを考慮して、ハミング距離で画像を比較することです。 圧縮に加えて、色、明るさ、コントラストも削除する必要があります。たとえば、写真の明るさがわずかに変化しても、ピクセルは平均に対して値が変化しないことに注意してください。 このアルゴリズムは、色や明るさを変更したり、写真をトリミングしたりする場合にうまく機能しますが、悪化します-ターンでは、それは明らかです：その後、ピクセルの配置が変更されます。



ORB記述子-記述子を計算するという考え方に基づいたアルゴリズムで、写真内のいくつかの重要なポイントを見つけ、それらのハッシュを計算し、写真同士を比較できます。



このアプローチは「クリッピング」でもうまく機能し、コーナーではうまく機能しますが、計算が複雑になります。 アルゴリズムの主な問題は、オブジェクトのジオメトリに大きく依存していることです：三角形の屋根、いくつかの窓などがあるため、すべての家は同じになり、多数の誤検出に変換されます。

次のアルゴリズムはディープラーニングに基づいています。ニューラルネットワーク記述子-マークされたデータセットでトレーニングされた多層ニューラルネットワークが取得され、すべての画像がそれを「実行」されます。その後、各ネットワークレイヤーの各画像の数のセットを取得します。 これらの番号のセットは記述子になります（原則として、最後のいくつかのレイヤーは記述子として扱われます）。

ニューラルネットワーク記述子の問題は、ディープネットワークを学習するには、数十万のラベル付き画像、各クラスで数千、自宅で異なる必要があるなどが必要ですが、これらの条件を満たしても、ネットワークが多くを分類しないことを保証しないことです家は同じで、最後の層には同じ番号はありません。

したがって、新しい広告を受け取った後、上記の方法のいずれかを使用して、この写真がサービスで以前に公開されたかどうかを調べることができますが、次の問題が発生します：この写真の広告が既にデータベースにある場合、これは常に意味するわけではありません不正である。 たとえば、市内の典型的な新しい建物の建設業者は、すべての広告に1枚の写真を使用できます。 ここにいる方法は？

ここで、ニューラルネットワークとTransfer Learningが再び役立ちます。既に学習済みのニューラルネットワーク（たとえば、GoogleNet）を使用して、最後のいくつかを除いてレイヤーの重みを修正します（学習戦略によって異なります）。 同じGoogleNetは「猫」と「犬」を認識するように訓練されており、家と納屋を区別できないため、家とアパートのサンプルを収集し、データをマークアップして、この訓練されたニューラルネットワークで実行します。 その結果、彼女は実際に写真の中にあるものを認識し、実際に盗まれた写真からアパートの繰り返しのレイアウトを区別することができます。

次の質問は次の質問です。2つの発表と2つの同一の写真がありますが、どちらが偽物ですか。 最も簡単なオプションは、「最初の夜」ルールです。最初に写真を投稿した人は誰でも正しいです。 これは必ずしも真実ではないことは明らかです。たとえば、家主はテナントを変更すると、新しい広告で同じ写真を再利用できるため、詐欺師が盗んで自分の写真を投稿した可能性があります。 別のアプローチは、機械学習を使用して、同じ写真であるが異なるパラメーター（価格、説明、配置時間など）を持つ広告のペアのサンプルを収集し、このサンプルで調査して、すべての要因の詐欺師を一度に特定することです。

その結果、写真を使用して不正な広告を認識する準備ができました。

ハウスクリック

不動産へのデータサイエンスの適用のトピックは、Sberbankの子会社である住宅ローンの不動産を検索および購入するサービスであるpython開発DomKlikのディレクターであるAlexey Grechishkin氏によって続けられました。 Alexeyは、 機械学習が使用される会社の3つの主要な領域について話しました。

• 顧客フローに応じた従業員の勤務スケジュールの最適化
• トランザクション予測
• ショーケースの選択と管理

まず、企業は顧客のリクエストの処理時間を短縮する必要があります。 標準は30分ですが、実際には平均待ち時間は4時間です。 これは、顧客の流れが不均等であるという事実によるものです。そのため、マネージャーのスケジュールをスケジュールするタスクが最前線になり、ピーク時にはより多くの顧客が地上にいて、クライアントがほとんどいないときに少なくなります。 結果に移動します。


_{緑の時系列-単位時間あたりの実際のアプリケーション数。 青-トレーニングセットの予測（使用できません）。 赤-テストサンプルからの予測。}

このような精度を得るために、次の手順が実行されました。 6か月間データを取得し、1週間前にデータをシフトします。その結果、表示されたばかりのデータの現在の週がテストになり、この手順を8回繰り返します。 その結果、テストサンプルの平均決定係数は98％になりますが、先週は例外で、不完全なデータと不完全なデータが頻繁に検出されるため、R二乗は92％低くなります。

プロセスで使用されるモデルについて話す場合、これは主にSARIMAXです。季節成分と外因性変数（休日、病気など）の両方を考慮することができるためです。

model = sm.tsa.statespace.SARIMAX(table_name[:], exog = Cal[:], order=(1,1,0), seasonal_order=(2,1,0,7), enforce_stationarity = False).fit() model2 = sm.tsa.statespace.SARIMAX(table_name[:], exog = Cal[:], order=(1,0,0), seasonal_order=(2,0,0,7), enforce_stationarity = False).fit() forecast['forecast'] = model.forecast(b, exog = Cal_Pred[:b])*2/3+model2.forecast(b, exog = Cal_Pred[:b])*1/3 

1つの時系列を予測するために2つのモデルを使用するのは、最初の系列が一連の違い（「前の週と比較して現在の週のアプリケーションの数はどれくらいですか？」 次に、両方のモデルの予測が2：1の比率で重み付けされ（生産で最もよく行われるように手動で選択）、最終結果が得られます。

トランザクションの変換の予測は、顧客が住宅ローンの申請書を提出した瞬間から始まります。 私たちはすぐに、人が購入に直接行くか、途中で「落ちる」かを予測し始めます。 モデル開発の最初の段階では、動的な要因のみを使用しました。マネージャーの仕事の質、トランザクションの履歴、トランザクションの地域、クライアントの年齢などです。 要因の数は限られており、モデルは不安定だったので、より有益なパラメーターを追加することが決定されました：電話、彼が私たちのオフィスに来たかどうか、ドキュメントを送信しました。おかげで、予測の精度を30-40％向上させることができました。申請書を提出した最初の日に購入するかどうかを予測する確率。 さらに、連続する日ごとに、特にファイリングドキュメントの最終段階での精度が向上します（95％から99％の精度です）（最終段階で失敗が頻繁に発生するため、優れた結果です）。 モデルはxgboostで作成されました（CatBoostで試してみましたが、離陸しませんでした）。

最後に、店頭での作業と広告のモデレートも会社の優先事項です。 DomKlikサービスでは、広告は信頼できるエージェントからのみ公開されますが、重複した写真、説明のわいせつな講義などがそれらから来る可能性があるため、このような現象を特定して排除することが重要です。 また、Speech-to-Textテクノロジーを積極的に使用して、売り手とクライアント間の会話を解読し、特定のマーカーを分析します。会議に同意したか、のろいましたか。

さらに、同社は顧客がアパートを見つけやすくするよう努めています。画像タイプ認識アルゴリズムのおかげで、ユーザーは写真で広告をフィルタリングできます。 たとえば、レイアウトまたは庭の写真のみがあるアパートを検索します。

Airbnb

不動産での機械学習の使用に関する会話を締めくくり、ユージーンシャピロはサンフランシスコに拠点を置くAirbnbのスペシャリストであり、ビッグデータスペシャリストプログラムの卒業生です。 Eugeneは、プラットフォームでの不正行為を検出および防止するためのスキームについて話しました。



プラットフォームで実行される不正な取引には、アカウントの盗難、フィッシング、偽のページやリスト、盗まれたクレジットカードによる自分への支払い、スパムなど、さまざまな種類があります。 したがって、詐欺師を特定するには、ユーザーが実行するアクションの種類を最初に理解する必要があります。これは、サービスインターフェイスにより、同じアクションをさまざまな方法で実行できるためです。 さまざまな情報（クライアントのアクション、彼が残す「トレース」、さまざまなCookieなど）の収集を開始し、実行されたアクションのタイプを分類して、このアクションを許可できる可能性を評価する機械学習モデルを接続します（ -フロー評価）。 この確率が十分に高くない場合は、ユーザーが何らかの追加データを提供して、悪意（電話または電子メールによる検証）がないことを確認することをお勧めします。 たとえば、あなたのアカウントがガイアナからログインした場合、ほとんどの場合、それはあなたではありません（100％の確信はありませんが、これは確認です）。

何らかの理由でシステムが望ましくないアクションをスキップした場合、フロー外評価が適用されます。MLモデルは、既にコミットされた不正なアクションがないかデータウェアハウスをチェックします。 たとえば、誰かが同じ画像で1000個のアカウントを作成した場合、それらを識別して大規模に排除できます。 これはアカウントの停止にも適用されます。あるアカウントが他のユーザーに対して奇妙なアクションを実行したことが確実な場合、ブロックします。

流入評価をより詳細に分析すると、すべての顧客アクションはKyooという名前のルールエンジンによって評価されます（裁判官はStarTrekで呼ばれたため）。さまざまなソースからデータを収集し、一連の単純なルールの観点からイベントを評価します（たとえば、複数のIDでログインした場合）すぐに、何かが間違っている）、ラベルのそれぞれに割り当てます：アカウントが盗まれた、盗まれたカードによる支払いなど。 KyooはFacebook HaxlのようなScalaで書かれました。

データソースについては、異なるAPIを参照するだけで、データはあまり興味深いものではないことに注意する価値があります（アカウントの状態、そのリスト）。ただし、一般にリスク評価にはより集約されたメトリックが重要です：サイトでアクションが実行される頻度ページは、クライアントのクレジットカードから見た支払いの数で読み込みます。 これらのパラメーターは絶えず計算されるため、データベースから集約することは不可能です。そのため、最良のオプションは、そのようなシグナルの数を計算して「キーバリュー」タイプのストレージに格納することです。ユーザー情報の量。

ただし、ここにはアーキテクチャの問題があります。多くの場合、決定を下すには、履歴データだけでなく、現時点（より正確には、今日の終わり）にも信号が必要です。 したがって、Airbnbでは、2つの部分を持つラムダアーキテクチャの次の実装があります。1つ目は、Hiveで計算できるオフライン信号を処理し、24時間以内に収まる任意の複雑な計算を実行でき、2つ目はリアルタイムイベントです。 Kafkaを介してリアルタイム集約に進みます。

その結果、可能な限り効率的にクエリに応答する安定したデータ処理パイプラインを取得します 。 たとえば、過去7日間にこのクレジットカードで何回支払いが行われましたか？ 実際、このシグナルは、過去30日間（アーキテクチャの1つの部分から）および当日（2つの部分から）の支払い回数という、私たちが知っていることの組み合わせです。 このアプローチにより、モデルを同時にトレーニングし、実際のデータに基づいてモデルを高速化できます。

MegaFonはData Science Week 2017のパートナーであり、Pressfeedは情報パートナーです。

プレスフィード-会社に関する無料の出版物を入手する方法。 営業担当者およびPRスペシャリスト向けのジャーナリスト照会のサブスクリプションサービス。 ジャーナリストがリクエストを残し、あなたが応答しています。 サインアップ。 良い仕事をしてください。