Rで最適なアパートを購入する

多くの人々は不動産の売買の問題に直面しており、ここでの重要な基準は、他の同等のオプションと比較して、より高価なものを購入したり、安く販売したりしないことです。 最も単純な方法は、特定の場所でのメーターの平均価格に焦点を合わせ、特定のアパートの長所と短所の費用の割合を巧妙に増減する比較方法です。 しかし、このアプローチは時間がかかり、不正確であり、アパートのさまざまな違いをすべて考慮することはできません。 したがって、「公正な」価格を予測してデータ分析を使用し、不動産を選択するプロセスを自動化することにしました。 この出版物では、このような分析の主要な段階について説明し、3つの品質基準に基づいて18のテスト済みモデルから最適な予測モデルを選択します。その結果、Rを使用して作成された1つのWebアプリケーションを使用して、最高の（過小評価された）アパートがすぐにマップにマークされます

データ収集

問題の声明から明らかなように、データの入手先の問題が生じます。ロシアには不動産を見つけるための主要なサイトがいくつかあり、WinNERデータベースがあります。かなり便利なインターフェイスには最大数の広告が含まれ、csv形式でアップロードできます。 ただし、このベースで以前に時間ベースのアクセス（分、時間、日）が許可されていた場合、最小3か月のアクセスになり、通常の買い手または売り手にとっては多少冗長になります（真剣に受け止めたとしても、これらの費用は発生します）。 このオプションを使用すると、非常に簡単になります。そのため、他の方法で、不動産サイトから解析してみましょう。 いくつかのオプションから、最も便利な悪名高いcian.ruを選択しました。 当時、データ表示は単純な表形式で表示されていましたが、すべてのデータをRに解析しようとすると失敗しました。 一部のセルでは、データが不完全な場合があり、R関数の標準的な手段では、アンカーワードまたはシンボルをキャッチできず、ループ（このようなタスクのRでは正しくありません）を使用するか、まったく知らない正規表現を使用する必要がありました、したがって、私は代替手段を使用する必要がありました。 この代替手段は、ページ（またはサイト）から情報を取得できる独自のREST APIを持ち、JSONの結果を返す優れたサービスimport.ioであることが判明しました。 また、RはAPIへのリクエストを実装し、JSONを解析できます。
このサービスをすぐにマスターしたので、1つのページからすべての必要な情報（各アパートメントのすべてのパラメーター）を抽出する抽出プログラムを作成しました。 そして、Rはすでにすべてのページを反復処理し、それぞれに対してこのAPIを呼び出し、受信したJSONデータを単一のテーブルに接着します。 import.ioを使用すると、すべてのページを処理する完全に自律的なAPIを作成できますが、サードパーティのAPIを正しく配置（1ページを解析）し、残りをRで引き続き実行できないと判断しました。将来のモデルの制限について、データソースが選択されます。

1. モスクワ市
2. モデル内のアパートの1つのタイプ（つまり、odnushkiまたはdvushkaまたはtreshka）
3. 同じ地下鉄駅内（ジオコーディングが使用されているため、最寄りの地下鉄駅までの距離）
4. 再販（新しい建物はすべて根本的に異なり、互いに質的に異なるため、これは広告では言われていないか、コメントに何かが書かれていますが、どちらも適切なモデルを作成することはできません）

データの概要

よくあることですが、データには、排出量、ギャップ、および新しい建物が二次財産として売却されたり、土地を売却したりするときのデマが含まれているだけです。
したがって、最初はすべてのデータを「きちんとした」外観にする必要があります。

チートチェック

ここでは主に発表の説明に重点を置いており、明らかに必要なサンプルに関連しない単語がある場合、これらの観察は除外され、R grep関数によってチェックされます。 また、計算はRのベクトルであるため、この関数は正しい観測値のベクトルをすぐに返し、それを適用して、サンプルをフィルター処理します。

欠損値を確認する

欠落した値は非常にまれです（そして主に「現時点」で既に除外されている新しい建物と土地を含む「左」広告では）、残っている値では、何かをする必要があります。 一般に、このような観測を除外するか、これらの欠損値を置き換えるには、2つのオプションがあります。 観測を犠牲にしたくはありませんでしたが、データは「何を入力するのか」という原則に基づいて入力されていないと仮定して、定性変数をその値のモードに置き換え、定量的（フッテージ）を中央値。 もちろん、これは完全に正しいわけではなく、観測間の相関を実行し、得られた結果に応じてギャップを埋めることは完全に正しいでしょうが、このタスクでは、この冗長性を考慮し、さらに、そのような観測はほとんどありません。

排出チェック

放出はさらに一般的ではなく、量的、すなわち価格と映像の観点からのみ可能です。 ここでは、買い手（I）が自分のアパートの価格とおおよその映像を具体的に知っているという前提から進んだため、上限と下限の価格の初期値を設定し、映像を制限して、自動的に排出を取り除きます。 ただし、そうでない場合でも（制限を行わないでください）、結果を取得するか、散布図を見て異常値があることを確認すると、更新されたデータを使用してクエリを実行し、これらの観測を削除することでモデルを改善できます。

ガウス・マルコフの定理の主要な前提

リグレッサーセット

変数（サイトから直接取得）に加えて、追加のリグレッサー、つまり5階建てのビルかどうか（これは通常非常に質的な違いであるため）、および最寄りのメトロまでの距離（同様に）を追加することにしました。 距離を決定するために、GoogleジオコーディングサービスAPIが使用されます（最も正確で制限に忠実で、Rに既製の関数があります）、アパートとメトロの住所が最初にジオコーディングされ、 ggmapパッケージのジオコード関数が使用されます。 そして、距離は、haversineの式によって決定され、 geosphereパッケージのdistHaversine関数によって準備されます。
リグレッサーの総数は14個でした。

1. メトロまでの距離
2. 総面積
3. リビングエリア
4. キッチンエリア
5. ハウスタイプ
6. エレベーターの可用性と種類
7. 可用性とバルコニーの種類
8. バスルームの数と種類
9. 窓はどこに行きますか？
10. 電話の可用性
11. 販売の種類
12. 1階
13. 最上階
14. 5階建ての建物

テスト済みの予測分析モデル

モデル性能基準

モデルテスト結果

地図表示

勝者が決定されます（ランダムフォレスト）。このモデルは、すべての観測値の「理論上の」価格を最小の誤差で予測します。 これで、絶対的、相対的な過小評価を計算し、ソートされたテーブルの形式で結果を表示できますが、表形式ビューに加えて、すぐに情報を得たいので、最良の結果の一部をすぐにマップに表示します。 このため、RにはGoogleマッピングシステムとの統合用に設計されたgoogleVisパッケージがあります（ただし、リーフレット用のパッケージもあります）。 ジオコーディングから受け取った座標を他の地図に表示することは禁止されているため、Googleも引き続き使用しました。 マップ上の表示は、 googleVisパッケージの1つのgvisMap関数によって実行されます。

Web GUI

必要なすべてのパラメーターをコンソールに渡すのは時間がかかり、不便なので、すべてを自動的に実行したかったのです。 そして伝統的に、このために、十分なI / Oコントロールを持つshinyとshinydashboardフレームワークでRを再び使用できます。


これらすべての結果は、グラフィカルインターフェイスを備えた便利なアプリケーションであり、実際にはサイドメニューの2つの主要なポイント（制御用の他のアイテム）が最初と最後にあります。 サイドメニュー（図1）の最初の（ ソースデータ ）項目には、アパートの検索と評価に必要なすべてのパラメーター（cianに類似）が設定されています。


図1選択されたメニューのウィンドウソースデータ

サイドメニューの残りの項目に表示されます：

• リグレッサーの要約レポート
• データテーブル（生（ 生データ ）-解析後の初期、きちんとした（ 整頓されたデータ ）-パラメーターをきちんとした外観にし、パラメーターを調整し、ジオロケーションを追加した後、および最終（ 予測データ ）予測価格値の表）
• 3つのプロット図（図2）-モデルの精度とランダムフォレストアルゴリズムのリグレッサの重要性（ほとんどすべてのリグレッサが重要です）および初期価格と予測価格の分散図。

図2選択したプロットメニューのウィンドウ

さて、最後の段落（ 結果マップ ）（図3）には、すべてが何のために開始されたか、選択された最良の結果のマップ、計算された予測価格とアパートの主な特性のテーブルが表示されます。


図3選択したメニューのウィンドウ結果マップ

また、この表には、この広告に移動するためのリンク（*）がすぐにあります。 この統合（表のJS要素を含む）により、 DTパッケージを作成できます。

おわりに

上記のすべてを要約すると、それはどのように機能しますか：

1. 最初のページでは、最初のリクエストはコントロールを使用して設定されます
2. これらの入力要素の選択に基づいて、クエリ文字列が形成されます（検証用のハイパーリンクとしても示されます）
3. ページを示すこの行はimport.io APIに渡されます（これをすべて作成する過程で、 import.ioのおかげでcianは出力インターフェースを変更し始めました。文字通り5分で抽出プログラムを再トレーニングしました）
4. APIから受信したJSONが処理されます
5. すべてのページがスキャンされます（プロセスでは、プロセスのステータスバーが表示されます）
6. テーブルは接着され、チェックされ（不正な値は除外され、欠損値は置換されます）、分析に適した均一な形式になります
7. 住所のジオコーディングと距離の決定
8. モデルは、ランダムフォレストアルゴリズムに従って構築されます
9. 予測価格、絶対、相対偏差が決定されます
10. 最良の結果は、マップとその下の表に表示されます（表示されているアパートメントの数は最初のページに示されています）

アプリケーションのすべての作業（リクエストの開始から地図上の表示まで）は1分未満で完了します（ほとんどの時間は位置情報に費やされます。これは、家庭での使用に関するGoogleの制限です）。

この出版物は、単純な家庭のニーズのために、1つのアプリケーションのフレームワーク内で、多くの小さな、しかし根本的に異なる興味深いサブタスクを解決できることを示しました。

• 鳴き声
• 解析
• サードパーティAPIの統合
• JSON処理
• ジオコーディング
• さまざまな回帰モデルを使用する
• さまざまな方法での有効性の評価
• ジオロケーション
• 地図表示

さらに、これらはすべて、ローカルまたはネットワーク上でホストできる便利なグラフィカルアプリケーションに実装され、すべてこれは1つのR（ import.ioをカウントしない）で行われ、シンプルでエレガントな構文の最小限のコード行で行われます。 もちろん、高速道路の近くの家やアパートの状態（これは広告に含まれていないため）などは考慮されませんが、マップにすぐに表示され、元の広告自体へのリンクを含む最終的なランク付けされたオプションのリストは、アパートの選択を非常に容易にしますそれに加えて、Rで多くのことを学びました。