流出を予測したように、自然災害としてそれに近づく

問題を解決するために、別の角度から問題を見るだけでよい場合もあります。 過去10年間に、このような問題が異なる効果で同じ方法で解決されたとしても、この方法が唯一の方法であるということは事実ではありません。

顧客チャーンのようなトピックがあります。 あらゆる企業の顧客は、多くの理由で製品やサービスを利用したり停止したりすることがあるため、事態は避けられません。 もちろん、企業にとって流出は自然ですが、最も望ましいアクションではないため、誰もがこの流出を最小限に抑えようとしています。 さらに良いことは、特定のカテゴリのユーザーまたは特定のユーザーが流出する可能性を予測し、保持手順を提供することです。

可能な場合は、少なくとも次の理由により、顧客を分析し、維持してください。

• 新規顧客を引き付けることは、保持手順よりも費用がかかります 。 新しい顧客を引き付けるには、通常、いくらかのお金（広告）を費やす必要がありますが、既存の顧客は特別な条件の特別オファーでアクティブ化できます。
• 顧客が去る理由を理解することは、製品とサービスを改善するための鍵です。

流出を予測する標準的なアプローチがあります。 しかし、AIチャンピオンシップの1つで、このためにワイブル分布を使用して試してみることにしました。 ほとんどの場合、生存分析、天気予報、災害分析、産業工学などに使用されます。 ワイブル分布は、2つのパラメーターでパラメーター化された特別な分布関数です。 $$$λ$そして $$$k$。


ウィキペディア

一般的には面白いものですが、流出を予測するために、そして実際フィンテックではあまり使用されていません。 カットの下で、私たち（データマイニング研究所）がどのようにして「AI in Banks」ノミネートのAIチャンピオンシップでゴールドを獲得したかを説明します。

一般的な流出について

クライアントの流出とは何か、なぜそれが重要なのかを見てみましょう。 ビジネスでは、顧客基盤が重要です。 新規顧客はこのデータベースにアクセスします。たとえば、広告から製品またはサービスについて学んだ後、彼らはしばらくの間（製品を積極的に使用し）、しばらく使用をやめます。 この期間は「カスタマーライフサイクル」（カスタマーライフサイクル）と呼ばれます。商品について知り、購入を決定し、支払い、使用し、忠実な消費者になり、最終的に使用をやめるときのステップを説明する用語です。何らかの理由または別の製品のため。 したがって、流出は、クライアントがサービスの使用をやめるときのクライアントのライフサイクルの最終段階であり、これはビジネス上、クライアントが収益性を失い、一般に利益を失うことを意味します。

銀行の各クライアントは、特定の銀行カードを自分のニーズに合わせて選択する特定の人です。 頻繁に旅行します-マイルのある地図は便利です。 彼はたくさん買う-こんにちは、キャッシュバック付きカード。 彼は特定の店でたくさん買います-このために特別なアフィリエイトプラスチックが既にあります。 もちろん、「最も安いサービス」の基準に従ってカードが選択されることもあります。 一般に、ここには十分な変数があります。

また、人は銀行自体を選択します-あなたがハバロフスク出身の場合、支店がモスクワと地域にのみある銀行カードを選択する価値はありますか？ そのような銀行のカードが少なくとも2倍の収益性がある場合、近くに銀行支店があるかどうかは重要な基準です。 はい、2019年はすでにここにあり、デジタルがすべてです。しかし、一部の銀行の多くの問題は支店でしか解決できません。 さらに、人口の一部は、スマートフォンアプリケーションよりも物理的な銀行を信頼しているため、これも考慮する必要があります。

その結果、銀行の製品（または銀行自体）を拒否する多くの理由があります。 彼は仕事を変え、カード率は給与から「単なる人間のため」に変わりました。 彼は銀行の支店がない別の都市に引っ越しました。 部門の未熟なオペレーターと話すのは好きではありませんでした。 つまり、製品を使用するよりもアカウントを閉鎖する理由がさらに多くあります。

そして、クライアントは自分の意思を明示的に表明するだけでなく、銀行に来て声明を書くだけでなく、契約を破らずに製品の使用をやめるだけです。 ここでは、このような問題を理解するために、機械学習とAIを使用することにしました。

さらに、顧客の流出はあらゆる業界で発生する可能性があります（一般に、テレコム、インターネットプロバイダー、保険会社、顧客ベースと定期的な取引がある場合）。

私たちは何をしましたか

まず第一に、明確な境界を記述する必要がありました-いつからクライアントがなくなったと考え始めるか。 仕事のためのデータを提供してくれた銀行の観点から見ると、クライアントのアクティビティの状態はバイナリでした-アクティブかそうでないかのどちらかです。 「Activity」テーブルにACTIVE_FLAGフラグがあり、その値は「0」または「1」（それぞれ「Inactive」および「Active」）の可能性があります。 そして、すべてがうまくいくでしょうが、人はしばらくそれを積極的に使用し、その後1ヶ月間アクティブな範囲から落ちることができるようなものです-彼は病気になり、休息するために別の国に行き、さらに別の銀行のカードをテストしに行きます。 または、非アクティブな状態が長時間続いた後、銀行のサービスの使用を再開することもできます

そのため、非アクティブ期間を、そのフラグが「0」に設定されている特定の連続期間と呼ぶことにしました。



クライアントは、さまざまな長さの非アクティブ期間の後、非アクティブからアクティブになります。 経験的価値の度合い「非アクティブ期間の信頼性」、つまり、一時的に非アクティブになった後に再び銀行の商品を使用し始める可能性を計算する機会があります。

たとえば、このグラフは、数か月の非アクティブ（ACTIVE_FLAG = 0）後の顧客のアクティビティの再開（ACTIVE_FLAG = 1）を示しています。



ここで、作業を開始したデータセットを少し明確にします。 そのため、銀行は次の表で19か月間の集計情報を提供しました。

• 「アクティビティ」-給与および離職情報を含む、毎月の顧客取引（カード、インターネットバンキングおよびモバイルバンキング）。
• 「カード」-クライアントが詳細な料金表を持つすべてのカードのデータ。
• 「契約」-クライアント契約（オープンとクローズの両方）に関する情報：ローン、預金など、それぞれのパラメーターを示します。
• 「クライアント」-人口統計データ（性別と年齢）と連絡先データの可用性のセット。

作業には、「マップ」以外のすべてのテーブルが必要でした。

ここでの困難は何か他のものでした-このデータでは、銀行はカードでどのような活動が行われたかを示していませんでした。 つまり、トランザクションがあるかどうかは理解できましたが、トランザクションのタイプを判別できなくなりました。 したがって、クライアントが現金を引き出しているのか、給料を受け取っているのか、購入にお金を使っているのかは不明でした。 また、アカウントの残高に関するデータもありませんでした。これは便利です。

サンプル自体には偏りがありませんでした-このセクションでは、19か月間、銀行は顧客を維持し、流出を最小限に抑えることを試みませんでした。

したがって、非アクティブな期間について。

流出の定義を定式化するには、非アクティブ期間を選択する必要があります。 ある時点で流出予測を作成するには $$$tt$、間隔内に少なくとも3か月の顧客履歴が必要です $$$[t-3; t-1]$。 私たちの歴史は19か月に制限されていたため、6か月の非アクティブ期間がある場合は、その期間を取ることにしました。 また、定性的予測の最小期間には3か月かかりました。 顧客データの動作の分析に基づいて経験的に取得した3か月および6か月の数値。

次のように定式化した流出の定義：月流出クライアント $$$k$これは、ACTIVE_FLAG = 0の最初の月です。この月から、ACTIVE_FLAGフィールドの少なくとも6つのゼロが続きます。つまり、クライアントが6か月非アクティブであった月です。


出発客数


残りの顧客数

一般的に信じられているように、流出

そのような競争、そして実際には、流出はしばしばこのように予測されます。 クライアントは異なる間隔で製品とサービスを使用し、クライアントとの相互作用に関するデータは、固定長nの符号のベクトルの形式で提示されます。 ほとんどの場合、この情報には以下が含まれます。

• ユーザー固有のデータ（人口統計データ、マーケティングセグメント）。
• 銀行の製品およびサービスの使用履歴（これらは常に、特定の時間または必要な間隔の期間に関連付けられている顧客のアクションです）。
• 外部データ（取得できる場合）-たとえば、ソーシャルネットワークからのレビュー。

そしてその後、彼らは流出の定義を導き出します。それは各タスクごとに異なります。 次に、機械学習アルゴリズムを使用して、クライアントが離れる可能性を予測します $$$k$因子のベクトルに基づく $$$X ^ n$。 アルゴリズムを学習するために、決定木のアンサンブルを構築するためのよく知られたフレームワークの1つであるXGBoost 、 LightGBM 、 CatBoostまたはそれらの修正が使用されます。

アルゴリズム自体は悪くありませんが、流出を予測するという点では、いくつかの重大な欠点があります。

• 彼はいわゆる「記憶」を持っていません 。 モデルの入力は、現在の時間に対応する指定された数の特徴を受け取ります。 パラメータの変更履歴に関する情報を得るには、たとえば過去1.2.3か月間の銀行取引の数や量など、パラメータの経時的な変化を特徴付ける特別な機能を計算する必要があります。 このようなアプローチは、一時的な変更の性質を部分的にしか反映できません。
• 予測期間が修正されました。 このモデルは、たとえば1か月前の予測など、所定の期間だけ顧客の流出を予測できます。 たとえば、3か月など、別の期間の予測が必要な場合は、トレーニングセットを再構築し、新しいモデルを再トレーニングする必要があります。

私たちのアプローチ

私たちはすぐに、標準的なアプローチを使用しないと決めました。 私たちに加えて、497人がチャンピオンシップに登録し、それぞれが良い経験をしました。 そのため、このような状況で標準パターンに従って何かをしようとすることは、良い考えではありません。

そして、顧客の流出時間の確率分布を予測することにより、バイナリ分類モデルが直面する問題を解決し始めました。 ここでも同様のアプローチを見ることができます 。これにより、従来のアプローチよりも柔軟に流出を予測し、より複雑な仮説をテストできます。 流出時間をシミュレートする分布のファミリーとして、生存分析で広く使用されているワイブル分布を選択しました。 顧客の行動は一種の生存とみなすことができます。

パラメーターに応じたワイブル確率密度分布の例を次に示します $$$λ$そして $$$k$：



これは、3人の異なる顧客の長期にわたる顧客チャーンの確率密度分布です。 時間は月単位で表示されます。 つまり、このグラフは、クライアントが今後2か月以内に流出する可能性が最も高いことを示しています。ご覧のとおり、分布のあるクライアントは、ワイブル（2、0.5）およびワイブル（3.1）分布のクライアントよりも早く離脱する可能性が高くなります。

結果は、すべてのクライアントに対して、
は、ワイブル分布パラメーターを予測します。これは、時間の経過とともに流出する確率の開始を最もよく反映しています。 詳細の場合：

• トレーニングサンプルのターゲット属性-特定のクライアントの特定の月に流出するまでの残り時間。
• クライアントに流出インジケータがない場合、流出時間は現在および過去の履歴から始まって月数よりも長いと想定します。
• 使用されたモデル：LSTM層を備えたリカレントニューラルネットワーク。
• 損失関数として、ワイブル分布の負の対数尤度関数を使用します。

この方法の利点は次のとおりです。

• 確率分布は、バイナリ分類の明らかな可能性に加えて、たとえば、クライアントが3か月以内に銀行のサービスの使用をやめるかどうかなど、さまざまなイベントを柔軟に予測できます。 また、必要に応じて、この分布全体でさまざまなメトリックを平均化できます。
• LSTMリカレントニューラルネットワークにはメモリがあり、履歴全体を効率的に使用します。 履歴の拡張または改良により、精度が向上します。
• 時間間隔を小さな間隔に分割する場合（たとえば、月を週に分割する場合）、アプローチは問題なくスケーリングできます。

しかし、良いモデルを作成するだけでは不十分です。その品質を適切に評価する必要もあります。

品質を評価する方法

メトリックとして、リフト曲線を選択しました。 理解可能な解釈のために、このような場合のビジネスで使用されます;それはこことここでよく説明されています 。 このメトリックの意味を1つの文で説明すると、「最初のアルゴリズムで最適な予測が行われる回数」が得られます。 $$$k$ランダムよりも％。

モデルを訓練します

競争条件は、さまざまなモデルとアプローチを比較できる特定の品質指標を確立しませんでした。 さらに、流出の概念の定義は異なる場合があり、問題のステートメントに依存する場合があります。このステートメントは、ビジネス目標によって決定されます。 したがって、どちらの方法が優れているかを理解するために、2つのモデルをトレーニングしました。

1. 決定木アンサンブル（ LightGBM ）の機械学習アルゴリズムを使用する、頻繁に使用されるバイナリ分類アプローチ。
2. モデルWeibull-LSTM

テストサンプルは、トレーニングサンプルに含まれていない事前に選択された500人の顧客で構成されていました。 モデルの場合、クライアントによる相互検証を使用してハイパーパラメーターが選択されました。 各モデルをトレーニングするために、同じ属性セットが使用されました。

モデルにはメモリがないため、過去3か月間のパラメーターの平均値に対する1か月のパラメーターの変化の比率を示す特別な兆候がモデルに取られました。 3か月の最後の期間にわたる値の変化率を特徴付けるもの。 これがないと、ランダムフォレストに基づくモデルは、以前はワイブルLSTMに対して負けていました。

ワイブル分布を持つLSTMが、決定木のアンサンブルに基づくアプローチよりも優れている理由

ここでは、すべてが明らかに文字通りいくつかの写真です。


従来のアルゴリズムとWeibull-LSTMのリフト曲線の比較


クラシックアルゴリズムとWeibull-LSTMの月間リフトカーブメトリック比較

一般に、LSTMはほとんどすべての場合に古典的なアルゴリズムを実行します。

流出予測

ワイブル分布のLSTMセルを備えたリカレントニューラルネットワークに基づくモデルは、流出を事前に予測できます。たとえば、今後nか月間のクライアントの離脱を予測できます。 n = 3の場合を考えます。この場合、毎月、ニューラルネットワークは、クライアントが次の月からn番目の月まで去るかどうかを正しく判断する必要があります。 つまり、彼女は、クライアントがnか月後に残るかどうかを正しく判断する必要があります。 これは、事前に予測と見なすことができます。クライアントが去る方法について考え始めた瞬間を予測します。

流出の1、2、3か月前のワイブルLSTMのリフト曲線を比較します。



すでに上で書いたように、しばらくアクティブでない顧客向けに作成された予測も重要です。 したがって、ここでは、出発したクライアントが既に1か月または2か月間非アクティブである場合にこのようなケースをサンプルに追加し、Weibull-LSTMがそのようなケースを流出として正しく分類することを確認します。 このようなケースはサンプルに含まれていたため、ネットワークがそれらにうまく対処できると期待しています。

顧客維持

実際、これは、そのような顧客が製品の使用をやめる準備をしているという手元の情報で行うことができる主なものです。 顧客を維持するために顧客に有益な何かを提供できるモデルの構築について言えば、うまくいくような試みの履歴がない限り、これは機能しません。

そんな話はありませんでしたので、このように決めました。

1. 各クライアントの興味深い製品を定義するモデルを構築します。
2. 毎月、分類子を実行し、潜在的な発信顧客を特定します。
3. 一部の顧客は、パラグラフ1のモデルに従って製品を提供し、その行動を覚えています。
4. 数か月後、これらの潜在的に発信する顧客のうち、どれが残っており、どれが残っているかを調べます。 したがって、トレーニングサンプルを作成します。
5. パラグラフ4で得られたストーリーでモデルをトレーニングします。
6. 必要に応じて、手順を繰り返して、段落1のモデルを段落5で取得したモデルに置き換えます。

通常のA / Bテストは、このような保持の品質のチェックとして機能します。離脱する可能性のある顧客を2つのグループに分けます。 保持モデルに基づいた製品を1つに提供し、2つ目には何も提供しません。 この例のポイント1で既にメリットが得られるモデルをトレーニングすることにしました。

セグメンテーションをできるだけ解釈しやすくしたかったのです。 これを行うために、簡単に解釈できるいくつかの兆候を選択しました：トランザクションの総数、給与、アカウントの総売上高、年齢、性別。 「カード」テーブルの兆候は情報価値のないものとして考慮されておらず、表3「契約」の兆候は検証セットとトレーニングセットの間のデータ漏洩を回避するための処理の複雑さのためです。

クラスタリングは、ガウス混合モデルを使用して実行されました。 赤池は、2つの最適条件を決定することを許可しました。 最初の最適値は1クラスターに対応します。 あまり目立たない2番目の最適は80クラスターに対応します。 この結果から次の結論を導き出すことができます。先験的に情報を与えずにデータをクラスターに分割することは非常に困難です。 クラスタリングを改善するには、各クライアントを詳細に説明するデータが必要です。

そのため、個々のクライアントに製品を提供するために、教師とのトレーニングのタスクが考慮されました。 次の製品が検討されました：「定期預金」、「クレジットカード」、「当座貸越」、「消費者ローン」、「自動車ローン」、「住宅ローン」。

別のタイプの製品がデータに存在しました：「当座預金」。 しかし、情報量が少ないため、考慮しませんでした。 銀行の顧客であるユーザー、つまり 彼らは製品の使用をやめず、どの製品が彼らの興味を引くかを予測するモデルが構築されました。 ロジスティック回帰がモデルとして選択され、最初の10パーセンタイルのリフト値が品質評価指標として使用されました。

モデルの品質は図で推定できます。


顧客推奨モデルの結果

まとめ

このアプローチにより、RAIF-Challenge 2017 AI Championshipで「AI in Banks」にノミネートされました。



どうやら、主なことはそれにもかかわらず、あまり馴染みのない側から問題にアプローチし、他の状況で使用するのに慣習的な方法を使用することでした。

ユーザーの大規模な流出は、サービスにとっては自然災害かもしれません。

この方法は、銀行全体ではなく、流出を考慮に入れることが重要な他の分野に注目できます。 たとえば、ロステレコムのシベリア支店とサンクトペテルブルク支店で、独自の流出を計算するために使用しました。

「データマイニング研究所」会社「検索ポータル」スプートニク」