40歳以上でプログラマーではない場合のデータセンターになる方法

適切な高等教育、または学位を持つデータセンターにしかなれないという意見があります。

しかし、世界は変化しており、技術は単なる人間に利用可能になっています。 おそらく私は誰かを驚かせるでしょうが、今日のビジネスアナリストは機械学習技術を習得し、プロの数学者、そしておそらく最高のものとさえ競争する結果を達成することができます。

根拠がないように、私の話をします-経済学者として、私はデータアナリストになり、オンラインコースで必要な知識を取得し、機械学習コンテストに参加しました。



現在、私はQIWIのビッグデータグループのリーディングアナリストですが、3年前はデータサインからは程遠い状態で、ニュースから人工知能についてしか聞いていませんでした。 しかし、その後、すべてが変わりました。大部分はCourseraとKaggleのおかげです。

だから、まず最初に。

私自身について

私はエコノミストであり、かなり長い間ビジネスコンサルタントとして働いていました。 私の専門は、その後の自動化のための予算編成と報告の方法論の開発です。 簡単な方法の場合-これは最初にプロセスを正常に構築するためのものであり、後で自動化の結果が得られます。

3年前の42歳で、コンサルティングの成功から自分がブロンズになり始めたと感じ、変化の必要性について考え始めました。 次のキャリアについて。 私はすでにキャリアをゼロから始める方法を経験していました（30歳で経済学者の静かな生活をコンサルティングに変えました）ので、その変化は私を怖がらせませんでした。

すぐには発生しませんが、考えてみると、すでに20年間働いているという事実にもかかわらず、引退までに約25年先がまだあることが明らかになります（70年以降の引退に集中しなければならないことが長い間理解されてきました） ） 一般的に、先の道はすでに通過した道よりも長く、実際の専門分野に行くのは良いことです。 だから、学ぶ価値があった。 当時はフリーランスでしたが、将来のためにプロジェクトの数を減らし、勉強するのに十分な時間を割り当てることができました。

さらにどこに進むべきか考えていたときに、コースラを発見しました。 西洋の教育へのアプローチは、彼らが主に意味、一般的な考え、そしてそれから詳細を主に説明するとき、私に近いことがわかりました。 立派な者だけが現れると想定している残忍なソビエト教育システムとは異なり、彼らは基礎教育にギャップがある私のような人々にチャンスを与えます。

私はビジネス分析コースから始めました。 これはコンサルタントとして私にとって非常に役に立ちました。 同じコースは、ビジネス開発におけるAIテクノロジーの役割をよりよく理解するのに役立ち、最も重要なこととして、これにおける私の役割を理解することができました。 これは他のテクノロジーと同じです-新しいテクノロジーを開発する人がアプリケーションで最高である必要はまったくありません。 テクノロジーがビジネスを本当に支援するためには、このビジネスを理解することが重要です。 ビジネスプロセスの専門知識は、機械学習、ビッグデータ処理などの技術を理解することと同じくらい重要です。

そして、データサイン、統計、プログラミングのコースに飛び込みました。
中断することで、1年の間にCourseraで30を超えるコースをマスターしましたが、ビッグデートや機械学習の世界ではもはやエイリアンのようには感じませんでした。

カグル

一部のコースでは、Kaggleを練習に最適な場所として推奨しています。 間違いを繰り返さないでください-十分な知識を蓄積したとすでに感じたときにだけそこに来ました。 そして、6か月前に何をどのように最初に理解したかを知る価値がありました。 それは6ヶ月間より涼しいでしょう。 結局のところ、これは競技会場の1つに過ぎず、実際に機械学習を習得するための最良の（現在の）プラットフォームであり、初心者とスーパーグルの両方に役立ちます。 そして、彼らが言うように、あなたは2日1日成長します-練習のないコースだけがそのような効果を持ちません。

私の最初の競争はサンタンデール銀行のコンテストで 、顧客満足度を予測しました。 私は初心者で、ビジネスの知識のレベルをチェックしたかったです。 銀行のクライアントとしての経験と、ビジネスケースと機械学習テクノロジーを分析するスキルを組み合わせて、パブリックリーダーボードでトップ50に入るかなり良いモデルを作成しました。 5千人以上が参加したことを考えると、これは最初の競争からの私の予想よりもはるかに高かった。

しかし、すべてがそれほど単純ではありませんでした。 幸せな週末を稼げませんでした。 初心者の間では、実際に出会った「モデルの再トレーニング」などの共通の問題があります。 ローカル検証はうまく組織されておらず、私は公開に集中しすぎていたため、テストのクローズド部分では、500以上のポジションを飛びました。 もちろん、私は怒っていましたが、教訓は未来に向けられました。適切な検証は機械学習の基礎であり、真剣に取り組む必要があります。 今、このコンポーネントは私のモデルの強みの一つです。

最初の結果は弱いものの、トップに立つことは本物であるという自信があり、さらなる練習と追加の知識が必要です。

Cuggleのメリットがわからない人のために、コミュニティは初心者が何らかのギャグを克服し、アイデアを話し合い、「仕組み」の例を共有できるよう支援しています。 まあ、それと同じくらい重要です-競争の終わりに、リーダーの決定を研究する機会があります。 他の人の経験から学び、あなたは急速な進歩を遂げることができます。 自分ですべての熊手を踏む必要はありません。

すぐに私は助けることができませんが、ロシア語を話すデータ科学者のコミュニティであるOpenDataSaines（ods.ai）について覚えています。 ODSが開催する機械学習トレーニングは、このテーマについてさらに学ぶためのもう1つの方法です。 まあ、あらゆる問題に関するコミュニケーションのためのプラットフォームとして、それはまた多くを助けます。 データサインの将来について考えていて、まだodsに登録していない場合、これは重大な間違いです。

Cuggleでの高い結果の期待は、Datacientistの求人でよく言及されていたので、この機会を見つけました-経験を積むことに加えて、多かれ少なかれ関連する経験で空の履歴書に記入することが可能です。 私はCuggleをキャリアのスタートがボーナスになる仕事として扱い始めました。

空き時間が出たらすぐに、Cuggleでモデルを作成し、各競技で結果が良くなりました。

ほとんどの参加者にはないものがありました。ビジネスケースを分析する能力とコンサルティングの経験は、モデルの構築に大いに役立ちました。 6か月後、私はサンタンデール銀行からの次のコンテストで7位になり、私の最初の金メダルを獲得しました。

ある目標を目指して努力し続ければ、それを達成できます.1年後の2017年6月、Cuggleでの私の戦いのほんの少しで、ラトビアの開発者Agnis Lukisと一緒に、モスクワのアパート価格を予測するためにSberbankからの競争に勝ちました。



私たちの強みは、ケース（これは複雑なタスクであり、その解決策は大多数が行ったように額に近づけるべきではなかった）と強力なローカル検証を理解することでした。 私たちは公の場で2番目に競争を終えましたが、私たちのモデルは再トレーニングにそれほど苦しみませんでした。そして、閉じたデータにあまりたるみませんでした。

この勝利により、私は世界的なKaggleランキングのトップ50にランクインし、その結果、求人になりました。 オプションを検討した後、スキルを向上させることができる多くのタスクがあり、モデルを開発するときに人生の真実を感じる場所として銀行を選びました-それにもかかわらず、条件は競争ではむしろ温室です。

私のキャリアプランは野心的であり、「次のレベルに成長するために数年働かない」オプションは考慮されていませんでした。 職場で掘り下げる必要があり、2番目のシフトではCuggleを忘れないでください。 簡単ではありませんが、今は誰にとって簡単ですか？ そして、これは結果をもたらしました-さらに3つの金メダルと私はCuggleでグランドマスターの肩章を獲得し、グローバルトップ（現在23位）に定着しました。

ケーキのさくらんぼのように-銀行の得点コンテストで3番目の賞、これは私が昨年プロとしてやったことです。 そして、どうやら彼は元気でした。

悲しいかな、銀行の生活の真実は非常に保守的で迅速な意思決定プロセスでもあります。 私のモデルの紹介はゆっくりと動いていました。 銀行全体の仕事を再建する計画はなかったので、後悔はあるものの、転職するのは簡単でした。

これはまったく難しいことではありませんでした-Cuggleの結果のおかげで、検索にそれほど時間はかかりませんでした。数か月間、QIWIで何十億ものテーブルを掘ってきました。 私たちにはたくさんの興味深いタスクがありますが、すぐにデータを会社の利益に変えることができると確信しています-エコノミストのバックグラウンドはこれに大いに役立ちます。 ここのカグループはまた、いくつかのケースで興行収入になった。

そして今、競争で成功する方法について

最も重要な部分は、問題を理解し、結果に影響を与える可能性のあるすべてのドライバーを見つけることです。 ケースをよく理解すればするほど、クールになる可能性が高くなります。 誰もが数百または数千の統計機能を生成できますが、このタスクに特化したものを考え出し、ターゲットを十分に説明できます。これははるかに複雑です。 これに投資して、すぐにトップに立ちましょう。 関連する経験（ビジネス、家庭など）を適用する価値があります-それは大いに役立ちます。

その後-ローカル検証。 特に勾配ブースティングなどの強力な技術を使用する場合、主な敵は再訓練です。 パブリックリーダーボードに集中するのをやめることは心理的に難しいことはわかっていますが、失望したくない場合は、クロスバリデーションを使用して、遅延選択に対して「いいえ」と答えることが正しい答えです。 もちろん例外もありますが、時系列に問題がある場合でも、相互検証を強化して、モデルの信頼性を大幅に高めることができます。 ローカル検証スキームは必ずしも単純ではありませんが、競技会と実生活の両方で時間を費やす価値があります。 報酬は安定したモデルになります。

もちろん、基本的なツールをよく勉強する必要があります。 さまざまなテクノロジーの原則を知っていれば、特定の問題を解決するための最適なツールを適切に選択できます。 表形式データの場合、勾配ブースティングがリーダー、特にLightgbmになりました。 しかし、ロギングからニューラルネットワークまで、他の方法を使用できるようにすることが重要です。生活や競技会では、これらは不要ではありません。

ところで、すべてが急速に変化しているときに、現在どのテクノロジーが推進しているのかを理解する最良の方法は、競合リーダーが使用しているライブラリを確認することです。 近年、価値のある多くの技術がCuggleを通じて世界に侵入しました。

ハイパーパラメーター 使用するツールの主要なハイパーパラメーターを知ることが重要です。 通常、多くのパラメーターを変更する必要はありません。 私の考えでは、ハイパーパラメータの選択に多くの時間を費やすべきではないということです。 もちろん、適切なハイパーパラメーターを見つける必要がありますが、サイクルを繰り返してはいけません。

通常、モデルの概要を説明するときは、他のアイデアがなくなったときに、多少安定したパラメーターセットを選択し、最後に近いチューニングに戻ります。 常識的には、新しい変数、ライブラリ、および非標準のアイデアの作成とテストに費やす時間は、優れたハイパーパラメーターセットから理想的なパラメーターセットへの移行から改善するよりもはるかに大きなモデルの増加をもたらす可能性があります。

履歴書を送り出す機能としてKaggleに依存している場合-これを仕事だと考えても、後悔することはありません。 それは私を助け、あなたを助けます。

競争について繰り返します。 彼女はここで非常に高いので、一人で勝つことは非常に非常に困難です。 チームワークは非常に便利です。アイデアの相乗効果により、頭の上に飛び乗ることができます。 気軽に使用してください。

合計

まあ、最後に少し動機。 まず、44歳でデータセンターになることができることを証明しました。 レシピは驚くほどシンプルであることがわかりました-オンライン教育、ビジネス指向の思考、パフォーマンス、そして決意。



今、私はあらゆる点で私の友人が同じように行くことを奨励しています。 新しいデジタルエコノミーには、一流の専門家が必要です（必要になります）。 Coursera + Kaggleは開始するのに最適な場所です。

むかしむかし、Excelは新しいわかりにくいツールでした（最初の戦いが従来の計算機でどれほど難しかったかさえ覚えています）。 そして今、結局のところ、彼のビジネスに精通している専門家がExcel開発者自身よりもはるかに多くの本当の利益をExcelから絞り出せることを誰も疑いません。

少し時間が経ち、機械学習ツールの所有権はExcelの所有権と同じように必須になるので、事前に準備して労働市場での競争に勝ってみませんか？

さらに、競争を恐れてはいけません。 ビジネス側からより多くの人々がデータサインに来るほど-より多くのお金。 経済の伝統的な分野に新しい技術を導入することでビジネスを加速させることができます。そのために、ビジネスは新しい技術が今日開いている機会を理解し始める必要があります。 実際、いくつかのコースをマスターしたビジネスアナリストは、進歩の最前線に立つことができ、彼の会社が保守的な競合他社を追い抜くのを助けることができます。

私の経験が誰かが重要な決定を下すのに役立つことを願っています。
Kaggleについてご質問がある場合は、お書きください。コメントでお答えします。