JupyterHub、または数百人のPythonユーザーを管理する方法。 ヤンデックス講義

Jupyterプラットフォームを使用すると、初心者の開発者、データアナリスト、学生がPythonでプログラミングをすぐに開始できます。 あなたのチームが成長したとします-今ではプログラマーだけでなく、マネージャー、アナリスト、研究者も含まれています。 遅かれ早かれ、共有作業環境の欠如と設定の複雑さにより、作業が遅くなり始めます。 JupyterHubは、ボタン1つでJupyterを起動できるマルチユーザーサーバーであり、この問題に対処するのに役立ちます。 Pythonを教える人だけでなく、アナリストにも最適です。 ユーザーはブラウザのみを必要とします。ラップトップへのソフトウェアのインストール、互換性、パッケージに問題はありません。 Jupyterメンテナは、JupyterLabおよびnteractとともにJupyterHubを積極的に開発しています。

私の名前はAndrey Petrinです。Yandexの成長分析グループの責任者です。 Moscow Python Meetupでのレポートで、Jupyterの利点を思い出し、JupyterHubのアーキテクチャと原則、およびこれらのシステムをYandexで使用した経験について話しました。 最後に、任意のコンピューターでJupyterHubを上げる方法を学びます。


-まず、Yandexのアナリストは誰ですか。 これは、一度に多くの異なることを実行でき、多くの役割を兼ね備えた多腕シヴァであるというアナロジーがあります。

みなさんこんにちは！ 私の名前はAndrey Petrinです。Yandexの成長分析グループの責任者です。 JupyterHubライブラリについて説明します。JupyterHubライブラリは、かつてYandexアナリティクスの人生を大幅に簡素化しましたが、文字通り、多数のチームの生産性の向上を感じました。




たとえば、Yandexのアナリストは小さなマネージャーです。 アナリストは常に、プロセスのタイミング、タイムライン、どの時点で何を行う必要があるかを知っています。

これらは小さな開発者であり、データ処理のさまざまな方法に精通しています。 たとえば、Shivaの手によるスライドでは、思い浮かぶPythonライブラリは完全なリストではなく、日常的に使用されるものです。 当然、開発はPythonだけでなく、主にPythonについても説明します。

アナリストはほんの少しの数学であり、慎重に決定を下し、管理の観点ではなく実際のデータを見る必要がありますが、何らかの真実を探してこれを理解する必要があります。

これらすべてにおいて、Jupyterエコシステムは非常に役立ちます。



これは、インタラクティブなプログラミングとレポートのノートブックのためのそのようなプラットフォームです。 Jupyterノートブックの重要な本質は、そのようなノートブックです。このノートブックには、変更可能なインタラクティブな要素が多数あります。 主な本質は、プログラムするコードの微小要素です。 これらは、ブラウザのラップトップで印刷でき、常に使用しています。 これらは、画像またはインタラクティブなHTML派生要素のいずれかです。 要素を印刷、印刷、表示するだけで、さまざまなことができます。

Jupyterシステムは長い間開発されており、さまざまなバージョンのさまざまなプログラミング言語、Python 2および3、Go、さまざまなものをサポートしています。 日常のタスクを冷静に解決できます。

分析で何をしていて、Jupyterはこの点でどのように役立つのでしょうか？



最初のタスクは、Webサイトの分類です。 インターネット全体を熟知している大規模なYandexにとって、特定のサイトを見るのは非常に時間がかかります。 私たちには非常に多くのサイトがあり、それぞれが独自の詳細を持つことができるので、それをいくつかのトピックに集約する必要があります。

このタスクでは、すべてのインターネットホストの隣接関係グラフ、つまり2つのサイトの相互の類似性のグラフを作成しています。 ホストの手動マークアップを使用して、インターネット上のサイトとは何かに関するプライマリデータベースを取得し、インターネット全体に手動マークアップを外挿します。 文字通り、各タスクでJupyterを使用します。 隣接グラフの構築の観点から、MapReduceで操作を絶えず実行し、そのようなグラフを構築し、そのようなデータ分析を行うことができます。

入力ウィジェットを使用して、Jupyterでの手動マークアップを自動化しました。 各ホストには、疑わしいテーマがありますが、これはおそらく正しいでしょう。 私たちはほとんど常にトピックを推測しますが、手動でマークを付けるには人が必要です。

そして、あらゆる種類の興味深い写真が得られます。



たとえば、スポーツ関連のトピックに存在するスポーツ関連のサイトおよび関連する検索クエリがここに表示されます。



主題百科事典。 サイトは少なく、一般的に一意のリクエストがありますが、主なものは大きくなっています。



件名の宿題-宿題を終えた。 興味深いのは、内部に互いに似たサイトの2つの独立したクラスターがあるが、他のサイトとは異なるためです。 これは、2つのトピックに分けたいトピックの良い例です。 サイトの半分は明らかに宿題内の1つの問題を解決し、もう1つは他の問題を解決します。



入札オプティマイザーを作成することは非常に興味深いことでした。まったく異なるタスクです。 Yandexはお金を含めて多くのモバイルアプリケーションを購入し、ユーザーごとに何らかの種類のアプリケーションをインストールすることで得られるユーザーの寿命を予測する方法を既に知っていますが、残念ながら、この知識をマーケティング担当者に伝えることは困難です。トラフィックの購入を処理する請負業者。 これは通常、常に何らかの予算があり、かなり多くの制限があるという事実によるものです。 このような多次元最適化タスクを分析の観点から興味深いものにする必要がありますが、マネージャー用のデバイスを作成する必要があります。



Jupyterはここで非常に役立ちます。 これはJupyterで開発したインターフェイスであり、Pythonの知識がないユーザーマネージャーがログインして予測の結果を取得できるようにします。 ここで、Androidを選択するかiOSを選択するか、どの国でどのアプリケーションを選択するかを選択できます。 いくつかの進行状況バー、予算のサイズ、ある種のリスク許容度など、変更できる非常に複雑なマネージャーとペンがあります。 これらのタスクはJupyterの助けを借りて解決されました。多腕のシバであるアナリストがこれらの問題を単独で解決できることを非常に嬉しく思います。

約5年前、私が対処したいいくつかの制限とプラットフォームの問題があるという結論に達しました。 最初の問題は、多くの異なるアナリストがいて、それぞれが常に異なるバージョン、オペレーティングシステムなどを使用していることです。ある人のために機能するコードは、別の人に対して実行されないことがよくあります。

さらに大きな問題は、パッケージのバージョンです。 すべてをすぐに開始できるように、何らかの一貫した環境を維持することがどれほど難しいかを言う必要はないと思います。

そして一般的に、チームに参加したばかりの新しいアナリストに、すべてがセットアップされる事前構成された環境を提供すると、すべてのパッケージが現在のバージョンにインストールされ、1か所で維持されると、分析作業と同じくらい良いことを理解し始めましたおよび開発用。 一般的に、開発者にとって思考は一貫性がありますが、分析の変化が絶えず行われているため、分析者に常に当てはまるわけではありません。

ここで、JupyterHubライブラリが役立ちました。



これは非常に単純なアプリケーションであり、単純に分離された4つのコンポーネントで構成されています。

アプリケーションの最初の部分は承認を担当します。 パスワードとログインを確認する必要があります。この人を手放すことができますか。

2番目はJupyterサーバーの起動です。Jupyterラップトップを実行できる同じJupyterサーバーが各ユーザーから起動されます。 同じことがクラウド上でのみコンピューターで発生し、クラウド展開の場合、または同じマシン上でさまざまなプロセスが生成されます。

プロキシ。 サーバー全体への単一のアクセスポイントがあり、JupyterHubはどのユーザーがどのポートにアクセスする必要があるかを決定します。すべてはユーザーに対して完全に透過的です。 当然、データベースとシステム全体の一部の制御。



JupyterHubの外観を表面的に説明すると、ユーザーブラウザーがJupyterHubシステムにアクセスし、このユーザーがサーバーを実行していないか、承認されていない場合。 JupyterHubがゲームに入り、いくつかの質問をし、サーバーを作成し、環境を準備し始めます。

ユーザーがすでにログインしている場合、ユーザーは自分のサーバーに直接プロキシされ、Jupyterラップトップは実際に直接ユーザーと通信し、サーバーにアクセスについて尋ねたり、このユーザーにこのラップトップへのアクセスを許可したりします。



インターフェイスは非常にシンプルで便利です。 既定では、展開は展開先のコンピューターのユーザー名とパスワードを使用します。 複数のユーザーがいるサーバーがある場合、ログインとパスワードはシステムのログインとパスワードであり、ユーザーは自分のホームディレクトリとして自分のホームディレクトリを表示します。 非常に便利で、ユーザーについて考える必要はありません。





残りのインターフェースは全体として非常によく知られています。 これらは、皆さんが見たことがある標準のJupyterラップトップです。 アクティブなラップトップを見ることができます。



あなたはおそらくこのことを見たことがないでしょう。 これはJupyterHubのコントロールウィンドウです。サーバーの電源をオフにして起動するか、たとえばJupyterHubと通信するトークンを取得して、たとえばJupyterHub内の一部のマイクロサービスを開始できます。



最後に、管理者は、各ユーザーの管理、個々のJupyterサーバーの起動、停止、ユーザーの追加、削除、すべてのサーバーのオフ、オフ、ハブのオンが可能です。 これらはすべて、設定なしで非常に便利なブラウザで実行されます。

一般的に、システムは非常に発展しています。



写真では、今年12月に終了したUC Berkleyのコースは、世界最大のデータサイエンスコースでした。私の意見では、プログラミングの方法を知らない1,200人の学生が参加し、プログラミングを勉強しました。 これはJupyterHubプラットフォームで行われ、生徒はコンピューターにPythonをインストールする必要がなく、ブラウザーでこのサーバーにアクセスするだけでした。

当然、トレーニングのさらなる段階で、パッケージをインストールする必要性が現れましたが、これにより最初のエントリーの問題が冷静に解決されます。 Pythonを教えている人がこれに完全に慣れていない場合、パッケージのインストール、ある種のシステムの保守などに関連するいくつかのルーチンが少し冗長であることに気付くことがよくあります。 あなたは人を鼓舞し、これがどんな世界であるかについて話し、人が将来習得できる詳細を掘り下げることなくしたいのです。

インストール：

python3 -m pip install jupyterhub sudo apt-get install npm nodejs-legacy npm install -g configurable-http-proxy 

Python 3のみがサポートされており、JupyterHub内では2番目のPythonでセルを実行できますが、JupyterHub自体は3番目のPythonでのみ動作します。 唯一の依存関係は、この設定可能なHTTPプロキシです。これは、Pythonが単純化するために使用するものです。

構成：

 jupyterhub --generate-config 

最初に行うことは、構成の生成です。 すべては設定なしでも機能します。デフォルトでは、何らかのポート8000​​を持つローカルサーバーが生成され、ログインとパスワードによるユーザーへのアクセスがあり、法廷でのみ機能します。 JupyterHub configファイルを作成します。文字通りドキュメントの形式で、すべての設定を完全に読むことができます。 これは非常に便利です。ドキュメントに行かなくても、どの行を含める必要があるかを理解でき、すべてコメントアウトされ、管理でき、すべてのデフォルト設定が表示されます。



一時停止と予約をしたいです。 デフォルトでは、デプロイするときにサーバーにデプロイします。努力しない場合、つまりHTTPSを使用しない場合、サーバーはHTTP経由で起動し、ユーザーのパスワードとログインJupyterHubと通信するときにオープンになります。 これは非常に危険な話であり、ここで信じられないほど多くの問題に対処できます。 したがって、HTTPSの問題を無視しないでください。 独自のHTTPS証明書がない場合は、証明書を作成できます。または、無料の証明書を入手できるすばらしいletsencrypt.orgサービスがあり、問題なくお金なしでドメインで実行できます。 それは十分に便利です、無視しないでください。

デフォルトでは、ハブはルートとして実行され、明らかに、特定のユーザーの下から独自のラップトップを生成します。 これは変更できますが、デフォルトでは変更できます。 また、すべてのユーザーはローカルであり、ホームディレクトリは特定のユーザーごとにスクロールします。 他に何ができるかを詳しく説明します。

JupyterHubの素晴らしい点は、このようなコンストラクターであるということです。 文字通り、私が示した図のすべての要素に、独自の要素を挿入、埋め込むことができ、作業が簡単になります。 たとえば、ユーザーにシステムのログインとパスワードを入力させたくない場合、それはあまり安全でも不便でもありません。 別のログインシステムを作成します。 これは、oauthと、たとえばgithubを使用して実行できます。



ユーザーにユーザー名とパスワードの入力を強制する代わりに、githubで2行のコードを使用して承認を有効にするだけで、ユーザーはgithubで自動的にログインし、githubユーザー名でローカルにスクロールされます。



ユーザー認証の他の方法は、すぐにサポートされます。 LDAPがある場合-それは可能です。 任意のOAuthが可能です。リモートサーバーがローカルサーバーへのアクセスを確認できるREMOTE_USERオーセンティケーターがあります。 魂が望むすべて。



いくつかのタイプのタスクがあるとします。 たとえば、GPUを使用する場合、1つのテクノロジースタック、特定のパッケージセットが必要であり、異なるユースケースでCPUから分離する必要があります。 これを行うには、独自のスポーナーを作成できます。 これは、カスタムJupyterラップトップを作成するシステムです。 ここでは、Dockerを使用してチンキを示します。ユーザーごとにデプロイされるDockerファイルをコンパイルできます。ユーザーはローカルではなく、内部コンテナーに配置されます。

JupyterHubサービスには、他にも便利な機能がいくつかあります。



メモリが限られているマシンで実行しており、リソースを保存して、ユーザーがリソースを使用していないためにユーザーを切断するとします。ユーザーがシステムにいなかった後、メモリが使用されます。 または、たとえば、クラウドを展開しており、夜間に使用されていないものを無効にすることで仮想マシンの費用を節約し、必要なときにのみオンにすることができます。

既製のサービスcull_idle_serversがあります。これにより、非アクティブの後にユーザーサーバーをオフにすることができます。 すべてのデータが保存され、リソースは使用されません。少し節約できます。



文字通り、このスキームのすべての部分に、独自のものを含めることができると言いました。 プロキシに何らかのアドオンを作成し、何らかの方法でユーザープロキシを作成できます。 独自のオーソライザーを作成し、サービスを使用してデータベースと直接通信できます。 独自のスポーナーを作成できます。

このようなプロジェクト、Kubernetes上のシステムをお勧めします。これにより、サポートしているKubernetクラウドに文字通り特定の設定をせずに直接デプロイできるようになりました。 これは、自分のサーバー、devops、およびサポートに煩わされたくない場合に非常に便利です。 すべてがすぐに使える、非常に素晴らしい詳細なガイドです。



Jupyterを使用している人が複数いる場合は、JupyterHubが必要です。 そして、同じことのためにJupyterを使用する必要はありません。 これは、これらの人々が団結し、さらなる問題を回避できるようにする便利なシステムです。 さらに、彼らがさらに同じタスクを実行する場合-おそらく、彼らは多かれ少なかれ一貫したパッケージのセットを必要とします。

私のモデルが著しく構築されているという苦情を受け取った場合も同様です。一部のアナリストVasechkinはそれを再現しようとしており、動作しません。 かつては、一定の問題がありました。 そしてもちろん、一貫したサーバー状態は大いに役立ちます。

Pythonの学習にこれを使用するのは非常にクールです。 サービスnbgraderがあります。これはJupyterHubの上にあり、学生に宿題を送ることで便利な電池を作ることができます。 ソリューション自体を記入し、返送します。Jupyterセルをチェックし、すぐにグレードを設定できる自動テストがあります。 非常に便利なシステム、私はお勧めします。

Pythonで何かを見せたいセミナーに参加したと想像してください。 同時に、最初から3時間をかけて、誰もが自分のやり方で仕事をすることは望ましくありません。 あなたはすぐに何か面白いことを始めたいです。

サーバー上でこのようなシステムを立ち上げ、ログインできるインターネットアドレスをユーザーに提供し、不必要なルーチンに時間を浪費することなく使用を開始できます。 それだけです、ありがとう。