Pythonメモリ管理

使用するデータがPythonの腸内でどのように見えるか疑問に思ったことはありませんか？ 変数の作成方法とメモリへの保存方法について いつ、どのように削除されますか？ 私たちが公開している資料は、Pythonの深さを研究することに専念しており、その間、この言語のメモリ管理の機能を見つけようとします。 この記事を読むと、コンピューターの低レベルのメカニズム、特にメモリに関連するメカニズムがどのように機能するかを理解できます。 Pythonが低レベルの操作を抽象化する方法を理解し、Pythonがメモリを管理する方法を理解します。



Pythonで何が起こっているかを知ることで、この言語の動作の一部をよりよく理解することができます。 これにより、使用するこの言語の実装内で行われている膨大な作業に感謝し、プログラムが必要な方法で正確に動作するようになることを願っています。

記憶は空の本です

コンピューターのメモリーは、それを扱う最初の段階で、短編小説を対象とした空の本の形で表すことができます。 これまでのところ、そのページには何もありませんが、すぐに物語の著者が登場し、それぞれがこの本に自分の物語を書きたいと思っています。

あるストーリーを別のストーリーの上に書くことはできないため、著者は本のどのページに書くかについて注意する必要があります。 何かを書く前に、彼らは編集長と相談します。 彼は、著者がストーリーを正確に記録できる場所を決定します。

私たちが話している本はかなり前から出回っているので、その中の物語の多くはすでに時代遅れです。 誰も物語を読んでいないか、作品で言及していない場合、この物語は本から削除され、新しい物語の余地ができます。

一般に、コンピューターのメモリはそのような本に非常に似ていると言えます。 実際、固定長の連続したメモリブロックはページと呼ばれることもあるため、メモリと本を比較することは非常に成功すると考えています。

物語を本に書く著者は、メモリにデータを保存する必要があるさまざまなアプリケーションまたはプロセスです。 著者が執筆できる本のページを決定する編集長は、メモリ管理を扱うメカニズムです。 そして、本から古い物語を取り除き、新しい物語のためのスペースを作る人は、ガベージコレクションメカニズムと比較することができます。

メモリ管理：鉄からプログラムへの道

メモリ管理はプロセスであり、実装中にプログラムがメモリにデータを書き込み、そこからデータを読み取ります。 メモリマネージャは、アプリケーションがメモリ内のデータを正確に配置できる場所を決定するエンティティです。 アプリケーションに割り当てることができるメモリフラグメントの数は無限ではないため、書籍のページ数が無限ではないのと同様に、アプリケーションを提供するメモリマネージャーは、空きメモリフラグメントを見つけてアプリケーションに提供する必要があります。 メモリがアプリケーションに割り当てられるこのプロセスは、メモリ割り当てと呼ばれます。

一方、一部のデータが不要になった場合、そのデータを削除する、つまり、占有しているメモリを解放することができます。 しかし、記憶について話すとき、「放出」および「解放」とは正確に何ですか？

コンピューターのどこかに、Pythonプログラムが動作中に使用するデータを保存する物理デバイスがあります。 Pythonオブジェクトが物理メモリに格納される前に、コードは抽象化の多くのレイヤーを通過する必要があります。

ハードウェア（RAMやハードディスクなど）の上にあるこのような主要なレイヤーの1つは、オペレーティングシステム（OS）です。 メモリからデータを読み取り、メモリにデータを書き込む要求を実行します（または実行を拒否します）。

OSの上には、Python実装の1つであるアプリケーションがあります（OSの一部であるか、 python.orgからダウンロードされたソフトウェアパッケージの場合があります）。 メモリ管理を処理し、Pythonコードの動作を保証するのは、このソフトウェアパッケージです。 この記事の焦点は、Pythonがメモリを管理するために使用するアルゴリズムとデータ構造にあります。

Pythonリファレンス実装

リファレンスPython実装はCPythonと呼ばれます。 Cで書かれています。最初に聞いたとき、文字通り不安でした。 別の言語で書かれたプログラミング言語ですか？ まあ、実際には、これは完全に真実ではありません。

このドキュメントでは、Pythonの仕様について平易な英語で説明しています 。 ただし、この仕様だけでは、もちろんPythonで記述されたコードは実行できません。 これを行うには、この仕様のルールに従って、Pythonで記述されたコードを解釈できるものが必要です。

さらに、コンピューター上で解釈されたコードを実行できるものが必要です。 リファレンスPython実装は、これらの両方のタスクを解決します。 コードを命令に変換し、仮想マシンで実行します。

仮想マシンは、シリコン、金属、その他の素材で作られた通常のコンピューターに似ていますが、ソフトウェアで実装されています。 彼らは通常、基本的な命令の処理で忙しく、 アセンブラーで書かれた命令に似ています。

Pythonはインタープリター言語です。 Pythonで記述されたコードは、コンピューターが使用するのに便利な一連の命令、いわゆるバイトコードにコンパイルされます 。 これらの指示は、プログラムの実行時に仮想マシンによって解釈されます。

拡張子が.pycまたは__pycache__フォルダーのファイルを見たことは__pycache__ますか？ これらには、仮想マシンによって解釈される同じバイトコードが含まれています。

CPythonの他にも、Pythonの実装が存在することに注意することが重要です。 たとえば、 IronPythonを使用する場合、 PythonコードはMicrosoft CLRステートメントにコンパイルされます。 Jythonでは、コードはJavaバイトコードにコンパイルされ、Java仮想マシンで実行されます。 Pythonの世界にはPyPyのようなものがありますが、別の記事に値するので、ここでそれについて言及します。

この記事では、Pythonリファレンス実装であるCPythonでのメモリ管理メカニズムの動作に焦点を当てます。

ここで説明することのほとんどはPythonの新しいバージョンにも当てはまりますが、将来は状況が変わる可能性があることに注意してください。 したがって、この記事では、執筆時点の最新バージョンのPython（ Python 3.7）に焦点を合わせていることに注意してください。

したがって、CPythonソフトウェアパッケージはCで記述されており、Pythonバイトコードを解釈します。 これはメモリ管理と何の関係がありますか？ 実際、メモリ管理に使用されるアルゴリズムとデータ構造は、すでに述べたように、Cで記述されたCPythonコードに存在します。メモリ管理がPythonでどのように機能するかを理解するには、まずCPythonについて少し理解する必要があります。

CPythonが記述されているC言語は、オブジェクト指向プログラミングをネイティブにサポートしていません。 このため、CPythonコードでは多くの興味深いアーキテクチャソリューションが使用されています。

Pythonのすべてがオブジェクトであり、 intやstrようなプリミティブなデータ型であることを聞いたことがあるかもしれません。 そして、これは実際にCPythonの言語実装レベルの場合です。 PyObjectと呼ばれる構造があり、CPythonで作成されたオブジェクトによって使用されます。

構造は、さまざまなタイプのデータをグループ化できる複合データタイプです。 これをオブジェクト指向プログラミングと比較すると、構造は属性はあるがメソッドはないクラスに似ています。

PyObjectは、すべてのPythonオブジェクトの祖先です。 この構造には、2つのフィールドのみが含まれます。

• ob_refcnt参照カウンター。
• ob_typeは、別の型へのポインターです。

参照カウンタは、ガベージコレクションメカニズムを実装するために使用されます。 別のPyObjectフィールドは、特定のタイプのオブジェクトへのポインターです。 この型は、Pythonオブジェクトを記述する別の構造で表されます（たとえば、 dict intまたはintすることができます）。

各オブジェクトには、このようなオブジェクトに固有の独自のメモリ割り当てメカニズムがあり、このオブジェクトを格納するために必要なメモリを取得する方法を知っています。 さらに、各オブジェクトにはメモリを解放する独自のメカニズムがあり、不要になったメモリを「解放」します。

ただし、メモリの割り当てと解放に関するこれらすべての会話には、1つの重要な要素があることに注意してください。 実際、コンピューターのメモリは共有リソースです。 同時に、2つの異なるプロセスが同じメモリ領域に何かを書き込もうとすると、何か悪いことが起こる可能性があります。

通訳者グローバルロック

グローバルインタープリターロック（GIL）は、メモリなどの共有コンピューターリソースを操作するときに発生する一般的な問題の解決策です。 2つのスレッドが同じリソースを同時に変更しようとすると、それらは互いに「衝突」する可能性があります。 結果は混乱になり、スレッドの1つはそれが目指していたものを達成しません。

再び本の例えに戻りましょう。 2人の著者が、今度はメモを取る番だと決めたと想像してください。 しかし、彼らは同じページに同時に記録することも決めました。

それらのそれぞれは、他が彼の物語を書き込もうとしているという事実に注意を払いません。 一緒に彼らはページにテキストを書き始めます。 その結果、2つのストーリーが記録され、一方が他方の上に重ねられ、ページが完全に読めなくなります。

この問題の解決策の1つは、特定のスレッドが動作している共有リソースをブロックする単一のグローバルインタープリターメカニズムです。 この例では、これは本のページを「ブロック」する「メカニズム」です。 このようなメカニズムにより、2人の著者が同じページに同時にテキストを書き込むという上記の状況がなくなります。

PythonのGILメカニズムは、インタープリター全体をブロックすることでこれを実現します。 その結果、現在のスレッドに干渉するものは何もありません。 また、CPythonがメモリを操作する場合、GILを使用して、この作業が安全かつ効率的に行われるようにします。

このアプローチには長所と短所があり、GILはPythonコミュニティで激しい議論の対象となっています。 GILの詳細については、 この資料をご覧ください。

ガベージコレクション

本の例えに戻って、この本に記録されているいくつかの物語が絶望的に​​古くなっていると想像してみましょう。 誰もそれらを読んだり、誰も言及したりしません。 そして、もし誰も彼らの作品の一部の資料を読んだり参照したりしなければ、この資料は廃棄され、新しいテキストのためのスペースを作ることができます。

これらの古い忘れられた物語は、参照カウントがゼロのPythonオブジェクトと比較できます。 これらは、 PyObject構造について説明したときに説明したものと同じカウンターです。

参照カウンタは、いくつかの理由で増加します。 たとえば、ある変数に格納されているオブジェクトが別の変数に書き込まれた場合、カウンターはインクリメントされます。

 numbers = [1, 2, 3] #   = 1 more_numbers = numbers #   = 2 

オブジェクトが引数として関数に渡された場合でも増加します。

 total = sum(numbers) 

また、参照カウンタの数が増加する状況の別の例を次に示します。 これは、オブジェクトがリストに含まれている場合に発生します。

 matrix = [numbers, numbers, numbers] 

Pythonでは、プログラマがsysモジュールを使用して特定のオブジェクトの参照カウントの現在の値を見つけることができます。 このために、次の構成が使用されます。

 sys.getrefcount(numbers) 

getfefcount()するgetfefcount() 、オブジェクトをgetfefcount()メソッドにgetfefcount() 、カウンター値が1増加することを覚えておく必要があります。

いずれにせよ、オブジェクトがまだコードのどこかで使用されている場合、その参照カウンターは0より大きくなります。カウンターの値が0に下がると、オブジェクトが占有しているメモリを「解放」する特別な機能が働きます。 このメモリは他のオブジェクトで使用できます。

ここで、「メモリの解放」とは何か、他のオブジェクトがこのメモリを使用する方法について質問します。 これらの質問に答えるために、CPythonのメモリ管理メカニズムについて話しましょう。

CPythonのメモリ管理メカニズム

ここで、CPythonのメモリアーキテクチャと、そこでのメモリ管理の方法について説明します。

すでに述べたように、CPythonと物理メモリの間には抽象化のいくつかの層があります。 オペレーティングシステムは物理メモリを抽象化し、アプリケーションが使用できる仮想メモリレイヤーを作成します（これはPythonにも当てはまります）。

特定のオペレーティングシステムの仮想メモリマネージャーは、Pythonプロセスにメモリを割り当てます。 次の画像の暗い灰色の領域は、Pythonプロセスに属するメモリの一部です。


CPythonが使用するメモリ領域

Pythonは、内部使用のため、およびオブジェクトへのメモリの割り当てに関連しないニーズのために、一定量のメモリを使用します。 別のメモリがオブジェクトの格納に使用されます（これらはint 、 dictなどの型の値です）。 これは簡略図であることに注意してください。 全体像を知りたい場合は、 CPythonのソースコードを見てください。ここでは、私たちが話しているすべてのことが起こっています。

CPythonには、オブジェクトにメモリを割り当てる機能があります。これは、オブジェクトを格納するための領域にメモリを割り当てる役割を果たします。 最も興味深いのは、このメカニズムが機能するときです。 オブジェクトにメモリが必要な場合、またはメモリを解放する必要がある場合に呼び出されます。

通常、 listやintなどのPythonオブジェクトへのデータの追加または削除には、大量の情報の同時処理は含まれません。 したがって、メモリ割り当てツールのアーキテクチャは、少量のデータの処理に注目して構築されています。 さらに、このツールは、絶対に必要であることが明らかになるまでメモリを割り当てないようにします。

ソースコードのコメントは、メモリ割り当てツールを「ユニバーサルmallocの上部で使用するように設計された小さなブロック用の高速で専用のメモリ割り当てツール」と説明しています。 この場合、 mallocはメモリを割り当てるために設計されたCライブラリ関数です。

CPythonで使用されるメモリ割り当て戦略について説明しましょう。 まず、3つのエンティティ-いわゆるブロック（ブロック）、プール（プール）、アリーナ（アリーナ）、およびそれらの相互関係について説明します。

アリーナは記憶の最大の断片です。 それらは、メモリのページの境界に配置されます。 ページ境界は、固定長メモリの連続ブロックがオペレーティングシステムによって使用中に終了する場所です。 Pythonは、メモリの操作中に、システムメモリページのサイズが256 KBであると想定しています。


アリーナ、プール、ブロック

プールは、4 KBの仮想メモリページであるアリーナにあります。 これらは、この例の本のページに似ています。 プールはメモリの小さなブロックに分割されます。

同じプール内のすべてのブロックは、同じサイズクラスに属します。 ブロックが属するサイズクラスによって、このブロックのサイズが決まります。このサイズは、要求されたメモリサイズを考慮して選択されます。 以下は、ソースコードから取得したテーブルで、ストレージ要求がシステムによって処理されるデータのボリューム、割り当てられたブロックのサイズ、サイズクラスの識別子を示しています。

バイト単位のデータ量	ブロックサイズ	クラスidx
1-8	8	0
9-16	16	1
17-24	24	2
25〜32	32	3
33-40	40	4
41-48	48	5
49-56	56	6
57-64	64	7
65-72	72	8
...	...	...
497-504	504	62
505-512	512	63

たとえば、42バイトの保存が要求された場合、データは48バイトのブロックに配置されます。

プール

プールは、同じサイズのクラスに属するブロックで構成されます。 各プールは、二重リンクリストメカニズムを使用して、同じサイズクラスのブロックを含む他のプールに関連付けられます。 このアプローチを使用すると、メモリ割り当てアルゴリズムは、異なるプールで空き領域を見つけることになる場合でも、特定のサイズのブロックの空き領域を簡単に見つけることができます。

usedpoolsリストを使用すると、特定のサイズクラスに属するデータの余地があるすべてのプールを追跡できます。 特定のサイズのブロックの保存が要求されると、アルゴリズムはこのリストをチェックして、必要なサイズのブロックを格納しているプールのリストを探します。

プール自体は、3つの状態のいずれかになければなりません。 つまり、それらは使用可能（使用済み状態）であり、充填（ full ）または空（ empty ）です。 使用済みプールには、適切なサイズのデータ​​を保存できる空きブロックがあります。 いっぱいになったプールのすべてのブロックがデータに割り当てられます。 空のプールにはデータが含まれず、必要に応じて、任意のサイズクラスに属するブロックを格納するために割り当てることができます。

freepoolsリストには、 empty状態にあるすべてのプールに関する情報が格納されます。 たとえば、8バイトブロック（idx 0のクラス）を格納するプールに関するusedpoolsリストにエントリがない場合、新しいプールは初期化され、そのようなブロックを格納するためのempty状態になります。 この新しいプールはusedpoolsリストに追加され、作成後に受信したデータを保存する要求を満たすために使用できます。

full状態のプールで、いくつかのブロックが解放されたとします。 これは、それらに保存されているデータが不要になったためです。 このプールは、再びusedpoolsリストに含まれ、対応するサイズクラスのデータに使用できます。

このアルゴリズムの知識により、操作中にプールの状態がどのように変化するか（およびサイズクラスがどのように変化するか、プールに格納できるブロックがどのように変化するか）を理解できます。

ブロック

使用済み、フル、および空のプール

前の図からわかるように、プールには含まれているメモリの「空き」ブロックへのポインタが含まれています。 ブロックの操作に関しては、1つの小さな機能に注意する必要があります。これはソースコードで示されています。 CPythonで使用されるメモリ管理システムは、すべてのレベル（アリーナ、プール、ブロック）で、絶対に必要な場合にのみメモリを割り当てようとします。

これは、プールに次の3つの状態のいずれかのブロックを含めることができることを意味します。

• untouchedは、まだ割り当てられていないメモリの部分です。
• freeは既に割り当てられたメモリの一部ですが、後にCPythonによって「free」にされ、貴重なデータが含まれなくなりました。
• allocatedは、貴重なデータを含むメモリの部分です。

freeblockポインタは、空きメモリブロックの単一リンクリストを指します。 つまり、これはデータを配置できる場所のリストです。 データを配置するために複数の空きブロックが必要な場合、メモリアロケーターは、 untouched状態のプールからいくつかのブロックを取得します。

メモリマネージャがブロックを「フリー」にすると、それらは、 free状態を獲得すると、 free freeblockリストの先頭にfreeblockます。 このリストに含まれるブロックは、必ずしも前の図に示したものと同様の連続したメモリ領域を表すとは限りません。 実際には、次のようになります。


単一のリンクされたフリーブロックリスト

アリーナ

アリーナにはプールが含まれます。 既に述べたように、これらのプールは、 used 、 fullまたはempty状態になります。 アリーナには、プールの状態と同様の状態がないことに注意してください。

アリーナは、 usable_arenasと呼ばれる二重にリンクされたリストに編成されusable_arenas 。 このリストは、使用可能な空きプールの数でソートされています。 アリーナの空きプールが少ないほど、アリーナはリストの一番上に近づきます。


Usable_arenasリスト

これは、データで満たされた他のアリーナよりも強いアリーナが選択され、そこに新しいデータが配置されることを意味します。 そして、なぜその逆ではないのですか？ 空き領域が最も多いアリーナに新しいデータを投稿してみませんか？

実際、この機能により、メモリを完全に解放するというアイデアがもたらされます。 お気付きかもしれませんが、ここでは "メモリの解放"という概念をよく使用し、引用符で囲んでいます。 これが行われた理由は、ブロックは「空き」と見なすことができますが、ブロックが表すメモリの一部が実際にオペレーティングシステムに返されないためです。 Pythonプロセスはこのメモリを保持し、後でそれを使用して新しいデータを保存します。 メモリの真のリリースは、オペレーティングシステムに戻り、使用できるようになることです。

アリーナは、ここで説明したスキームで唯一のエンティティであり、それによって表されるメモリは本当に解放できます。 常識では、アリーナを使用する上記のスキームは、ほとんど空のアリーナを完全に空にすることを目的としています。 このアプローチを使用すると、完全に空のアリーナで表されるメモリの一部を完全に解放できるため、Pythonが消費するメモリの量を削減できます。

まとめ

この資料を読んで学んだことは次のとおりです。

• メモリ管理とは何か、なぜ重要なのか。
• Cプログラミング言語で記述されたPython、Cpythonのリファレンス実装の配置方法。
• メモリ管理のためにCPythonで使用されるデータ構造とアルゴリズム。

メモリ管理は、コンピュータープログラムの作業の不可欠な部分です。 Pythonは、プログラマーが気付かないほとんどすべてのメモリ管理タスクを解決します。 Pythonを使用すると、この言語で記述した人は誰でも、コンピューターの操作に関連する多くの小さな詳細を無視できます。 これにより、プログラマはより高いレベルで作業し、データの保存場所を気にせずに独自のコードを作成できます。

親愛なる読者！ Python開発の経験がある場合は、プログラムのメモリ使用量にどのようにアプローチするか教えてください。 たとえば、保存しようとしていますか？