「System Administrator Toolkit」または「How We Work」

システム管理者はどのように働き、日常業務で何を使用しますか、どのユーティリティが私たちの生活を楽にしますか？
これらの質問に簡単に答え、作業がどのように構成されているかを説明します 。

そのため、原則として、システム管理者は次のことを行う必要があります（できるようになります）。
ソフトウェアのインストール/更新/アンインストール
ソフトウェアのセットアップ
計画作業
文書化する
ITシステムのステータスを監視する
ITシステムの診断と保守
ソフトウェアとデータのバックアップ/アーカイブ

このすべてのために、多くの異なるソフトウェアがあります、私たちはすべての最も必要なものを説明しようとします。

環境（環境）

システム管理者の仕事の始まり-便利な環境の選択。 これは広々とした明るいオフィスや快適な椅子ではありませんが、重要ですが、オペレーティングシステムの選択です。 私の同僚はMac OS X、Windows、Ubuntuで働いています。 ディストリビューションとさまざまなデスクトップシェル（Debian、Kubuntu、Fedora Gnome / Cinnamon）で多くの試行と実験を行った後、Ubuntu 12.04（Unity）に落ち着きました。
慣れて、Unityに慣れたばかりで、今では論理的で非常に便利なPCシェルのように思えます。 管理者の主な要件は、安定性とシンプルさです。 私は誰とも議論したくありませんが、それはUbuntuがそれ自体を証明した方法です。

ドキュメンテーションを計画するためのツールについては、おそらく詳しく説明しません。 ドキュメンテーションについては、ドックを共有するのに十分なメモ帳（Gedit）とLibre OfficeとGoogle Docsがあることに注意してください。 最も便利なメモとドキュメントはすべてウィキに保存されています。 時間の追跡とタスク制御には、Redmineを使用します。
もちろん、同僚やクライアントとのコミュニケーションには資金が必要です。 通常、これは電子メールとSkypeおよび電話です。
計画には、Googleカレンダーを使用します。たとえば、日記など、実際に使用する場合、他のツールも同様に有効です。

何らかの方法で、ローカルで、またはリモートサーバーで、コンソールで多くの作業を行う必要があります。 したがって、* nix管理者の日常操作で最も重要なことは、コマンドラインユーティリティです。

コマンドラインユーティリティ

ほとんどの場合、テキスト（構成、ログ、マニュアルなど）を操作する必要があるため、テキストエディターや、テキストと行を操作するためのその他のツールから始めましょう。
vi / vim-このエディターはほとんどすべてのサーバー（Unix上の）で見つけることができるため、管理者にとって不可欠なツールです。少なくともman vimでそれを正しく行う方法を読んでください。
nanoは、Debian / Ubuntuでデフォルトで利用できる最も単純なエディターです。
mcedit -mcとブルースクリーンのファン向けで、最悪のオプションではなく、非常にシンプルで便利です。
cat -concatinate-元々はファイルを結合するためのツールでしたが、ファイルの内容を表示したり、ファイルに行を挿入したりするためによく使用されます。
tail-デフォルトでは、ファイルの最後の10行を表示し、ログの追跡に使用できます（-fスイッチを使用）
wc-ファイル内の単語文字列とバイト数をカウントします
head -tailはファイルの10行を出力しますが、名前からわかるように、ファイルの先頭から。
grepは、テキスト出力をフィルタリングするため、またはファイル内の目的の行を見つけるための最も不可欠なツールです。
sed-ストリームエディター-ルーチンタスクの自動化、ファイル内の行の置換（構成の編集）、行の削除、マスクによるコンテンツの表示などに非常に役立ちます。
awk / gawkは非常に強力なユーティリティで（AWKは実際にはプログラミング言語全体です）、ファイルの解析や行出力の操作などに役立ちます。
リストされているすべてのユーティリティに関する情報は、manにあります。 男といえば：
man -manページへのアクセス-これは、Unixの管理者が1日作業することはおそらくないことです。 初心者の場合は、コマンドラインでman manと入力して開始してください。
リストは延々と続きますが、実際には多くのユーティリティがあります。 しかし、今のところ、これについて詳しく見て、小さな男を読んで、awk、wc、cat、およびgrepで何が役立つか見てみましょう。

ちょっとした練習

これらのユーティリティが実際に役立つのはなぜか、ログを解析する例を示してみます。

次の形式のApacheログファイル（access.log）があります。
1.2.3.4 - - [12/May/2014:03:08:55 +0400] "GET /shop/goods-list HTTP/1.1" 200 1691 "http://example.ru/shop/goods-list" "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0"

正常に処理されたリクエストの割合を計算する簡単なスクリプトを作成します。

 #!/bin/bash SUM=`wc -l access.log` #      OK=`cat access.log | awk '{print $9}' | grep 200 | wc -l` #      "200" awk -v SUM="$SUM" -v OK="$OK" ' BEGIN { printf "Passed: %3.2f%%\n", OK / SUM * 100 exit }' 

次のような結果がPassed: 93.62%ます。 Passed: 93.62%

そして、もっと便利な例：

現在の1時間前に転送されたデータの量を計算します

 cat access.log | grep `date +%H:%M -d "-1 hour"` | awk '{ total += $10 } END { print total/1024/1024 FS"MB" }' 

転送されたデータの合計量を計算します

 awk '{ total += $10 } END { print total/1024/1024 FS"MB" }' access.log 

平均リクエスト処理時間を計算します

 #!/bin/bash COUNT=`wc -l access.log` SUM=`cat access.log | awk '{ total += $16 } END { print total }' ` awk -v COUNT="$COUNT" -v SUM="$SUM" ' BEGIN { printf "Average req-time %3.2fs\n", SUM / COUNT exit }' 

システム起動診断

サーバーのビジー状態を理解するために、いくつかのユーティリティがあります。まず、負荷平均インジケーターによって負荷を評価できます。Habréでは、これはそれぞれ、1分、5分、15分間、リソースの受信を待機しているブロックプロセスの数で表される平均システム負荷のインジケーターであると既に書いています。
現在のサーバー負荷を評価し、どのプロセスがサーバーをより多くロードしているかを確認するのに役立つ最初のこと-topまたはhtop：
top -Linuxプロセスの表示-さらに、稼働時間、負荷平均、進行中のタスクとスレッドの数を表示します。
CPUパフォーマンス（パーセンテージ）：
-us-処理の優先順位を変更せずにユーザーの実行に費やした時間（マイナス）、
-sy-システム（カーネル）プロセスの実行に費やされた時間、
-ni-処理の優先順位が変更されたユーザー定義のもの（nice）に費やされた時間、
-wa-入力/出力のタイムアウト（ディスクサブシステム）、
-hi-ハードウェア割り込みの処理時間、
-si-ソフトウェア割り込みの処理時間、
-st-別の仮想マシンでタスクを処理するためにハイパーバイザーによって「盗まれた」時間-仮想マシン（VPS / VDS）に関連し、ホストの誠実さを評価するのに役立ちます。このインジケーターが大きい場合、プロバイダーは露骨に売られています。
また、topは一般に消費されるメモリの量とその理由（プロセス、キャッシュ、バッファ）を示し、各プロセスが消費する量も示します。
-VIRT-コード、データ、共有ライブラリ、スワップにダンプされたメモリページ、予約されているが使用されていないメモリページなど、プロセスが使用するメモリ量を表示します。
-RES-常駐メモリサイズ-プロセスが使用するRAMの現在の量（スワップなし）、
-SHR-共有メモリのサイズ-原則として、このメモリすべてが常駐しているわけではない、プロセスで使用可能なRAMの現在の量。 この数値は、他のプロセスと共有できるメモリの量を表示するだけです。
システムリソースの使用状況を示すインジケータを表示することに加えて、topはプロセスを操作するためにも使用され、シグナルを送信してプロセスを終了したり、その優先度を変更したりすることができます。
htop - topのよりカラフルなバージョン-topと同じ機能をすべて備えていますが、より使いやすいインターフェイス（プロセスのリストを垂直および水平の両方にスクロールできます）があり、選択したプロセスのlsof、straceおよびltraceを呼び出すこともできます（それらについては後で詳しく説明します）詳細に説明します）。
ディスクI / Oサブシステムの負荷を評価するには、iotopユーティリティを使用できます。
iotop-ディスク負荷を監視するためのトップライクなユーティリティで、次のようなディスクI / Oの現在のインジケータとともにプロセスのテーブルを表示します。
-PRIO-プロセスの優先度、
-ディスク読み取り-ディスクバイト/秒から読み取り、
-ディスク書き込み-ディスクへの書き込みバイト/秒、
-SWAPIN-プロセスがスワップに費やした時間（パーセンテージ）、
-IO-入出力の待機にプロセスが費やした時間（パーセンテージ）。
さらに、ディスクサブシステムの読み取り/書き込みビットレートの合計に関する情報が表示されます。
vmstat-プロセス、メモリ、入力/出力、プロセッサとディスクのアクティビティに関する概要情報を表示します。 iotopとは異なり、スーパーユーザー特権は必要ありません。

プログラム障害の診断、トラブルシューティング
プログラムやデーモンが期待どおりに動作しない場合や、何らかの理由でクラッシュする場合があります。 すべてのログが表示されるとき（またはログがないとき）、すべての設定がチェックされ、ドキュメントが再読されます（もちろんある場合）、システムトレースのユーティリティはstaceを呼び出し、ltraceが助けになり、lsofは開いているファイルのリストを表示します：
strace-ユーティリティを使用すると、実行中のプロセスまたは既に実行中のプロセスのシステムコールとシグナルをPIDによってインターセプトできます。
出力はフィルタリングできます。たとえば、open（）またはselect（）呼び出しのみが出力されます。 呼び出しが負でない値を返した場合、たとえば次の場合はすべて正常です。
open("/foo/bar", O_RDONLY) = -1 ENOENT (No such file or directory)から、アプリケーションが存在しないファイルを開こうとしていることがわかります。 また、ファイルのアクセス許可が正しく設定されていないこともあります。 たとえば、ハイパーバイザーは必要な量のRAMを割り当てることができないため、仮想マシンは起動しません。 Straceは、このような状況で役立ちます。
このサービスまたはそのサービスがどのように機能するか、どのシステムがそれを使用するかを確認したいだけなら、staceがあなたの友人です。 たとえば、ApacheがNginxと根本的にどのように異なるかを調べたい場合は、見てください。
ltrace-ライブラリ呼び出しをトレースするためのユーティリティ-straceに非常に似ていますが、動的ライブラリへの呼び出しのみをインターセプトします。
ldd-プログラムで設定すると、ライブラリを使用するプログラムが表示されます。 プログラムをchrootに転送する必要がある場合に便利です。
lsof-開いているファイルのリストを表示とともに表示します。デフォルトでは、すべてを行で表示します。 PID（htopで非常に便利な出力）による特定のプロセス、UIDによるユーザー、または特定のファイルを使用するプロセスなどをリストできます。
場合によっては役に立つかもしれません。 説明と例で非常に詳細な男がいます。

他に伝えることは何ですか

次の記事では、機器、ネットワーク、監視および自動化ツールを診断するためのユーティリティについて説明します。
トピックは本当に大容量で興味深いので、コメントであなたの個人的な経験から興味深い例を見ることができます。

継続するには...

UPD： sledopitから正常に処理されたリクエストの割合を計算するためのより適切なオプション

 awk '{sum+=1; if ($9==200) ok+=1} END {printf "Passed: %3.2f%%\n", ok / sum * 100}' access.log 

そして、 RumataEstoraのSUMの代わりにビルトインNR変数を使用したさらにシンプルなオプション

 awk '$9 == 200 { s++ } END { print s / NR * 100; }' access.log