内部からの使用（管理者の目を通して）

ホットトピック、多くのトピック、およびhabr（ こことここ ）
実験の合法性、CMMの内容（コントロールおよび測定材料）などについては、まったくやめません。 私は、試験の準備と実施の技術的側面に直接集中しようとします。
信頼できるのは、モスクワ地域の組織研究地域センター（システム管理、データ収集、開発者と地域との調整、トレーニング、相談など）での2004年から2007年の経験です。 この間ずっと、CROCテクノロジー（下記参照）に取り組み、2009年にDHの順序によってテクノロジーが変更されました。 だから、順番に

技術

最近まで、USEの編成と実施には2つのテクノロジーがありました。連邦テストセンター（以下CT）、 www.rustest.ru ）とCROC （ CROC CJSC www.croc.ru 、以下単にCROC ）です。
技術は根本的に異なります。 CROCテクノロジーについて可能な限り詳しく説明し、最後に、なぜそれがCT（私の個人的な専門的意見、同僚、経営者）よりも優れていたかを指摘します。
CROC-データベースサーバーとしてMS SQL 2000、アプリケーションサーバーとしてWIN 2000（2003）。 サーバーは異なるマシンに分散され、WIN 2000では内部LAN用の追加のADがありました。
アプリケーションサーバーには、ソフトウェアパッケージのサーバー部分（以下AIS）があり、クライアントマシンにはそれぞれ、クライアント部分、ユーザーはADを介してドメインにログインし、ブラウザーインターフェイスを介して動作します（IE6が必要）。 セキュリティルールに従って、他のソフトウェアをクライアントにインストールすることはできません（オフィスもインストールしました。rarとradminはパスワードで保護されており、管理者のグループのみが使用できます）。 すべてのソフトウェアは100％ライセンスされています（Windows、オフィス、サーバープログラムなど）。
ディスク上のボリュームに関するコメントの補足として：7ギグの非圧縮ダンプベース（フル）および90ギグのすべての試験の写真のアーカイブ。 試験の合計人数は約120,000人です。

データベースと試験データを含むローカルエリアネットワーク全体は、 物理的にインターネットから切断されます（データの漏洩を防ぐため）。

AISレベルでは、システムにアクセスするためのユーザー権利の分布があります（非常に柔軟に構成され、チェックボックスはユーザーのグループに必要な特権を示します）。 したがって、ADを介して必要な権限でクライアントステーションにログインし、必要に応じて作業できます。

50,000人の試験のネットワーク構造（最大負荷があり、試験の4日後にデータを処理し、検証のために送信する必要があります）は、以下で構成されていました。
1〜3台のサーバー（データベース、AISサーバー、スキャンした画像のファイルアーカイブ）
2-12-17スキャンステーション
3-20-25検証ステーション
2-ボトルネックを継続的に監視するための1-2の管理者ステーション。

残りの年中、クライアント側のスキャン/検証ステーションは他のユーザーと正常に機能します。 試験の時点で、既製のシステムのイメージがロールアップされ、使用のために撤回されました。
スキャニングステーション-LOMO、パナソニックタイプKV-S3105C、低電力富士通製のDS-300高速スキャナー。 DSはネットワークを通じて、KVおよび富士通はskyiesを通じて作業しました。 最初の2台のマシンの速度は印象的です（最初）-約200 dpiの白黒で毎分90〜120枚。 スキャンすると、フォームは（参照マークによって）断片に分割され、すぐに認識され、ファイルがファイルサーバーに転送されます。 すべてのソフトウェアはCROCによって開発されています（下請けに介入しませんでした）。

データ収集。

試験の準備は10月（ほぼ）から始まり、一年中続きます。 次の手順が含まれます。
1-教育機関に関する情報の調整、管理ディレクトリ、試験の責任者の明確化（通常はモスクワ地域の1人。ただし、地区が大きい場合、および/または人々がコンピューターに精通していない場合-2人、1人の技術者、1人のマネージャー）。 市のコーディネーター-一般的に、別の問題、彼らは記念碑を置くでしょう。 通常、これらは教育当局の女性です。

2-OS卒業生のデータ収集（試験のために計画された最も完全なマップ、名前、パスポート）。 収集は、非常に明確なインターフェースを備えた専用のクライアントソフトウェア（インストールなしのプログラム）によって実行されます。 ソフトウェアの機能ははるかに広いです-基本的なデータ収集に加えて、これは統計のための分析データの収集でもあります。 分析。 たとえば、教師に関するデータ（経験、専門、コースの日付）、主題に関する年次評価、教科書など。 これらのデータは1年を通して入力されます（非常に大量の情報を収集して入力する必要があるため）。

3-卒業生のパスポートデータの調整（紙上、公的機関の長により署名）

4-試験の正確な日付の公表から、試験の登録およびその後の検証に関するデータの最終収集（紙に、公的機関の長官と自分のパスポートデータおよび選択した試験の隣の学生の署名） この段階の期間は非常に短いです。これは、注文から試験の日付と上級当局へのデータの提出期限までの時間がほとんどないためです。 なぜそれほど厳密なのか-必要な量のCMMを印刷する

和解に関して非常に興味深いことが起こっていました。 1年を通して、生徒は少なくとも2〜3回、リストにデータを表示し、必要に応じて修正します（名前、パスポート）。 各調整により、データベースに5〜10％の変更が加えられるだけでなく（これはすべてセンターの手で行われます）、修正を伴う多くのフォームが試験で出されました。 子どもたちはデータにまったく注意を払っていないため、結果を得るのに問題があるかもしれません（データ修正はFTsTを通過し、私たちにとって非常に長く困難です）。

したがって、すべてのデータが収集、検証され、試験に進みます。

試験の実施

試験の数日前に、FTsTからCMMの注文数を受け取ります（結婚や観客不足の場合には一定の制限があります）。 すべてが非常に深刻です-封印されており、センターのヘッドがインベントリに従って撮影しました。

試験の印刷資料
センターでは、各聴衆とPES（試験ポイント）用のキットが印刷されています。 2年目からHPでワイルドストリーミングモードで印刷し、2人のクライアントから同時に2台のプリンターに同時に印刷するようになりました。 印刷されたキットはプリンターから取り出され、明細書は署名され、いわゆるセキュリティバッグに封印されます。 各地区\ PESのパックが完了し、特別な部屋（コンビネーションロック付き）に保管された後。 カートリッジは3〜4時間ごとに交換され、ほこりは柱であり、肺は3〜4倍の速度でHP-shnikovと同時にゆっくり死にます。

試験の前日、市のコーディネーターが到着します-在庫に応じて、パッケージが発行され、数量と一般データが検証されます。 悪夢として次の3〜4日間、コニャックと睡眠の最後のパッケージが発行された18〜19時間。

試験日

午前8時（地上での荷物の開封時間）から、上司と私は中心にいました。試験中に起こりうるすべての質問への回答とKIMでの結婚の神経質な期待（印刷段階、結婚、子供はオプションの変更を記入する必要がありました）、エラー試験のための子供の登録（数回、市のコーディネーターは学生を試験に連れて行くのを忘れたが、彼は落ち着いて和解声明に署名しなかった）。 午前10時以降に小康状態（試験は終了しました）。

約14日から、PESからの資料の配信が開始されます。 受け入れは次のとおりです。
1-センターの長によるパッケージの調整

試験後の入場とスキャン
2-市役所のコーディネーターとスキャンステーションのオペレーターは、ホールで「引退」し、パッケージごとにスキャンします。各観客のパケットを処理した後、データ（マシン処理）をステートメントと照合します。 この段階で、PESでフォームを忘れたケースが何度かありました。 この場合、エリアの受信は明確になるまで中断されます。 クライアントマシンレベルでは、各オーディエンスに対して発行およびスキャンされるフォームの数が厳密にカウントされます。 置換はできません。 フォームが登録され、一意のコードが使用され、スキャン中にすべてのフィールドが検証されます。

PESで生徒が未解決のパートCでトイレに行き、フォームをトイレに流し込んだとき、彼は好奇心case盛でした（彼はそれをうまく排水しませんでした）。 受け入れられたとき、彼らはそれを見つけ、メッセンジャーをその場所に送りました。彼はトイレでフォームをつかみ、鼻でそれを持ってきて、それを処理しなければなりませんでした。

3-私は、管理者として、現在の問題を解決する間隔で、処理済みの対象者を確認し、発行された/受け入れられたフォームの数が一致する場合、対象者を転送して確認します。

スキャンのための行を待っているオジンツォボ地区（同僚が思い出した）からの広い領域からの文書は、このフォームの束で2500人の参加者です
4-この後、作業のあるフォームが検証されます。 検証は微妙な問題です-検証ベースを備えた各クライアントマシンは自己学習型です。 オペレーターが1つのフィールドの値を2回確認した場合-それは辞書に入り、99％の確率で自動的に解決されます。 通常、スキャンよりもはるかに遅く終了する（夜間2〜6時間）ため、職業は非常に退屈です。 この段階で、「ランダム」エラーの処理が発生します。 子がパートAに5番目のボックス（予約済み）に回答を入力すると、追加の\サービスフィールドが入力されます。これはすべて検証者に該当します。

5-管理者-システムの全般的な監視を行い、リストのエラーを修正します。 「学生が現れなかった」ラベルを貼った場合と記入済みのフォーム（システムがそのような場合を表示する）を監視します。そうでない場合、作業はカウントされません。 フォームの紛失-システムはスキャンされた番号を認識できず、聴衆にフォームを添付しませんでした。

6-検証の終了後、専門家の作業用にパッケージを印刷できます。 試験の翌日の午前10時から始まります。 したがって、午後8時から9時までは、作品Cの少なくとも2つの印刷ステーションが立ち上げられます。発行は厳密にランダムです-フォームには名前がなく、専門家は彼がチェックしている人を知らない、各作品は2人の専門家に与えられます。 「第三の専門家」のために印刷されました。 3人目の専門家は、すでに確認した2人のうちの1人にはなれず、検査委員会の委員長の指示により手動で任命されます。

パートCの検証には3〜4日かかります。 すべてのデータが処理され、単一のフォームが失われるとすぐに、結果を含むCSVが生成されます。 このファイルはサーバーで暗号化され（Crypto Pro、キーは別のメディアに保管され、署名用に発行されます）、暗号化されたチャネルを介して、評価のために特別なプログラムを通じてFTsTに送信されます。

計算の検索に関心のあるスケーリングについては説明しません。 かなり複雑な数学的モデルは、ロシア全土から結果を受け取るときにFTsTに組み込まれています。

3〜5日後、見積りを含む処理結果はFTsTからCSVに送られ、データベースにダウンロードされ、プロトコルが印刷され（各地域の教育大臣のシールにより署名され）、各地区に発行されます。 近年、ウェブサイトを介したデータの公開が許可され始めましたが、今年はMosoblastウェブサイトで同じ機能を実行しました（トラフィックの増加とホストサーバーの配置）。
原則として、一般的に言えば、すべてです。 リアルタイムで、1日に3〜5日間および/または2〜3の試験間隔で試験が行われる場合、これは1日25時間休みなく2〜3週間の職場での100％のプレゼンスに相当します。 しかし、あなたが私たちの背中の後ろに通常50,000人の子供と満足した両親を知っているとき、それは価値があります。

申し立て

試験の魅力を思い出せません（時には価値があるかもしれませんが、子供たちは疲れており、すぐに状況を理解しません）。 結果によると-50,000あたり約500個。

特別委員会が控訴し、認識されたフォームが印刷され、原本のコピーが作成され、機械認識エラーの主題について調整が行われ、子供と親を持つオブジェクトの専門家がすべてのタスクを段階的に説明します。 異議申し立てはカテゴリに分類されます：却下および審査。 レビューされたアピールの99％が採点されます（正当化される場合はめったにありませんが、通常は花、お菓子、涙）。 数回、特に「無作法」はスコアを下げました。 約40％が同じ結果を残します。つまり、控訴は拒否されます。 また、優秀な学生に伝えたいと思います-あなたが大学で1-2ポイントを持っていない場合-訴えを提出するようにしてください、そのようなケース（多くはありません）は常に積極的に考慮されます。

手順全体のボトルネック：

1-地区および学校レベルでの平凡な不注意。 コーディネーターは子供を失ったり忘れたりします。子供はパスポートのデータや選択した試験日に注意を払いません。 データを調整するとき、および合併症の場合に子供にとっては、多くの問題が発生します。

2-コーディネーターのコンピューターリテラシーが低い。 決して彼らを責めたくはありませんが、事実は残っています。 すべての地区が技術的な問題を解決するための専門家を見つけることができるわけではありません（通常、電子メール、Excel、単語、情報収集用ソフトウェアの操作で構成されます）。 そこから、そして「赤と青のインターネット」についての私のジョーク。

3-教育管理機関におけるインターネットの欠如。 多くはモデムを介して動作し、自宅のコンピューターからデータを送信します。 私は学校について静かにしています-まれにネットワークがあることはめったになく、通常はフロッピーディスクを介したデータ交換（!!!!）

4-FTsTとの関係における完全なカオス。 いくつかの例。 彼らは、CROCと省の代表者と共にデータベース形式を作成し、承認します。 実際、不一致が見つかりました-承認し、CSVにデータをアップロードしましたが、FTsTデータベースにはロードされません-フィールドの順序、データ形式などが変更されました。 悪用があります。Krokは、ベースとなるハックを必死に書いて、承認されたと思われる形式を新しい要件に適合させます（他の誰にも表明されません）。 次に-結果の出力、何らかの理由でファイルが受け入れられない（形式が間違っているか、そうでない場合）-呼び出しがあり（そしてそれらに到達するのがどれほど難しいか）だけで、沈黙が完成します。 もう一度この時間、私たちと子供たちの親の神経。 通信すると、ジョークの古典的な「シャベル」ストアのような印象を受けます。 非常に、非常に迷惑なそのような事実、それは一般的な原因のようですが、ここではそのようなトリックです。

5-より高いレベルでさらに大きなカオス。 現実の秩序の矛盾、ある法令は別の法令と矛盾します。 シェフの永遠の栄光は、白髪をspaしまないで、できるだけ早くそのような質問を提起しました（ただし、すべてのレベルではありません）

6-そして、おそらく、最も重要なこと-パラグラフの試験のための規則のケアと知識 。 私たちは一年中、各PESの専門家のトレーニングを実施しており、あらゆる質問に常に答える準備ができています。 その後、どちらの側でパッケージを開いて明細書を発行するかわからないことがわかりました。

技術のプラス面

1-非常に、非常に友好的なソフトウェア（罪がないわけではありませんが、ソフトウェアFTsT-地上の楽園と比較して）。 実装スペシャリストがほぼすべての質問に答えました。 私自身の開発の多く（罪深い、私は同じ手順の速度のためにphpでいくつかのフレーズを書きました）。 1つのオフィスで開発された、複雑で柔軟で拡張可能な単一のシステム。 Soft CTは、ABBYYに基づいて、さまざまな開発者のさまざまな部分から組み立てられました。 仕事は直感的ではなく、不快で、私の意見では曲がっています。

2-中央のシステムの最終構成の利便性、文字通り皮膚に合わせた合理化された技術。 センターがFTsTに移行されたとき-実装中の人件費が大幅に増加しました（リスクのレベルも同様）

3-高度なデータセキュリティ。 情報が一滴も失われていない日々の間に、センターとPESから。 管理者に加えて、データベースをクライアントレベルで変更することは物理的に誰にもできません。すべてが監視され、保存されます。 「白」を作成できるのは管理者だけです。 数回、お金の静かな申し出で真実が個人的に私に来ました:)しかし役に立たなかった。 私の知る限り-地区レベルでは、このようなケースも合格しませんでした。

4-エンドユーザー-学生にとってほぼ100％の利便性。 学校を示すレターヘッドPESは、署名を入れて問題を解決するだけです（CFTは名前と姓も入力する必要があります-エラーの別の理由）

5-試験だけでなく、教育システム全体の統計分析の大きな機会。 データ配列はこれを許可しました（100％のフィールドカバレッジを提供）。 SQL Analyze ServerとWebコンポーネントを使用しました（分析モジュール-同じCROCの開発）。 さて、データベースのリクエストから直接、特に興味深い指標が引き出されました。 ほぼすべてを比較することができます-教科書と一緒に被験者の研究期間の評価、試験の評価と5年生からの最終スコアの成長曲線上の完成した指標の対応。 多くの素晴らしいこと、そのようなデータはどこにもありませんでした。 実際には、統計作業のための省の下に別のセンターがありましたが、銅流域で覆われていました。

結果（実務経験による）-マシン処理エラーの割合は0.1％、検証者のエラー率は50,000人\試験あたり2ケースです。 つまり、私たちの側からはすべてがきれいです。

私は繰り返します-書かれたすべて-この技術に取り組んだ経験と、2007年までの期間中のセンターの共同同僚の経験に関する私の個人的な意見。 そして、プレゼンテーションの言語で申し訳ありません-チュクチは作家ではなく、チュクチの読者ではありません。

大手システム開発者からのUPD情報

1-何が書かれているか：C＃（ASP.Net）-アプリ サーバー部分、T-SQL-クライアント部分、Active-X（C ++、VB6、C＃）+ VBScript-クライアント。
2-オーディエンス向けのオプションの発行方法：KESオプションをPESオーディエンス全体に均等に分散し、同じオプションを\ "クロス\"隣人（左から右、上から下）に与えないようにするかなり複雑なアルゴリズム

技術の特定の、非公開の側面に興味がある場合は-書き込み、私はそれを補完しようとします。 まあ、Habréにアカウントがない場合- ブログにコメントを書く
職場管理者））