👨🏾‍🔬 🕵🏽 🍥 環境保護zakupki.gov.ruによる公共調達入札の条件の解除 💎 👊🏽 🕛

注：

OOS- すべてロシアの公式ウェブサイト（政府調達）。
記事を理解するために必要な知識： VBA（MS Excel）。

はじめに

引用：

「商品、作品、サービスの供給に関する注文に関する情報を提供するためのインターネット上のロシア連邦の公式ウェブサイトは、商品、作品の調達および調達の分野における契約システムに関する完全かつ信頼できる情報への無料および無料アクセスを提供することを目的としています。サービス、特定の種類の法人、およびそのような情報の形成、処理、保存のために。」

多くの商業およびその他の企業にとって、「公共調達」システムは、国家（予算）の資金を経済活動に引き寄せる主な方法です。州の参加企業（およびその他の個々の種類の企業）が（連邦法第223、94、44項に従って）必ず実施する商品、サービス、研究活動の調達に関する情報は、政府調達Webサイトに掲載されています。営利企業は、公共調達の公式ウェブサイトに入札を公開することもよくあります。

上記の法律へのリンク、ConsultantPlus Webサイトの情報：

したがって、公共調達ウェブサイトに公開された入札に関する情報は、セキュリティサービスから地球物理学調査まで、さまざまな活動分野の多くの企業のプロファイルごとの可能な「状態」注文に関する関連情報の中心的な情報源です。したがって、特定の基準に該当する継続中の入札に関する情報を定期的に更新する必要性は、公共調達に参加する各組織から生じます。この記事では、さまざまな方法と、このニーズの実装の実際的な例を検討します。

公共調達情報を取得するためのオプション

ほとんどの場合、タスクは会社のマーケティング部門またはIT部門の前の経営陣によって、 「次の基準を満たす公共調達競争の日次要約が必要です」という言葉で設定されます。入札書類の発行からその申請の終了までの間に、平均で約2週間である10日間未満の期間が宣言されることがあるため、それは毎日です。競争に参加するために必要なすべての文書を収集する時間はあまりありません。毎日が「重要」です。

タスクを実装するためのオプションをリストします。

1. OOS Webサイト（公共調達）

サイト自体http://zakupki.gov.ru/は、パラメーターによるコンテストの検索と選択をカスタマイズする機能を提供します。

短所：

検索が正しく機能せず、コンテストが「見つからない」ことがあります。私は公式ウェブサイトを通じて正確に長い奴隷の証人です。声明を確認しました。
多くの場合、このサイトは夜間や休日には機能しません。
結果の数の制限。検索結果が500行を超える場合、サイトのリソースを使用して、コンテストに関するデータを（.csv形式の表形式で）ダウンロードすることはできません。

プロセスを部分的に自動化するために、FireFoxブラウザー用のプラグインを作成しました。これは、選択したコンテストの毎日のダウンロードを行うことになっています。

一言で言えば、プラグインは次のような形式でアドレスを生成しました。

"http://zakupki.gov.ru/epz/order/extendedsearch/search.html?" + "placeOfSearch=FZ_44" + "&orderPriceFrom=" + priceArray[i] + "&orderPriceTo=" + (priceArray[i+1]-1) + "&orderPriceCurrencyId=-1" + "&orderPublishDateFrom=" + OrderDate + "&orderPublishDateTo=" + OrderDate + "&headAgencyWithSubElements=true&matchingWordPlace44=NOTIFICATIONS" + "&law44.okpd.withSubElements=true” + "&law44.okpd.ids=31301%2C37097%2C50876%2C51122" + "&law44.advantages[MP44]=I&law44.advantages[UG44]=I" + "&law44.advantages[IN44]=I&law44.advantages[MPSP44]=I" + "&morphology=false&strictEqual=false";

当然、法律の94と223では、要求パラメーターが異なります。ご覧のとおり、OKPD、価格帯など。そうしないと、見つかったコンテストの数が多すぎて、検索結果を部分的にしかダウンロードできないため、リクエストに「縫い付ける」必要があります。

2.専門のウェブ-競争検索サービス

市場の要求に応えて、いくつかの企業が進行中の競争に関する情報の検索サイトを編成しました。多くの場合、こうしたサイトは、公共調達に関する情報だけでなく、電子サイトからの「プライベート」入札に関する情報も提供します。

いくつかのそのようなシステム：

Multitender.ru ：「政府調達と商業入札を追跡できる無料の専用検索エンジン」。
TenderCAT ：「TenderCATカタログは、すべての地域および活動地域の政府調達ポータル（http://zakupki.gov.ru）で毎日公開される大量の注文で、州および商業入札およびオークションの検索を容易にするように設計されています」。
東予算：「公共調達と入札のウェブサイト-東予算からの最高の検索と分析」。
360を購入する

その他。
Habré に関する記事があった国の支出については別に言及します。

この記事の目的は、これらのリソースを比較または分析することではないため、ここではリソースの利点も欠点も示しません。

3.コンテストをダウンロードするための自己開発。

いくつかのケースでは、入札に参加している会社の経営者は、情報の選択、検索の規則性、検索結果のデザインなどのパラメータに関して非常に具体的なタスクを課しています。そのような場合、彼らはIT専門家に頼り、コンテストの監視と選択に関する「手作業」は時間がかかりすぎます。

説明された作品をフリーランサーに注文する例があります。たとえば、 SQL.ru 、 Weblancerなど。最後に、「実績のある」アーティストからターンキーソリューションを購入できます。ただし、この記事の主要部分では、タスクを独立して実行する手順について説明します。

Excel VBAツールを使用してhttp://zakupki.gov.ruから競争データをダウンロードする

ソースデータ

データソースに関する主な必要知識： OOS（公共調達のためのすべてロシアの公式Webサイト）には、公開ftpサーバーがあります 。同時に、「メンテナンス」のためにhttpが定期的に（通常は夜間および休日に）利用できない場合、ftpは（私の慣習に従って）確実に機能します。

ftpサーバーのアドレスは、入札に適用される連邦法に従って分割されます。
連邦法第223： ftp : //ftp.zakupki.gov.ru/out/

ユーザー名とパスワード：

fz223free

連邦法No. 94および連邦法No. 44： ftp : //zakupki.gov.ru

ユーザー名とパスワード：

無料

223の法律のディレクトリ構造は完全に透過的です。 94および44については、次のサブディレクトリがここにあります。

94FZ （その他のカタログ-44FZ）に基づく公開アップロードのデータを含む94fzカタログ、
94FZに従って環境保護システムで公開された情報の完全な地域アップロードに関するデータを含むfcs_regionsディレクトリ。

カタログの残りの部分には、規制および参照情報、銀行保証に関する情報、規則に従ってのアンロード、および問題解決の一環としての関心はありません。

さらに、地域で公開されているドキュメントに関する情報を全ロシアの公式サイトのFTPサーバーにアップロードする手順に関する説明からの必要な抜粋、引用符のセット：

完全な地域のアンロードには、OOSで公開されている次のタイプのすべてのドキュメントが含まれます。
•通知の発行。
•通知に対する変更の公開。
•公開されたプロトコル。
•公開された契約情報。
•契約変更の公開。
•契約の履行/終了に関する情報を公開しました。

私たちの目的では、通知のみが重要であることに注意してください。 他のすべての種類のドキュメントは、タスクの一部として使用されません！

アンロードは、XML形式のアーカイブファイルで実行されます。
1つのファイルには、3,000エントリを超えない量で、1つのタイプのドキュメントのみを含めることができます。 アップロードするドキュメントの数が3,000エントリを超える場合、システムは複数のファイルを生成し、それぞれを個別のアーカイブに入れます。
生成およびアーカイブされたすべてのXMLファイルはFTPサーバーにアップロードされます...アップロード内のファイルは、地域に対応するディレクトリに分割されます。 領域の各ディレクトリには、通知、プロトコル、契約の3つのディレクトリがあります。 通知、プロトコル、および契約の各ディレクトリには、毎日のディレクトリもあります。
公開されたドキュメントは、次の順序でFTPサーバーにアップロードされます。
・ 各暦日（毎日）は、前の暦日に発行されたドキュメントのリストをアップロードします。 同時に...地域ごとの通知のアップロードは、<地域名> /通知/毎日で行われます。
・ 各暦月（毎月）は、前の暦月に発行されたドキュメントのリストをアップロードします。 同時に...地域ごとの通知のアップロードは、<地域名> /通知ディレクトリで行われます。
毎日および毎月のダウンロードでは、過去の暦日または暦月にそれぞれ発行されたすべての種類のドキュメントが常にアンロードされます。
過去の期間にアップロードを作成した時点で、どのタイプの公開ドキュメントも1つもなかった場合、このタイプのドキュメントを含むXMLファイルは空でアンロードされます。
毎月のアップロードが完了すると、過去1か月間の毎日のアップロードのディレクトリがクリアされます。
地域アップロードファイル名の構造は次のとおりです。
<document view_region_start_period_end_period_number.xml.zip>、
ここで：
•ドキュメントビュー-通知、プロトコル、および契約情報の値通知、プロトコル、または契約をそれぞれ受け取ります。
•region-アンロード領域の名前。
•start-period-yyyyddmm_hhmmss形式のアップロードされたドキュメントの公開日時によるドキュメント選択期間の開始日。ここで、yyyy-年、mm-月（数値）、dd-日、hh-時間、mm-分、ss-秒。
•end-period-yyyyddmm_hhmmss形式のアップロードされたドキュメントの公開日に従ってドキュメントを選択する期間の終了日。ここで、yyyy-年、mm-月（数値）、dd-日、hh-時間、mm-分、ss-秒。
•number-生成されたファイルのシリアル番号。

上記の情報の現在のバージョンは、ドキュメント「Information Exchange Schemes ...」の形式でOOSからダウンロードできます。

競合情報の自動ダウンロード用プログラムの説明（VBA MS Excel、Windows）。

準備する

Microsoft Scripting Runtimeのスクリプトを接続します。 FSO機能の場合（ \ Windows \ System32 \ scrrun.dll ）
Microsoft XML v.6のスクリプトを接続します

コンテストをダウンロードする日付範囲を要求するために、 MonthView要素を使用してuserFormを作成しました。その設定により、2か月並べて（範囲が1か月以内であると仮定）、現在の日付（赤いボックス）を表示し、デフォルトで選択した日付範囲を設定できます。

例として、2月26日から3月4日までの範囲が選択されています。選択した日付は、フォームのプロパティから読み取られます。

 MonthView.SelStart  MonthView.SelEnd

このフィルターを使用すると、特定の日付範囲内のファイル（既知の名前の構造）を選択できます。

 fltr = "*_" & Format(targetDate, "yyyymmdd") & "*" & Format(targetDate + 1, "yyyymmdd") & "*.zip;" & "*_" & Format(targetDate, "yyyymmdd") & "*" & Format(targetDate, "yyyymmdd") & "*.zip"

ここではセミコロンが代替オプションを分離しているため、指定されたフィルターは3つのすべての法則によって生成されたファイルに適していることに注意してください。

指定したディレクトリにファイルをダウンロードし、FSOメソッドを使用して古いダウンロードからクリーンアップします。

 Dim FSO As FileSystemObject Set FSO = New FileSystemObject

次に、ターゲットフォルダーbFld = FSO.GetFolder（...）を選択し、サブディレクトリを破棄します。

 For Each SubFolder In bFld.SubFolders SubFolder.Delete Next

プログラムの使用は完全にオプションであることが判明しましたが、非常に成功しました。

  Application.Speech.Speak

長い手順の進行を観察しないことが便利であり、あなた自身のビジネスをしている間、次のようなメッセージを（心地よい女性の声で）定期的に聞きます。

  Application.Speech.Speak "Downloading purchase notices", True

2番目のパラメーターは非同期実行です。

ファイルをダウンロードする

ダウンロードを開始します。を使用して宛先フォルダが存在することを確認してください

 FSO.FolderExists

必要に応じて、 MkDir関数を使用して作成します。
シェルオブジェクトを作成する

 Set myShell = CreateObject("Shell.Application")

そして、説明されたアプローチの主な「機能」- 名前空間メソッドを適用します。

 Set ftpItems = myShell.Namespace(FTP).Items

指定された行はFTPの呼び出しを実装し、フォルダーとファイルを返します。渡されるパラメーターはStringではなくVariant型である必要があることに注意してください。

すべてのディレクトリを次のように選択できます。

 ftpItems.Filter 32, "*".

サブディレクトリとファイル（ 96 = 32 + 64 ）を選択し、段落の最初に作成されたようなフィルターを適用して、日付でファイルを選択します-次のように：

 ftpItems.Filter 96, fltr.

同じ方法でダウンロードするターゲット（ローカル）フォルダーを指定することは残ります。

 set tFolder = myShell.Namespace(tgtFolder)

そして、次のように「コピー」を開始します（「ダウンロード」でもあります）。

 tFolder.CopyHere ftpItems, 20

このコマンドは外部プロセスを開始し（Windowsはファイルをコピーするための標準プログレスバーを表示します）、vbaからの実行は直接制御されません。ただし、完了するまで待機する必要があります。そのため、ループで次のメソッドを使用して、コピーされた最後のファイルの存在を確認します。

 While Len(Dir$(tgtFolder & "\" & ftpItems.Item(ftpItems.Count - 1).Name)) = 0 Sleep 1: DoEvents Wend

このように配置された「待機」は、ファイルがコピーされる限り継続します。

ダウンロードしたファイルの解凍（解凍）

すべてのディレクトリとサブディレクトリを通過し、すべてのフィルタリングされたファイルをダウンロードした後、ローカルマシンでの処理に進みます。

 Application.Speech.Speak "Unzipping archives", True.

これを行うには、再び名前空間メソッドを使用します。
フォルダー内のすべてのアーカイブをソートします

 For Each fl In tFolderItems

Windowsのこれらのアーカイブがサブディレクトリとして表示されるという事実を活用してください！したがって、アーカイブのコンテンツ全体は次のように利用できます。

 Set flItems = myShell.Namespace(CVar(tgtFolder & "\" & fl.Name)).Items

（繰り返しますが、パラメーターがVariantでなければならないことに注意してください。これが、文字列からの型変換が必要な理由です）。

また、同じCopyHereコマンドを使用すると、アーカイブからすべてのファイルをターゲットフォルダーに「コピー」（実際に抽出）できます。

 myShell.Namespace(tgtFolder).CopyHere flItems, 20

また、非同期実行では、上記と同じ方法で、このコマンドの完了をループで待機させます。

解凍されたファイルの中には、多くの「ゴミ」があります。たとえば、特定の地域で特定の日に購入がなかった場合、OOSはこの日付の空のファイルを生成します。したがって、xmlを解析する前に、余分な部分を削除することを好みます。 FSOを使用してファイルを反復処理する

 Set fold = FSO.GetFolder(tgtFolder) For Each fl In fold.Files

「スクリーニング」は、ファイルのサイズ（fl.Size <= 198）とその名前Not（LCase（fl.Name）Like "* noti *"））のフィルタリングによって簡単に実行されます。

ファイルの削除は非常に簡単です： fl.Delete

競合データを使用したXMLのデコード

xmlのデコードは、OOSで変更される場合があるスキームに依存します。そのため、個々のフィールドとデータに焦点を当てない基本的な手法は次のとおりです。もちろん、私たちは

 Application.Speech.Speak "Decoding files", True.

このパートでは、FSOに加えて、ファイルを操作するためにXMLが必要になります。

 Dim xml As MSXML2.DOMDocument60 Set xml = New DOMDocument60: xml.async = False: xml.validateOnParse = True

そして、もちろん、Excelブックのターゲットシート（ ActiveSheet ）に情報を書き込みます。
ちらつきのないようにしばらくExcelレンダリングを停止することから始めましょう。

 Application.ScreenUpdating = False

基本的なポイントは

「XPathは空のプレフィックスをnull名前空間として扱います。つまり、ネームスペースにマッピングされたプレフィックスのみをXPathクエリで使用できます。つまり、XMLドキュメントで名前空間のクエリを作成する必要がある場合、それが既定の名前空間であっても、そのプレフィックスを定義する必要があります。

したがって、デフォルトのネームスペースのダウンロードされたドキュメントのフィールドを正常に解析するために、特定のプレフィックスを追加します。たとえば、「q」：

 xml.setProperty "SelectionNamespaces", " xmlns:q= 'http://zakupki.gov.ru/oos/export/1' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xmlns:oos='http://zakupki.gov.ru/oos/types/1'"

これは、連邦法94で作成されたxmlを解析するための名前空間定義の外観です。 44では、少し異なります。

 xml.setProperty "SelectionNamespaces", "xmlns:q='http://zakupki.gov.ru/oos/types/1' xmlns:ns2='http://zakupki.gov.ru/oos/export/1' xmlns:ns3='http://zakupki.gov.ru/oos/printform/1'"

実際には、指定されたすべてのデータはダウンロードされたxmlファイルのヘッダーから取得され、デフォルトでは名前空間にqのみが追加されます。

次に、ダウンロードする必要があるフィールド（より正確には、それらを指すxpath ）が決定されます。現在、94連邦法では、「.// oos ： notificationNumber」、「.// oos ： lot」、「.// oos ： orderName」、「.// oos ： maxPrice」のようになっています。 44の連邦法には、別の構造があります（OOSプログラマのおかげです）：「.//q:purchaseNumber」、「.//q:lot」、「.//q:purchaseObjectInfo」、「.//q:maxPrice|.// q：価格| .// q：totalSum " 。

確実性はないことがわかります。公開されたスキームだけでなく、データを解読する実際の経験に基づいて解析を構成する必要があります。

xmlファイルが二重条件で「読み取り可能」かどうかを確認します。

 If Not xml.Load(tgtFolder & "\" & fl.Name) then…If (xml.parseError.ErrorCode <> 0) then…

ファイルが読み込まれた場合（これまでのところ、OOSからダウンロードしたファイルに問題はありませんでした）、実際にその内容を解析できます。まず、メッセージの構成（ notice ）を説明するフィールドを読むことをお勧めします。

 purchaseType = LCase(xml.DocumentElement.ChildNodes(0).BaseName) documentType = LCase(xml.DocumentElement.BaseName)

そして、ファイルの内容が、そのキャンセル、プロトコルの公開の通知などではなく、まさに競合の発表であることを確認します。このようなもの：

 If Not (purchaseType Like "*cancel*" Or purchaseType Like "*protocol*" Or documentType Like "*cancel*") Then

223連邦法によって生成されたxmlでは、ドキュメントタイプの名前は「非表示」であるため、以下を追加できます。

 If (purchaseType Like "*notification*" Or documentType Like "*notice*") Then

次は、xmlからシートセルへの実際のデータの書き込みです。

 Range("A" & i) = xml.DocumentElement.SelectSingleNode(XPath).Text

等
XPathがいくつかのオプション（たとえば、ロットの名前を示す）を提供でき、それらすべてを保持したい場合、この構成が役立ちます。

 For Each it In lot.SelectNodes(XPath) Range("E" & i) = Range("E" & i) & it.Text & "; " Next

文書内の一部のフィールドが欠落している可能性があるため、条件によってそれらを省略します。

 If Not xml.DocumentElement.SelectSingleNode(XPath) Is Nothing Then

おわりに

ftpを使用したファイルのダウンロードは、さまざまな方法で実装できます。動作し、非常に簡単に実装できるshell.namespaceを使用して説明しました。

ダウンロードし、コンテストのリストを自動的にランク付け（選択）し、フォーマットすると、毎日のコンテストの選択（すべての連邦法）は次のようになります。

上記のアプローチにより、入札、契約、調達計画などに関するデータをダウンロードできます。 OOSでは、これらの情報はすべてオープンftpで公開されるためです。プログラムのすべてのコードを提供するわけではなく、「知的財産」であるため、それを提供することはできません。ただし、 vbaの基本を知っていて、さらに重要なことに、忍耐力があると、コードの指定された重要なセクションからプログラムを復元できます。

第一に、ftpでファイルとサブディレクトリを解析するとき、忍耐が必要です：ダウンロードしすぎてはならず、正しいものを見逃さないでください。次に、xmlを解析するとき。ただし、どのフィールド、どの順序、どのようにフォーマットされているか、顧客が見たいという課題についてはすでに疑問があります。

皆さんへの幸運と勝利：-競技会で-そして個人的なもの！

環境保護zakupki.gov.ruによる公共調達入札の条件の解除