बड़ी एक्सेल फाइलों के साथ काम करें

एक बड़ी फाइल क्या है? अच्छा, इतना बड़ा? जब मैं घर पर था, तो मुझे लगा कि यह 50-60 हजार लाइनों के रिकॉर्ड वाली फाइल है। और मैं अब तक इस अज्ञानता में रहूंगा, लेकिन मुझे एक परियोजना करनी थी जिसमें 600-800 हजार लाइनों की फाइलों के साथ काम करना आवश्यक था। आटा चलना - कट के नीचे:

पहले क्या

और सबसे पहले, मेरे दोस्त, हम उस सरलतम चीज़ में भाग गए, जिसके बारे में आप सोच सकते हैं। Interop.Excell, और सभी चीजें। ऐसा लग रहा था। हाँ, schaz। जैसा कि परीक्षण परीक्षणों से पता चला है, खोलने की इस पद्धति ने इस तथ्य को जन्म दिया कि एक्सेल की 200 हजार पंक्तियों को एक घंटे में पढ़ा गया था, अनुप्रयोग ने सक्रिय रूप से रैम का उपभोग किया, और मशीन पर बाकी प्रक्रियाओं के अलावा फैल गया। सब कुछ उम्मीद के मुताबिक खत्म हो गया, लेकिन खोजी प्रयोग पूरा करना पड़ा - 260 हजार पर 4 जीबी के साथ मशीन पर आउटऑफमेरी में आवेदन गिर गया। यह स्पष्ट हो गया कि समस्या माथे में हल नहीं हो सकती है

इसे Google

हमारे लिए कितनी ही अद्भुत खोजें ... Google लाया, अजीब तरह से पर्याप्त, एमएसडीएन के लिए, जहां मुझे बहुत बड़ी फाइलें खोलने के दो तरीकों से परिचित हुआ: डोम और एसएएक्स। मुझे समय से पहले याद नहीं है, लेकिन उनमें से कुछ बंद हो गए क्योंकि आउटऑफमेरी उस समय पहले से ही घृणित था, और दूसरा डेटा तक पहुंच के मामले में पूरी तरह से अटूट था। क्यों - नीचे पढ़ें।

किस से, किस से

हमारे एक्सेल बने हैं। यह उन लोगों के लिए एक रहस्य नहीं होगा जो प्रारूप में थोड़ा गहरा खुदाई करने का निर्णय लेते हैं, जो कि बाइनरी xls के विपरीत, xlsx अनिवार्य रूप से एक ज़िप डेटा संग्रह है। यह हैंडल के साथ एक्सटेंशन को बदलने और फ़ोल्डर में संग्रह को अनज़िप करने के लिए पर्याप्त है - और हम दस्तावेज़ की संपूर्ण आंतरिक संरचना प्राप्त करेंगे, जो xml फ़ाइलों और संबंधित जानकारी के एक सेट से ज्यादा कुछ नहीं है। जैसा कि यह निकला, रूट xml में कोई पाठ डेटा नहीं है। इसके बजाय, हमारे पास अनुक्रमित का एक सेट है जो एक सहायक फ़ाइल को संदर्भित करता है जिसमें कुंजी / मूल्य जोड़े प्रस्तुत किए जाते हैं। उपरोक्त तरीकों में से एक का उपयोग किसी फ़ाइल को खोलने के लिए किया जा सकता है, लेकिन साथ ही साथ आपको फाइलों के साथ खुदाई करने और उनके साथ पाठ मान निकालने की आवश्यकता होती है। अंधेरे।

और अंधेरा छा गया

बहुत दर्द और दर्द के बाद, निम्नलिखित पैदा हुआ था:

हमारे पसंदीदा उपयोग, जिन्हें कुछ व्यक्ति इंगित करना भूल जाते हैं:
using System;
using System.Collections. Generic ;
using System.Data;
using System.Data.OleDb;
using System.IO;
using System.Linq;
using DocumentFormat.OpenXml;
using DocumentFormat.OpenXml.Packaging;
using DocumentFormat.OpenXml.Spreadsheet;

* This source code was highlighted with Source Code Highlighter .


using System;
using System.Collections. Generic ;
using System.Data;
using System.Data.OleDb;
using System.IO;
using System.Linq;
using DocumentFormat.OpenXml;
using DocumentFormat.OpenXml.Packaging;
using DocumentFormat.OpenXml.Spreadsheet;

* This source code was highlighted with Source Code Highlighter .


using System;
using System.Collections. Generic ;
using System.Data;
using System.Data.OleDb;
using System.IO;
using System.Linq;
using DocumentFormat.OpenXml;
using DocumentFormat.OpenXml.Packaging;
using DocumentFormat.OpenXml.Spreadsheet;

* This source code was highlighted with Source Code Highlighter .


वास्तव में, कोड ही:
public delegate void MessageHave( string message);

public delegate void _DataLoaded( List < string > data);

public delegate void _NewProcent( int col);

public static _DataLoaded DataLoaded;

public static _NewProcent NewProcent;

public static MessageHave MessageHave_Event;

public static void ReadData( object data)
{
// " "-" "
var keyValuePair = (KeyValuePair< string , string >)data;
using ( var cnn = new OleDbConnection( @"Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" +
keyValuePair.Key + @";Extended Properties=" "Excel 12.0;HDR=No;IMEX=1" "" )
)
{
int calc = 1000;
MessageHave_Event( " " );
cnn.Open();
try
{
var cmd = new OleDbCommand( String .Format( "select * from [{0}]" , keyValuePair.Value), cnn);
using (OleDbDataReader dr = cmd.ExecuteReader())
{
var lines = new List < string >();
int id = 0;
if (dr != null )
while (dr.Read())
{
string text = "" ;
for ( int i = 0; i < dr.FieldCount; ++i)
{
if (dr[i] != null )
text += dr[i] + "^" ; //
else
text += "^" ;
}
lines.Add(text);

id++;
if (id == calc)
{
NewProcent(id);
calc += 1000;
}
}
DataLoaded(lines);
}
cnn.Close();
}
catch (Exception ex)
{
MessageHave_Event( "Exception: " + ex.Message);
cnn.Close();
}
}
}

* This source code was highlighted with Source Code Highlighter .


public delegate void MessageHave( string message);

public delegate void _DataLoaded( List < string > data);

public delegate void _NewProcent( int col);

public static _DataLoaded DataLoaded;

public static _NewProcent NewProcent;

public static MessageHave MessageHave_Event;

public static void ReadData( object data)
{
// " "-" "
var keyValuePair = (KeyValuePair< string , string >)data;
using ( var cnn = new OleDbConnection( @"Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" +
keyValuePair.Key + @";Extended Properties=" "Excel 12.0;HDR=No;IMEX=1" "" )
)
{
int calc = 1000;
MessageHave_Event( " " );
cnn.Open();
try
{
var cmd = new OleDbCommand( String .Format( "select * from [{0}]" , keyValuePair.Value), cnn);
using (OleDbDataReader dr = cmd.ExecuteReader())
{
var lines = new List < string >();
int id = 0;
if (dr != null )
while (dr.Read())
{
string text = "" ;
for ( int i = 0; i < dr.FieldCount; ++i)
{
if (dr[i] != null )
text += dr[i] + "^" ; //
else
text += "^" ;
}
lines.Add(text);

id++;
if (id == calc)
{
NewProcent(id);
calc += 1000;
}
}
DataLoaded(lines);
}
cnn.Close();
}
catch (Exception ex)
{
MessageHave_Event( "Exception: " + ex.Message);
cnn.Close();
}
}
}

* This source code was highlighted with Source Code Highlighter .


public delegate void MessageHave( string message);

public delegate void _DataLoaded( List < string > data);

public delegate void _NewProcent( int col);

public static _DataLoaded DataLoaded;

public static _NewProcent NewProcent;

public static MessageHave MessageHave_Event;

public static void ReadData( object data)
{
// " "-" "
var keyValuePair = (KeyValuePair< string , string >)data;
using ( var cnn = new OleDbConnection( @"Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" +
keyValuePair.Key + @";Extended Properties=" "Excel 12.0;HDR=No;IMEX=1" "" )
)
{
int calc = 1000;
MessageHave_Event( " " );
cnn.Open();
try
{
var cmd = new OleDbCommand( String .Format( "select * from [{0}]" , keyValuePair.Value), cnn);
using (OleDbDataReader dr = cmd.ExecuteReader())
{
var lines = new List < string >();
int id = 0;
if (dr != null )
while (dr.Read())
{
string text = "" ;
for ( int i = 0; i < dr.FieldCount; ++i)
{
if (dr[i] != null )
text += dr[i] + "^" ; //
else
text += "^" ;
}
lines.Add(text);

id++;
if (id == calc)
{
NewProcent(id);
calc += 1000;
}
}
DataLoaded(lines);
}
cnn.Close();
}
catch (Exception ex)
{
MessageHave_Event( "Exception: " + ex.Message);
cnn.Close();
}
}
}

* This source code was highlighted with Source Code Highlighter .


कोड ने रिकॉर्ड्स की 600-800 हजार लाइनों की फाइलों पर लगभग 15-20 मिनट का प्रदर्शन दिखाया।

यदि कार्यान्वयन किसी को वक्र की तरह लगता है - ज्यादा किक न करें :) मैं सभी टिप्पणियों को सुनूंगा