नेटिव NSInputStream का उपयोग करके क्लाउड पर सुपरसोनिक फोटो अपलोड करना

डिवाइस से सर्वर तक फ़ोटो और वीडियो का सबसे तेज़ संभव डाउनलोडिंग आईओएस के लिए Cloud.Ru Mail.Ru मोबाइल ऐप को विकसित करते समय हमारी मुख्य प्राथमिकता थी। इसके अलावा, एप्लिकेशन के पहले संस्करण से, हमने उपयोगकर्ताओं को सिस्टम गैलरी की सभी सामग्री के सर्वर पर स्वचालित डाउनलोडिंग को सक्षम करने का अवसर प्रदान किया। यह उन लोगों के लिए बहुत सुविधाजनक है जो फोन के संभावित नुकसान के बारे में चिंतित हैं, हालांकि, जैसा कि आप जानते हैं, यह कई बार प्रेषित डेटा की मात्रा को बढ़ाता है।

इसलिए, हमने खुद को मेल से तस्वीरें और वीडियो अपलोड करने का काम निर्धारित किया। क्लाउड मोबाइल एप्लिकेशन न केवल अच्छा है, बल्कि आदर्श के करीब है। इसका परिणाम हमारी POSInputStreamLibrary लाइब्रेरी थी, जो iOS सिस्टम गैलरी से नेटवर्क में फ़ोटो और वीडियो स्ट्रीमिंग को लागू करती है। ALAssetLibrary और CFNetwork चौखटे के साथ इसके घनिष्ठ एकीकरण के कारण, एप्लिकेशन में लोड करना बहुत तेज़ है और डिवाइस पर किसी भी रिक्त स्थान की एक बाइट की आवश्यकता नहीं है। मैं इस पोस्ट में iOS डेवलपर लाइब्रेरी से NSInputStream वर्ग के अपने वंशज के कार्यान्वयन के बारे में बात करूंगा।

Mail.Ru क्लाउड के लाभ के लिए सेवा के दौरान, POSBlobInputStream स्ट्रीम ने बहुत समृद्ध कार्यक्षमता प्राप्त की है:

• ALAsset साथ स्ट्रीम इनिशियलाइज़ेशन
• तुल्यकालिक और अतुल्यकालिक ऑपरेशन मोड के लिए समर्थन
• ALAsset ऑब्जेक्ट को ALAsset बाद स्वचालित ALAsset
• ALAsset से कैशिंग डेटा रीडिंग
• ऑफ़सेट निर्दिष्ट करने की क्षमता जिसमें से पढ़ना शुरू हो जाएगा
• किसी भी डेटा स्रोत के साथ एकीकृत करने की क्षमता

इन संभावनाओं में से प्रत्येक का अर्थ एक अलग पैराग्राफ में समझाया गया है। उन पर विचार करने से पहले, यह केवल कहने के लिए बना हुआ है कि पुस्तकालय का स्रोत कोड यहां उपलब्ध है , साथ ही साथ मुख्य कोकोआ भंडार भी है ।

URL फ़्लो एलेसेट को प्रारंभ करना

जब तक एप्लिकेशन की सभी कार्यक्षमता केवल फ़ोटो डाउनलोड करने तक सीमित थी, तब तक सब कुछ सरल था। गैलरी से छवि को एक अस्थायी फ़ाइल में सहेजा गया था, जिसके आधार पर एक मानक फ़ाइल स्ट्रीम बनाई गई थी। उत्तरार्द्ध नेटवर्क में स्ट्रीमिंग के लिए NSURLRequest के इनपुट को खिलाया गया था।

 @interface NSInputStream (NSInputStreamExtensions) // ... + (id)inputStreamWithFileAtPath:(NSString *)path; // ... @end 

 @interface NSMutableURLRequest (NSMutableHTTPURLRequest) // ... - (void)setHTTPBodyStream:(NSInputStream *)inputStream; // ... @end 

क्लिक करने योग्य:



वीडियो फ़ाइलों को डाउनलोड करने का समर्थन करने की आवश्यकता ने इस दृष्टिकोण को अनुपयोगी बना दिया। रोलर्स के विशाल आकार के कारण निम्नलिखित समस्याएं हुईं:

• डिवाइस पर बड़ी मात्रा में खाली स्थान लोड करना आवश्यक है
• वीडियो को अस्थायी फ़ाइल में सहेजने का समय 10 या अधिक मिनट तक पहुंच सकता है

इन असुविधाओं को दूर करने के लिए, POSBlobInputStream वर्ग विकसित किया गया था। यह गैलरी ऑब्जेक्ट के URL के साथ आरंभीकृत है और अस्थायी फ़ाइलों को बनाए बिना डेटा को सीधे पढ़ता है।

 @interface NSInputStream (POS) + (NSInputStream *)pos_inputStreamWithAssetURL:(NSURL *)assetURL; + (NSInputStream *)pos_inputStreamWithAssetURL:(NSURL *)assetURL asynchronous:(BOOL)asynchronous; + (NSInputStream *)pos_inputStreamForCFNetworkWithAssetURL:(NSURL *)assetURL; @end 

क्लिक करने योग्य:



सबसे पहले, मुझे लग रहा था कि POSBlobInputStream को लागू करने में कम से कम समय लगेगा, क्योंकि इसका आधार वर्ग का इंटरफ़ेस तुच्छ है।

 @interface NSInputStream : NSStream - (NSInteger)read:(uint8_t *)buffer maxLength:(NSUInteger)len; - (BOOL)getBuffer:(uint8_t **)buffer length:(NSUInteger *)len; - (BOOL)hasBytesAvailable; @end 

इसके अलावा, प्रलेखन के अनुसार, getBuffer:length: वैकल्पिक है, इसलिए ऐसा लगेगा कि आपको केवल 2 तरीकों को लागू करने की आवश्यकता है। ALAssetRepresentation इंटरफ़ेस में उनकी मैपिंग ने ALAssetRepresentation प्रश्न नहीं उठाया।

 @interface ALAssetRepresentation : NSObject // ... - (long long)size; - (NSUInteger)getBytes:(uint8_t *)buffer fromOffset:(long long)offset length:(NSUInteger)length error:(NSError **)error; // ... @end 

हालाँकि, नए बने POSBlobInputStream को पानी में POSBlobInputStream , मुझे अप्रिय आश्चर्य हुआ। NSStream बेस क्लास के किसी भी तरीके के लिए कॉल फॉर्म के अपवाद के साथ समाप्त हो गया:

 *** -propertyForKey: only defined for abstract class. Define -[POSBlobInputStream propertyForKey:] 

कारण यह है कि NSInputStream एक अमूर्त वर्ग है, और इसके प्रत्येक init विधियाँ NSInputStream वर्गों में से एक से एक वस्तु बनाती हैं। ऑब्जेक्टिव-सी में, इस पैटर्न को क्लास क्लस्टर कहा जाता है। इस प्रकार, अपने स्वयं के स्ट्रीम के कार्यान्वयन के लिए सभी NSStream विधियों के कार्यान्वयन की आवश्यकता होती है, और उनके लिए एक कमरा है।

 @interface NSStream : NSObject - (void)open; - (void)close; - (id <NSStreamDelegate>)delegate; - (void)setDelegate:(id <NSStreamDelegate>)delegate; - (id)propertyForKey:(NSString *)key; - (BOOL)setProperty:(id)property forKey:(NSString *)key; - (void)scheduleInRunLoop:(NSRunLoop *)aRunLoop forMode:(NSString *)mode; - (void)removeFromRunLoop:(NSRunLoop *)aRunLoop forMode:(NSString *)mode; - (NSStreamStatus)streamStatus; - (NSError *)streamError; @end 

तुल्यकालिक और अतुल्यकालिक POSBlobInputStream ऑपरेटिंग मोड

POSBlobInputStream विकसित करते POSBlobInputStream सबसे कठिन POSBlobInputStream एक राज्य परिवर्तन के अतुल्यकालिक अधिसूचना के लिए एक तंत्र को लागू करना था। NSStream scheduleInRunLoop:forMode: removeFromRunLoop:forMode: scheduleInRunLoop:forMode: removeFromRunLoop:forMode: और setDelegate: विधियाँ इसके लिए ज़िम्मेदार हैं। उनके लिए धन्यवाद, आप प्रवाह बना सकते हैं कि उद्घाटन के समय जानकारी का बाइट नहीं है। POSBlobInputStream निम्नलिखित उद्देश्यों के लिए इस सुविधा का फायदा उठाता है:

• open विधि के एक गैर-अवरुद्ध संस्करण को लागू करना। POSBlobInputStream को वैसे ही खुला माना जाता है, जब वह अपने NSURL द्वारा ALAssetRepresentation ऑब्जेक्ट प्राप्त करने में ALAssetRepresentation है। जैसा कि आप जानते हैं, आईओएस एसडीके का उपयोग यह केवल एसिंक्रोनस रूप से किया जा सकता है। इस प्रकार, NSStreamStatusNotOpen से NSStreamStatusOpen या NSStreamStatusError में स्ट्रीम की स्थिति में परिवर्तन की अतुल्यकालिक अधिसूचना के लिए एक तंत्र की उपस्थिति NSStreamStatusError स्वागत योग्य है।
• NSStreamEventHasBytesAvailable घटना को NSStreamEventHasBytesAvailable पठनीयता के बारे में डेटा स्ट्रीम को सूचित करना।

उदाहरण के लिए, निम्नलिखित POSBlobInputStream का उपयोग करके फ़ाइल चेकसम गणना के कार्यान्वयन हैं। आइए तुल्यकालिक विकल्प पर विचार करके शुरू करें।

 NSInputStream *stream = [NSInputStream pos_inputStreamWithAssetURL:assetURL asynchronous:NO]; [stream open]; if ([stream streamStatus] == NSStreamStatusError) { /*    */ return; } NSParameterAssert([stream streamStatus] == NSStreamStatusOpen); while ([stream hasBytesAvailable]) { uint8_t buffer[kBufferSize]; const NSInteger readCount = [stream read:buffer maxLength:kBufferSize]; if (readCount < 0) { /*    */ return; } else if (readCount > 0) { /*     */ } } if ([stream streamStatus] != NSStreamStatusAtEnd) { /*    */ return; } [stream close]; 

अपनी सभी सादगी के लिए, इस कोड में एक अदृश्य विशेषता है। यदि आप इसे मुख्य धागे में निष्पादित करते हैं, तो गतिरोध होगा। तथ्य यह है कि खुली विधि कॉलिंग थ्रेड को ब्लॉक करती है जब तक कि आईओएस एसडीके मुख्य धागे में ALAsset को वापस नहीं ALAsset है। यदि open कार्य को मुख्य धागे में कहा जाता है, तो हमें एक क्लासिक गतिरोध मिलता है। आपको धारा के समकालिक कार्यान्वयन की आवश्यकता क्यों थी, नीचे अनुभाग "NSURLRequest के साथ एकीकरण की सुविधाएँ" में वर्णित किया जाएगा।
चेकसम गणना का अतुल्यकालिक संस्करण थोड़ा अधिक जटिल दिखता है।

 @interface ChecksumCalculator () <NSStreamDelegate> @end @implementation ChecksumCalculator - (void)calculateChecksumForStream:(NSInputStream *)aStream { aStream.delegate = self; [aStream open]; dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{ NSRunLoop *runLoop = [NSRunLoop currentRunLoop]; [aStream scheduleInRunLoop:runLoop forMode:NSDefaultRunLoopMode]; for (;;) { @autoreleasepool { if (![runLoop runMode:NSDefaultRunLoopMode beforeDate:[NSDate dateWithTimeIntervalSinceNow:kRunLoopInterval]]) { break; } const NSStreamStatus streamStatus = [aStream streamStatus]; if (streamStatus == NSStreamStatusError || streamStatus == NSStreamStatusClosed) { break; } }} }); } #pragma mark - NSStreamDelegate - (void)stream:(NSStream *)aStream handleEvent:(NSStreamEvent)eventCode { switch (eventCode) { case NSStreamEventHasBytesAvailable: { [self updateChecksumForStream:aStream]; } break; case NSStreamEventEndEncountered: { [self notifyChecksumCalculationCompleted]; [_stream close]; } break; case NSStreamEventErrorOccurred: { [self notifyErrorOccurred:[_stream streamError]]; [_stream close]; } break; } } @end 

ChecksumCalculator खुद को POSBlobInputStream ईवेंट POSBlobInputStream रूप में सेट करता है। जैसे ही धारा में नया डेटा होता है, या, इसके विपरीत, समाप्त होता है, या कोई त्रुटि होती है, यह संबंधित घटनाओं को भेजता है। कृपया ध्यान दें कि उन्हें भेजने के लिए कौन सा धागा निर्दिष्ट करना संभव है। उदाहरण के लिए, उपरोक्त कोड सूची में, वे GCD द्वारा बनाए गए एक निश्चित वर्कफ़्लो में आएंगे।

ALAssetLibrary के साथ एकीकरण की विशेषताएं

ALAssetLibrary से काम करते समय, निम्नलिखित पर विचार किया जाना चाहिए:

• ALAssetRepresentation विधियों को ALAssetRepresentation करना बहुत महंगा है। POSBlobInputStream परिणामों को कैशिंग करके उनकी संख्या को कम करने का प्रयास करता है। उदाहरण के लिए, डेटा का एक न्यूनतम ब्लॉक होता है जिसे read:maxLength: समय घटाया जाएगा read:maxLength: विधि कहा जाता है, और इसके थकावट के बाद ही एक नया कॉल होगा।
• ALAssetRepresentation अमान्य हो सकता है। तो, आईओएस 5.x पर, यह तब होता है जब फोटो को फोन की गैलरी में सहेजा जाता है। क्लाइंट कोड के दृष्टिकोण से, यह getBytes:fromOffset:length:error: का उपयोग करके एक शून्य मान लौटाने जैसा दिखता है getBytes:fromOffset:length:error: ऑब्जेक्ट की विधि। इसी समय, यह ज्ञात है कि डेटा पूरी तरह से पढ़ा नहीं गया है। इस स्थिति में, POSBlobInputStream को ALAssetRepresentation फिर से प्राप्त होता है। यह ध्यान रखना उपयोगी होगा कि जब सिंक्रोनस मोड में काम कर रहे हों, तो कॉलिंग थ्रेड को रीइंस्ट्रक्शन के दौरान ब्लॉक किया जाता है, लेकिन एसिंक्रोनस मोड में नहीं।

NSURLRequest के साथ एकीकरण की विशेषताएं

सामान्य रूप से iOS SDK के नेटवर्क स्तर और विशेष रूप से NSURLRequest का कार्यान्वयन CFNetwork ढांचे पर आधारित है। अपने जीवन के लंबे वर्षों में, उन्होंने कंकाल के साथ बहुत सारे अलमारियाँ जमा की हैं। लेकिन पहले बातें पहले।

NSInputStream " टोल-फ्री NSInputStream " iOS SDK क्लासेस में से एक है। आप इसे CFReadStreamRef में डाल सकते हैं और बाद में इस प्रकार के ऑब्जेक्ट के रूप में काम कर सकते हैं। यह संपत्ति NSURLRequest के कार्यान्वयन को रेखांकित करती है। बाद वाला अपने जुड़वां भाई के रूप में POSBlobInputStream देता है और सी- POSBlobInputStream सी-इंटरफेस का उपयोग करके इसके साथ संचार करता है। सिद्धांत रूप में, NSInputStream सभी C- कॉल को उनके संबंधित NSInputStream विधियों के कॉल के NSInputStream होना चाहिए। हालाँकि, व्यवहार में दो गंभीर विचलन हैं:

1. सभी कॉल अनुमानित नहीं हैं। कुछ के लिए, इस प्रक्रिया को स्वतंत्र रूप से किया जाना है। मैं इस पर ध्यान केंद्रित नहीं करूंगा, क्योंकि इस विषय पर इंटरनेट पर अच्छे लेख हैं: कोरफाउंडेशन टोल-फ्री ब्रिजेट NSInputStream , सबक्लासिंग NSInputStream कैसे लागू करें ।
2. Proxying CFReadStreamGetError एप्लिकेशन को क्रैश करता है। यह विशेष ज्ञान आवेदन के क्रैश लॉग का विश्लेषण और CFStream स्रोतों पर ध्यान लगाकर प्राप्त किया गया था। जाहिर है, इस कारण से, संकेतित फ़ंक्शन को प्रलेखन में पुराना चिह्नित किया गया है, लेकिन, फिर भी, इसका उपयोग अभी तक सीएफएन नेटवर्क के सभी स्थानों से नहीं मिटाया गया है। इसलिए, जब भी NSInputStream किसी त्रुटि के बारे में CFNetwork को सूचित करता है, तो फ्रेमवर्क इस दुर्भावनापूर्ण फ़ंक्शन का उपयोग करके उसका विवरण प्राप्त करने की कोशिश करता है। परिणाम दुखद है।

दूसरी समस्या से निपटने के लिए कई विकल्प नहीं हैं। चूंकि यह CFNetwork को रिफलेक्टर करना असंभव है, यह केवल शत्रुतापूर्ण कार्यों के लिए इसे भड़काने के लिए नहीं रहता है। CFNetwork को त्रुटि का विवरण प्राप्त करने की कोशिश करने से रोकने के लिए, किसी भी परिस्थिति में उसे इसकी घटना के बारे में सूचित न करें। इस कारण से, POSBlobInputStream प्रॉपर्टी shouldNotifyCoreFoundationAboutStatusChange । यदि ध्वज सेट है, तो:

1. थ्रेड C कॉलबैक के माध्यम से अपनी स्थिति में परिवर्तनों की सूचना नहीं भेजेगा
2. विधि streamStatus को कभी नहीं NSStreamStatusError

झंडा उठाए जाने पर त्रुटि के बारे में पता लगाने का एकमात्र तरीका एक निश्चित वर्ग में NSStreamDelegate प्रोटोकॉल को लागू करना है और इसे स्ट्रीम के प्रतिनिधि के रूप में सेट करना है (ऊपर चेकसम गणना उदाहरण देखें)।

एक और अप्रिय खोज यह थी कि सीएफएन नेटवर्क सिंक्रोनस मोड में एक स्ट्रीम के साथ काम करता है। इस तथ्य के बावजूद कि फ्रेमवर्क सूचनाओं की सदस्यता लेता है, किसी कारण से यह अभी भी अपने पोल-इंग में संलग्न है। उदाहरण के लिए, लूप में open विधि को कई बार कहा जाता है, और यदि थ्रेड इस समय अंतराल के दौरान खुले राज्य में जाने का प्रबंधन नहीं करता है, तो इसे भ्रष्ट माना जाता है। नेटवर्क ढांचे की यह विशेषता POSBlobInputStream सिंक्रोनाइज़्ड ऑपरेशन मोड के समर्थन का कारण थी, सीमाओं के साथ।

ऑफ़सेट समर्थन पढ़ें

Clouds Mail.Ru iOS एप्लिकेशन फ़ाइलों को अपलोड कर सकता है। यह कार्यक्षमता आपको उस घटना में ट्रैफ़िक और उपयोगकर्ता समय को बचाने की अनुमति देती है जो डाउनलोड की गई फ़ाइल का हिस्सा पहले से ही संग्रहण में है। इस आवश्यकता को लागू करने के लिए, POSBlobInputStream को फोटो की सामग्री को शुरू से नहीं, बल्कि कुछ स्थिति से पढ़ने के लिए प्रशिक्षित किया गया था। इसमें ऑफसेट NSStreamFileCurrentOffsetKey संपत्ति द्वारा सेट किया गया है। इस तथ्य के कारण कि यह मानक फ़ाइल स्ट्रीम की शुरुआत को स्थानांतरित करने के लिए भी उपयोग किया जाता है, इसे एक समान तरीके से निर्दिष्ट करना संभव हो जाता है।

कस्टम डेटा स्रोतों के लिए समर्थन

POSBlobInputStream को गैलरी से फ़ोटो और वीडियो डाउनलोड करने के लिए बनाया गया था। हालाँकि, इसे इसलिए डिज़ाइन किया गया है ताकि यदि आवश्यक हो, तो अन्य डेटा स्रोतों का उपयोग किया जा सके। अन्य स्रोतों से स्ट्रीमिंग के लिए, आपको POSBlobInputStreamDataSource प्रोटोकॉल लागू करना होगा।

 @protocol POSBlobInputStreamDataSource <NSObject> // // Self-explanatory KVO-compliant properties. @property (nonatomic, readonly, getter = isOpenCompleted) BOOL openCompleted; @property (nonatomic, readonly) BOOL hasBytesAvailable; @property (nonatomic, readonly, getter = isAtEnd) BOOL atEnd; @property (nonatomic, readonly) NSError *error; // // This selector will be called before anything else. - (void)open; // // Data Source configuring. - (id)propertyForKey:(NSString *)key; - (BOOL)setProperty:(id)property forKey:(NSString *)key; // // Data Source data. // The contracts of these selectors are the same as for NSInputStream. - (NSInteger)read:(uint8_t *)buffer maxLength:(NSUInteger)maxLength; - (BOOL)getBuffer:(uint8_t **)buffer length:(NSUInteger *)bufferLength; @end 

गुणों का उपयोग न केवल डेटा स्रोत की स्थिति प्राप्त करने के लिए किया जाता है, बल्कि केवीओ तंत्र का उपयोग करके इसके बदलाव के बारे में धारा को सूचित करने के लिए किया जाता है।

परिणाम

स्ट्रीम पर काम करने के दौरान, मैंने किसी भी एनालॉग की खोज में नेटवर्क पर बहुत समय बिताया। सबसे पहले, मैं पहिया को सुदृढ़ नहीं करना चाहता था, और दूसरी बात, अगर आप एक निश्चित मॉडल को ध्यान में रखते हैं तो चीजें बहुत तेज हो सकती हैं। दुर्भाग्य से, मुझे अच्छा कार्यान्वयन नहीं मिला। अधिकांश एनालॉग्स का संकट अतुल्यकालिक संचालन का कार्यान्वयन है। सबसे अच्छे मामले में, HSCountingInputStream में , मानक धाराओं में से एक की आंतरिक वस्तु का उपयोग घटनाओं को भेजने के लिए किया जाता है, जो कि गलत है। एसिंक्रोनस ऑपरेशन का अक्सर समर्थन नहीं किया जाता है, उदाहरण के लिए, NTVStreamMux में :

 #pragma mark Undocumented but necessary NSStream Overrides (fuck you Apple) - (void) _scheduleInCFRunLoop:(NSRunLoop*) inRunLoop forMode:(id)inMode { /* FUCK YOU APPLE */ } - (void) _setCFClientFlags:(CFOptionFlags)inFlags callback:(CFReadStreamClientCallBack)inCallback context:(CFStreamClientContext)inContext { /* NO SERIOUSLY, FUCK YOU */ } 

POSBlobInputStream , बदले में, Mail.Ru क्लाउड एप्लिकेशन के प्रमुख घटकों में से एक है। सेवा के दौरान, उन्हें उपयोगकर्ताओं की एक सेना द्वारा लड़ाई में परीक्षण किया गया था। बहुत सारे रेक एकत्र किए गए और समतल किए गए, और इस समय प्रवाह सबसे स्थिर घटकों में से एक है। उपयोग करें, एक्सटेंशन लिखें, और निश्चित रूप से, मुझे किसी भी प्रतिक्रिया की खुशी होगी।

पावेल ओसिपोव,
आईओएस के लिए क्लाउड टीम लीडर