एमपी 3 फ़ाइल के लिए md5 हैश की गिनती

तो, हमें एमपी 3 फ़ाइल के लिए हैश राशि की गणना करने की आवश्यकता है। Md5.exe के माध्यम से फ़ाइल का एक सरल रन उपयुक्त नहीं है, क्योंकि फ़ाइल में मेटा-जानकारी है - टैग जो समय के साथ बदलते हैं। इस प्रकार, फ़ाइल में केवल टैग अपडेट करने पर, हमें एक अलग हैश राशि मिलती है, जो बिल्कुल भी अच्छा नहीं है।

वैसे, एफएलएसी और एपीई प्रारूपों के लिए, यह समस्या व्यावहारिक रूप से अनुपस्थित है, क्योंकि वे आमतौर पर एनकोडर द्वारा निर्धारित ऑडियो डेटा का एक हैश योग होते हैं। FLAC के लिए, मान को metaflac --show-md5sum कमांड के साथ प्राप्त किया जा सकता है।

अगले एमपी 3 में संग्रहीत बाइनरी डेटा के आधार पर (गैर-अवधारणात्मक) हैश की गणना करने के लिए एक काफी विश्वसनीय तरीका है।

१) दृष्टिकोण १
2) दृष्टिकोण संख्या 2
3) जिंग और लंगड़ा टैग
4) रेसक्यू
5) गिनती की विश्वसनीयता

दृष्टिकोण संख्या १। हम अनावश्यक हटा देते हैं

विचार यह है कि यदि आप फ़ाइल (टैग) से अनावश्यक सब कुछ हटा देते हैं, तो केवल आवश्यक जानकारी रहेगी - ऑडियो डेटा, जिससे आप हैश की गणना कर सकते हैं।

एमपी 3 फ़ाइल संरचना:
- टैग ID3v2
- एमपीईजी फ्रेम - वास्तविक ऑडियो डेटा
- लिरिक्स टैग
- एपीई टैग
- टैग ID3v1 (अंतिम)

(सभी टैग वैकल्पिक हैं।)

ID3v2, अपने पूर्ववर्ती के विपरीत, फ़ाइल की शुरुआत में स्थित है, जो क्लाइंट को मेटा-सूचना को तुरंत पढ़ने की अनुमति देता है यदि फ़ाइल नेटवर्क पर प्रसारित की जाती है, उदाहरण के लिए। यह तीन ASCII वर्ण "ID3" से शुरू होता है, फिर एन्कोडेड टैग की लंबाई आती है:

 if buf[0:3] == 'ID3':   id3_v2_len = 20 if ord(buf[5]) & 0x10 else 10   id3_v2_len += ((ord(buf[6]) * 128 + ord(buf[7])) * 128 + ord(buf[8])) * 128 + ord(buf[9])   audio_start = id3_v2_len 

आगे ऑडियो फ्रेम आते हैं। यदि आप 1251 एन्कोडिंग में फ़ाइल खोलते हैं और "yy" अक्षर पाते हैं, तो उनकी शुरुआत दृष्टिगोचर हो सकती है।

अब अंत से चलते हैं। ID3v1 को ASCII स्ट्रिंग "TAG" से शुरू करते हुए, फ़ाइल के अंत में 128-बाइट ब्लॉक के रूप में मान्यता प्राप्त है। यदि आप "LYRICSBEGIN" के लिए अंत से खोज करते हैं, तो आप Lyrics3 टैग पा सकते हैं। और अगर "APETAGEX" APEv2 टैग है।

यदि यह सब कट जाता है, तो केवल ऑडियो डेटा ही रहेगा। यह दृष्टिकोण mp3tag.de कार्यक्रम के बाद है, निजी स्क्रिप्ट का एक गुच्छा और पुस्तकालयों को टैग करना, जिनमें से अधिकांश केवल ID3 पर केंद्रित हैं, जो निश्चित रूप से रास्ते में है।

लेकिन बुरी बात यह है कि टैग एक दूसरे के ऊपर लिखे और अक्सर टूट सकते हैं, आदि। इस दृष्टिकोण के साथ, कचरा ढेर को ऑडियो डेटा के रूप में लिया जाता है, जो एक हैश राशि की गणना की ओर जाता है, और टैग को दूसरे में बदलने के बाद, जो अनुमेय नहीं है।

नतीजतन, इस तरह से लिखा गया कार्यक्रम मुझे वास्तविकता से टकराने के बाद बाहर फेंकना पड़ा।

दृष्टिकोण संख्या 2। दाईं ओर छोड़ें

एमपी 3 प्लेयर दूसरे तरीके से चारों ओर कार्य करते हैं - जो वे रुचि रखते हैं उन्हें अलग करें - एमपीईजी फ्रेम, जो सब कुछ फ्रेम की तरह नहीं दिखता है, उसे छोड़ देना, और वे इसे बहुत सफलतापूर्वक करते हैं - आप आमतौर पर "बुरे" फाइलों पर "सॉब्स" नहीं सुनते हैं। ऐसा करना बुद्धिमानी है।

ऐसा लगता है कि फ़ोबोर्ब 2 प्लेयर ऐसा करता है, जो मेरे अनुमान में, पूरी तरह से काम करता है, लेकिन इस मामले में इसे निपटाना समझ में आता है।

MPlayer को भी ऐसा करना चाहिए, लेकिन संदेह उत्पन्न होता है क्योंकि वास्तव में यह कभी-कभी गलत टैग पर ठोकर खाता है, उन्हें पीछे छोड़ देता है। उसके लिए फ़ाइल साफ़ करने का कमांड है: mplayer in.mp3 -dumpaudio -dumpfile out.mp3 ।

मीडिया लाइब्रेरी - एमपी डिकोडर भी हैं। ये पागल, gstreamer और libmpg123 हैं, जो विभिन्न परीक्षकों द्वारा गैर-चुनिंदा रूप से उपयोग किए जाते हैं। मैंने पहले दो की कोशिश नहीं की है, लेकिन libmpg123 एक धमाके के साथ बंद हो गया - इस कोड को वर्षों से और बहुत सारी परियोजनाओं के लिए परीक्षण किया गया है, और अपने स्वयं के अनुसंधान और तुलना के परिणामों के अनुसार उच्च-गुणवत्ता। वहाँ, doc/examples extract_frames.c नाम extract_frames.c साथ माइक्रो-प्रोग्राम का स्रोत कोड है। कार्यक्रम मूल एमपी-फाइल को इनपुट के रूप में स्वीकार करता है और आउटपुट को स्वच्छ ऑडियो फ्रेम भेजता है।

libmpg123 साइबरविन और मिंगव के तहत समस्याओं के बिना संकलित करता है (हालांकि मिंगव संस्करण किसी तरह स्टड / स्टडआउट के साथ छोटी है, इसलिए मुझे फ़ाइल को बाइनरी मोड में खोलकर स्रोत को ठीक करना पड़ा)। मैंने प्रोग्राम को थोड़ा बदल दिया ताकि फ्रेम के बजाय यह तुरंत md5 दे और नीचे वर्णित कुछ बदलाव किए। रुचि रखने वाले किसी के लिए स्रोत कोड:

dl.dropbox.com/u/1883230/my/habr/mp3hash.zip

ज़िंग और लंगड़ा टैग

लेकिन ऑडियो फ़्रेम में , मेटा-इनफार्मेशन को भी स्टोर किया जा सकता है, जिसे हम छुटकारा पाना चाहते हैं - ये xing और lame टैग हैं, जहां हमारे लिए vbr- स्ट्रीम के साथ-साथ मूवमेंट को ऑप्टिमाइज़ करने के लिए उपयोग की जाने वाली अतिरिक्त जानकारी एन्कोडेड है, साथ ही एन्कोडिंग के लिए उपयोग किए जाने वाले पैरामीटर भी। सामान्य तौर पर, आप लीम से xing को कुछ लोगों के रूप में छोड़ सकते हैं और उन्हें बदल देंगे, लेकिन अगर आप अचानक फोबारबैंक में "यूटिलिटीज / फिक्स vbr mp3 हेडर" ऑपरेशन करते हैं, तो फ़ाइल के लिए हैश राशि बदल जाएगी। इसलिए इस मेटा को फेंकना बेहतर होगा। निम्नांकित मानदंड को libmpg123 में पास करने पर आप इन टैग को ध्यान में रखते हुए रोक सकते हैं:

 // "remove ignore"  ,    ret = mpg123_param(m, MPG123_REMOVE_FLAGS, MPG123_IGNORE_INFOFRAME, 0.); 

पुन: सिंक

यह रेसिंक सीमा को हटाने के लिए भी उपयोगी था। यदि ऐसा नहीं किया जाता है, तो प्रोग्राम लंबे समय तक (4KB) ऑडियो फ्रेम को पूरा नहीं करने पर "ठोकर खाएगा", जो कि फाइलों के साथ होता है, उदाहरण के लिए, ID3v2 में एक बड़ी छवि होती है। कार्यक्रम के मेरे संस्करण में, हैश राशि की गणना एक ही की जाती है, लेकिन जो त्रुटि ध्वज दिखाई देता है वह सब कुछ खराब कर रहा है और आप अब यह सुनिश्चित नहीं कर सकते हैं कि परिणाम त्रुटियों के बिना प्राप्त किया गया था। और इस पैरामीटर के साथ, सब कुछ ठीक है:

 mpg123_param(m, MPG123_RESYNC_LIMIT, -1, 0.0); 

गणना की विश्वसनीयता

मेरे सीमित दृश्य में, फ़ोबोबार २२ पूरी तरह से काम करता है (मेटा जानकारी से छुटकारा पाता है)। पैच किए गए extract_frames.c प्रोग्राम दुर्लभ फ़ाइलों के साथ सामना नहीं करते हैं, लेकिन फ़ुबर में "स्ट्रीम का पुनर्निर्माण" ऑपरेशन के बाद, 100 में से 95 मामलों को सही ढंग से (फ़ुबर के साथ संगत) गिना जाता है। इसके अलावा, mplayer थोड़ा खराब हो जाता है - यह लगभग हमेशा extract_frames (लेखांकन मोड में लंगड़ा / xing, निश्चित रूप से) के साथ संगत है, लेकिन, जैसा कि मैंने पहले ही लिखा था, यह कभी-कभी कचरा टैग पर पड़ता है। अभी भी विभिन्न टैगर्स हैं जिन्हें काफी सही टैग की आवश्यकता होती है, और हैशिंग समस्याएं शायद ही लागू होती हैं यदि अधिक स्थिर विकल्प उपलब्ध हैं।

सामान्य तौर पर, एक बड़ी विफलता और कुछ पहलुओं के साथ संघर्ष के बाद, मैं व्यक्तिगत रूप से इस एल्गोरिथ्म से संतुष्ट था, इसे फाइलों के एक समूह पर जाँच रहा था।