Android के लिए SoX पोर्ट या परफेक्ट प्लेयर बनाने की कोशिश कर रहा है

नमस्कार, Habrauser!

कुछ महीने पहले मुझे एंड्रॉइड के लिए एक खिलाड़ी बनाने का विचार था, जिसमें भारी मात्रा में प्रभाव थे। उस समय का एकमात्र खिलाड़ी (मुझे नहीं पता कि अब कैसे :) कम से कम कुछ ध्वनि प्रसंस्करण वाला खिलाड़ी पावरपैम था, लेकिन इसमें ऑडियो प्रभावों की संख्या, इसे हल्के ढंग से कम करने के लिए थी। मैंने इस विचार को लागू करने की कोशिश की। इसमें से बहुत कम आया है, लेकिन मैं आपको बताता हूं कि इस विषय में क्या हुआ है। तो, जो रुचि रखते हैं, कृपया, बिल्ली के नीचे।

एक पुस्तकालय की तलाश में ...

इसके साथ शुरू करने के लिए, मैंने बहुत ही ओपनसोर्स लाइब्रेरी खोजने का फैसला किया, जो विभिन्न प्रभावों का उपयोग करके लचीले ढंग से ध्वनि की प्रक्रिया कर सकती है। अंत में, मैं गलती से SoX से मिला । पहली नज़र में, यह इस तरह की परियोजना को लागू करने के लिए एक आदर्श पुस्तकालय था, लेकिन यह इतना सरल नहीं निकला ...

पहली समस्याएं

SoX से परिचित होने के दौरान, मुझे ऐसी समस्याएं मिलीं:
1. पुस्तकालय सभी प्रमुख ऑपरेटिंग सिस्टम पर ठीक काम करता है, लेकिन BUT ARM के लिए अनुकूलित नहीं है।
2. पुस्तकालय एपीआई, साथ ही साथ एपीआई का वर्णन, केवल अल्प था, लगभग सभी कार्यों को कमांड लाइन के माध्यम से लागू करना आसान था।
3. SoX, डिकोडिंग के लिए एक FFmpeg का उपयोग करने के बजाय, कई पुस्तकालयों का उपयोग करता है (आप आधिकारिक वेबसाइट पर देख सकते हैं)। इसलिए, इन सभी पुस्तकालयों को Android NDK के तहत भी बनाया जाना होगा।
4. SoX पूरी तरह से पुन: तैयार और लगभग किसी भी प्रारूप में डिकोड किया गया है, लेकिन प्रभाव लागू करते समय, ऑडियो को या तो फ़ाइल या बाइट सरणी में डिकोड किया जा सकता है, या Alsa / CoreAudio के माध्यम से वापस खेला जा सकता है। तीसरा विकल्प स्पष्ट रूप से फिट नहीं हुआ, क्योंकि एंड्रॉइड में सैद्धांतिक रूप से अलसा है, लेकिन यह हमेशा काम नहीं करता है और सामान्य रूप से, यह ध्वनि प्रजनन की अनुशंसित विधि नहीं है। इसलिए, एकमात्र विकल्प बाइट सरणी में सब कुछ डिकोड करना और इसे जावा (ऑडियोट्रैक) में देना है। लेकिन यहां तक ​​कि इसे लागू करना मुश्किल था, क्योंकि ... मैं उदाहरण से समझाऊंगा :)
प्रभाव का उपयोग करके ध्वनि प्रसंस्करण को लागू करने के एक आधिकारिक उदाहरण के लिए यहां कोड का हिस्सा है:

assert(sox_init() == SOX_SUCCESS); assert(in = sox_open_read(argv[1], NULL, NULL, NULL)); /* Change "alsa" in this line to use an alternative audio device driver: */ assert(out= sox_open_write("default", &in->signal, NULL, "alsa", NULL, NULL)); chain = sox_create_effects_chain(&in->encoding, &out->encoding); e = sox_create_effect(sox_find_effect("input")); args[0] = (char *)in, assert(sox_effect_options(e, 1, args) == SOX_SUCCESS); assert(sox_add_effect(chain, e, &in->signal, &in->signal) == SOX_SUCCESS); e = sox_create_effect(sox_find_effect("trim")); args[0] = "10", assert(sox_effect_options(e, 1, args) == SOX_SUCCESS); assert(sox_add_effect(chain, e, &in->signal, &in->signal) == SOX_SUCCESS); if (in->signal.rate != out->signal.rate) { e = sox_create_effect(sox_find_effect("rate")); assert(sox_effect_options(e, 0, NULL) == SOX_SUCCESS); assert(sox_add_effect(chain, e, &in->signal, &out->signal) == SOX_SUCCESS); } if (in->signal.channels != out->signal.channels) { e = sox_create_effect(sox_find_effect("channels")); assert(sox_effect_options(e, 0, NULL) == SOX_SUCCESS); assert(sox_add_effect(chain, e, &in->signal, &out->signal) == SOX_SUCCESS); } e = sox_create_effect(sox_find_effect("output")); args[0] = (char *)out, assert(sox_effect_options(e, 1, args) == SOX_SUCCESS); assert(sox_add_effect(chain, e, &in->signal, &out->signal) == SOX_SUCCESS); sox_flow_effects(chain, NULL, NULL); 

इस मामले में, ऑडियो डिकोड किया जाता है, और कई प्रभाव लागू होते हैं, फिर सब कुछ ALSA के माध्यम से आउटपुट होता है। जैसा कि आप देख सकते हैं, effect_chain बनाने के लिए आपको पहले 2 स्ट्रीम करना होगा: पढ़ने के लिए और आउटपुट जानकारी के लिए। यहाँ एक बाइट सरणी में भागों में एक ऑडियो फ़ाइल को डिकोड करने का एक आधिकारिक उदाहरण है:

 assert(sox_init() == SOX_SUCCESS); /* Open the input file (with default parameters) */ assert(in = sox_open_read(argv[1], NULL, NULL, NULL)); #if defined FIXED_BUFFER assert(out = sox_open_mem_write(buffer, buffer_size, &in->signal, NULL, "sox", NULL)); #else assert(out = sox_open_memstream_write(&buffer, &buffer_size, &in->signal, NULL, "sox", NULL)); #endif while ((number_read = sox_read(in, samples, MAX_SAMPLES))) assert(sox_write(out, samples, number_read) == number_read); 

जैसा कि आप देख सकते हैं, इस मामले में ऑडियो भागों में डीकोड किया गया है, और प्रोग्राम एक बफर प्राप्त करता है। यह उदाहरण पूरी तरह से काम कर रहा है, लेकिन इसमें प्रभावों को लागू करना व्यावहारिक रूप से असंभव है (जो कि कार्यक्रम का उद्देश्य है), क्योंकि इसके लिए ऑडियो के प्रत्येक भाग के लिए एक अन्य बफर के लिए एक रीड एंड राइट स्ट्रीम बनाना आवश्यक होगा (आकार में 16484 बाइट्स) और फिर इन धाराओं को संसाधित करें। इसने मेरे लिए काम नहीं किया, और किसी भी उदाहरण में इस तरह के अवसर का वर्णन नहीं किया गया है।
तब सभी ऑडियो को एक बफर में प्रभाव का उपयोग करके डीकोड करना तर्कसंगत होगा, लेकिन इस विकल्प में बहुत अधिक रैम का उपयोग होता है (जब मैंने परीक्षण किया कि 10-11 मेगाबाइट की एक छोटी ऑडियो फ़ाइल को डिकोड करते समय यह 100 एमबी तक पहुंच गया है)।

लेकिन फिर भी, यह कोशिश करने का फैसला किया गया था ...

इन समस्याओं के बावजूद, मैंने SoX और सभी संबंधित पुस्तकालयों को पोर्ट करना शुरू करने का फैसला किया। Android NDK को जानने के लिए एक सप्ताह का समय दिया गया था। सिद्धांत रूप में, पोर्टिंग एक जटिल, सजातीय प्रक्रिया नहीं थी, जिसे मैंने पिछले लेख में वर्णित किया था। कुछ पुस्तकालयों को पहले ही संकलित किया गया है (जैसे FFmpeg)। अंत में, मुझे एक संकलित sox.so मिला, जो वास्तव में काम करता था और अब काम करता है :) यह समस्या को हल करने का समय है। 3. सब कुछ बहुत मुश्किल नहीं निकला - मैंने एक अलग धागा बनाया जो इसे जावा प्रोग्राम में भेजता है क्योंकि बफर भरता है, और यह इसे वापस खेलता है। मेमोरी समस्या लगभग हल हो गई है (आखिरकार, इसका उपयोग बहुत किया जाता है, लेकिन एप्लिकेशन इसे ड्रॉप नहीं करता है)। मुझे एक एप्लिकेशन मिला है जो लगभग सभी ऑडियो फॉर्मेट को प्ले करता है और इसमें इफेक्ट्स जोड़ता है (अब फ्लेंजर, आप कोई अन्य जोड़ सकते हैं)। एक ओर, विकास जारी रखना पहले से ही संभव है, लेकिन मुझे एक ही बार में दो नई समस्याएं मिलीं:

1. प्रोग्राम प्रोसेसर का बहुत अधिक उपयोग करता है (डिकोडिंग के समय 80% तक पहुंच जाता है)। मुझे नहीं पता कि एआरएम के लिए सी कोड को कैसे अनुकूलित किया जाए, इसलिए मैं इसे स्वयं हल करना संभव नहीं देखता।
2. कार्यक्रम अस्थिर है। 10 में से 1-2 के बारे में शुरू होता है, यह कुछ भी नहीं खेलता है (गैलेक्सी टैब पर परीक्षण किया गया)। मैं भी इस समस्या को हल नहीं कर सका ...

कुल मिलाकर, ताकि काम गायब न हो, मैंने GitHub पर सभी कोड प्रकाशित करने और यहां एक लेख लिखने का फैसला किया। कोड से लिंक करें। अगर कोई इन समस्याओं को हल करने के अवसर देखता है - मुझे ईमेल द्वारा या पीएम को लिखें। मुझे आशा है कि मेरा विचार किसी को भी रुचिकर लगेगा :)