वोकोडर बनाने के लिए ऑडियो एपीआई का उपयोग करना

स्रोत चयन

1. ऑडियो टैग का उपयोग करके बनाया गया स्रोत
2. ऑडियो बफर
3. बाहरी ऑडियो स्ट्रीम (स्ट्रीम) (माइक्रोफ़ोन या बाहरी सहित कोई अन्य ऑडियो स्ट्रीम)

1. किस प्रकार के डेटा का उपयोग करने का अनुरोध करने के लिए। यह फॉर्म का एक उद्देश्य है -

   {video: true, audio: true} 

2. एक मीडिया कैप्चर फ़ंक्शन जो एक तर्क के रूप में एक कैप्चर स्ट्रीम लेता है।
   
3. कैप्चरिंग के दौरान होने वाली त्रुटियों से निपटने का कार्य।
   

 var d = document, w = window, context = null, dest = null, source = null; var init = function () { try { var audioContext = w.AudioContext || w.webkitAudioContext; navigator.getMedia = navigator.getUserMedia || navigator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia; //  context = new audioContext(); //   dest = context.destination; var bufferLoader = new BufferLoader(context, ["effects/reverb.wav"], function (buffers) { navigator.getMedia({ audio: true }, function (striam) { //       source = context.createMediaStreamSource(striam); }, function (e) { alert(e); }); }); bufferLoader.load(); } catch (e) { alert (e.message); } }; 

 //    var BufferLoader = function (context, urlList, callback) { this.context = context; this.urlList = urlList; this.onload = callback; this.bufferList = new Array(); this.loadCount = 0; }; BufferLoader.prototype.load = function () { for (var i = 0; i < this.urlList.length; ++i) { this.loadBuffer(this.urlList[i], i); } }; BufferLoader.prototype.loadBuffer = function (url, index) { var request = new XMLHttpRequest(); request.open("GET", url, true); request.responseType = "arraybuffer"; var loader = this; request.onload = function () { loader.context.decodeAudioData( request.response, function (buffer) { if (!buffer) { alert('error decoding file data: ' + url); return; } loader.bufferList[index] = buffer; if (++loader.loadCount == loader.urlList.length) { loader.onload(loader.bufferList); } }, function (error) { console.error('decodeAudioData error', error); } ); } request.onerror = function () { alert('BufferLoader: XHR error'); } request.send(); }; 

सिग्नल प्रोसेसिंग और परिवर्तन

• createGain - यह विधि हमें अपने सिग्नल को बढ़ाने की अनुमति देती है। एक लाभ पैरामीटर है - लाभ मान
• createConvolver - यह विधि संकेतों को जोड़ने की अनुमति देती है (जोड़)। विधि में दो पैरामीटर बफर हैं - यहां आवेग प्रतिक्रिया लिखी गई है जिसके साथ इनपुट सिग्नल जोड़ा जाता है। हमारे मामले में, यह बाहरी फ़ाइल है जिसका उल्लेख ऊपर किया गया था। हम इस पद्धति का उपयोग इसके कई प्रतिबिंबों के दौरान ध्वनि की तीव्रता में क्रमिक कमी के प्रभाव को प्राप्त करने के लिए करेंगे। वास्तव में, यह एक तुच्छ कार्य नहीं है, और इसके समाधान के लिए यह आवश्यक होगा कि हम गणना न करें, लेकिन हम तैयार किए गए आवेग प्रतिक्रिया का धोखा देते हैं और उपयोग करते हैं, जिनमें से इंटरनेट पर बहुत सारे हैं। दूसरा पैरामीटर, सामान्य करता है, इंगित करता है कि आवेग प्रतिक्रिया को बढ़ाया जा सकता है या नहीं।
• createDynamicsCompressor - एक ऑडियो सिग्नल के संपीड़न प्रभाव को लागू करता है। दूसरे शब्दों में, संपीड़न आपको सबसे शांत और सबसे तेज़ आवाज़ के बीच अंतर को कम करने की अनुमति देता है। विधि में निम्नलिखित पैरामीटर हैं: थ्रेशोल्ड (थ्रेशोल्ड स्तर, वह मान निर्धारित करता है जिसके ऊपर कंप्रेसर सिग्नल को अट्रैक्ट करना शुरू करता है), अनुपात (सिग्नल एटेन्यूएशन की तीव्रता निर्धारित करता है), हमला (यह वह समय है जो थ्रेशोल्ड मान को पार करने और कंप्रेसर के ट्रिगर होने के बीच का समय बीत जाता है। इस पैरामीटर के साथ प्रयोग की अनुमति देता है। बास ड्रम काफ़ी तेज), रिलीज (समय है कि दोनों के बीच समाप्त होने के कैसे इनपुट संकेत स्तर सीमा और पल जब कंप्रेसर रहता नीचे गिर गया की आवाज बनाने के लिए विशेष प्रभाव प्राप्त करने के लिए, उदाहरण के लिए, यदि संभव हो संकेत attenuate।

 var AudioModulation = function (buffers, source) { var am = this; //  var sourceGain = context.createGain(); sourceGain.gain.value = 2; //        var sourceConvolver = context.createConvolver(); sourceConvolver.buffer = buffers[0]; //   var sourceCompressor = context.createDynamicsCompressor(); sourceCompressor.threshold.value = -18.2; sourceCompressor.ratio.value = 4; //    source.connect(sourceGain); sourceGain.connect(sourceConvolver); sourceConvolver.connect(sourceCompressor); //   sourceCompressor.connect(dest); } 

रिंग मॉड्यूलेशन

• createOscillator - यह विधि आपको मनमानी आवृत्ति और आकार के संकेत उत्पन्न करने की अनुमति देती है। इसके तीन मापदंड हैं: टाइप (वेवफॉर्म: 1 - साइनसॉइड, 2 - आयताकार, 3 - देखा, 4 - त्रिकोणीय), फ्रीक्वेंसी (सिग्नल फ्रीक्वेंसी), डेट्यून (डिटेक्टिंग - फ्रीक्वेंसी डिविएशन। प्रत्येक ऑक्टेव में 1200 सेंट्स होते हैं, और प्रत्येक) एक हफ़्फ़टोन 100 सेंट है। 1200 की एक टुकड़ी को निर्दिष्ट करके, आप एक ऑक्टेव को ऊपर जा सकते हैं, और -1200 एक ऑक्टेव के एक चक्कर को निर्दिष्ट करके।)
• createBiquadFilter - विधि आपको आवृत्ति फ़िल्टरिंग को लागू करने की अनुमति देती है। विधि के चार पैरामीटर हैं: फ़्रीक्वेंसी (फ़्रीक्वेंसी जिस पर फ़िल्टर आधारित है), गेन (फ़्रीक्वेंसी गेन), क्यू ( क्यू ),
  प्रकार - फ़िल्टरिंग प्रकार जो बॉक्स से बाहर समर्थित हैं:
  
  1. लोपास - कम-पास फ़िल्टर (चयनित आवृत्ति के ऊपर सब कुछ काट देता है)
  2. हाईपास - उच्च-पास फ़िल्टर (चयनित आवृत्ति के नीचे कुछ भी काट देता है)
  3. बैंडपास - बैंडपास फ़िल्टर (केवल एक निश्चित आवृत्ति बैंड पास करता है)
  4. लोशेल्फ़ - कम आवृत्तियों पर शेल्फ (इसका मतलब है कि चयनित आवृत्ति के नीचे सब कुछ प्रवर्धित या कमजोर है),
  5. हाईशेल्फ - उच्च आवृत्तियों पर एक शेल्फ (इसका मतलब है कि चयनित आवृत्ति के ऊपर सब कुछ प्रवर्धित या कमजोर है),
  6. पीकिंग - एक संकीर्ण-बैंड पीक फिल्टर (एक निश्चित आवृत्ति को बढ़ाता है, लोकप्रिय नाम "फिल्टर बेल" है),
  7. पायदान - संकीर्ण-बैंड पायदान फिल्टर (एक निश्चित आवृत्ति को पुनः प्राप्त करता है, लोकप्रिय नाम "फिल्टर प्लग" है),
  8. allpass - एक फ़िल्टर जो सिग्नल के सभी आवृत्तियों को समान लाभ के साथ पास करता है, लेकिन सिग्नल के चरण को बदल देता है। यह तब होता है जब आवृत्ति में देरी होती है। आमतौर पर, इस तरह के फिल्टर को एक पैरामीटर द्वारा वर्णित किया जाता है - जिस आवृत्ति पर चरण शिफ्ट 90 ° तक पहुंचता है।
     
  
  

 var AudioModulation = function (buffers, source) { var am = this; //  var sourceGain = context.createGain(); sourceGain.gain.value = 2; //        var sourceConvolver = context.createConvolver(); sourceConvolver.buffer = buffers[0]; //   var sourceCompressor = context.createDynamicsCompressor(); sourceCompressor.threshold.value = -18.2; sourceCompressor.ratio.value = 4; //    source.connect(sourceGain); sourceGain.connect(sourceConvolver); sourceConvolver.connect(sourceCompressor); //  var ringGain = this.ringModulation(); sourceCompressor.connect(ringGain); //   ringGain.connect(dest); } AudioModulation.prototype.ringModulation = function () { //,   var ringGain = context.createGain(); ringGain.gain.value = 1; //  ringCarrier = context.createOscillator(); //     40 ringCarrier.type = ringCarrier.SINE; ringCarrier.frequency.value = 40; //    ringCarrier.detune.value = 600; // ,      10 var ngHigpass = context.createBiquadFilter(); ngHigpass.type = ngHigpass.HIGHPASS; ngHigpass.frequency.value = 10; //    ,        ringCarrier.connect(ngHigpass); ngHigpass.connect(ringGain.gain); return ringGain; }; 

बार-बार फ़िल्टरिंग

 var filters = [{gain: 1,frequency: 40},{gain: 3,frequency: 120},....,{gain: -2,frequency: 16000}]; 

 AudioModulation.prototype.setFilters = function (source) { var fil = [{ gain: 1, frequency: 40 }, { gain: 3, frequency: 120 }, { gain: -2, frequency: 16000}], out = null, ln = fil.length; for (var i = 0; i < ln; i++) { var loc = fil[i], currFilter = null; currFilter = context.createBiquadFilter(); currFilter.type = currFilter.HIGHSHELF; currFilter.gain.value = loc.gain; currFilter.Q.value = 1; currFilter.frequency.value = loc.frequency; if (!out) { source.connect(currFilter); out = currFilter; } else { out.connect(currFilter); out = currFilter; } } return out; }; 

 var AudioModulation = function (buffers, source) { var am = this; //  var sourceGain = context.createGain(); sourceGain.gain.value = 2; //        var sourceConvolver = context.createConvolver(); sourceConvolver.buffer = buffers[0]; //   var sourceCompressor = context.createDynamicsCompressor(); sourceCompressor.threshold.value = -18.2; sourceCompressor.ratio.value = 4; //    source.connect(sourceGain); sourceGain.connect(sourceConvolver); sourceConvolver.connect(sourceCompressor); //  var ringGain = this.ringModulation(); sourceCompressor.connect(ringGain); //  var outFilters = this.setFilters(sourceCompressor); //   outFilters.connect(dest); } //  AudioModulation.prototype.ringModulation = function () { //,   var ringGain = context.createGain(); ringGain.gain.value = 1; //  ringCarrier = context.createOscillator(); //     40 ringCarrier.type = ringCarrier.SINE; ringCarrier.frequency.value = 40; //    ringCarrier.detune.value = 600; // ,      10 var ngHigpass = context.createBiquadFilter(); ngHigpass.type = ngHigpass.HIGHPASS; ngHigpass.frequency.value = 10; //    ,        ringCarrier.connect(ngHigpass); ngHigpass.connect(ringGain.gain); return ringGain; }; // AudioModulation.prototype.setFilters = function (source) { var fil = [{ gain: 1, frequency: 40 }, { gain: 3, frequency: 120 }, { gain: -2, frequency: 16000}], out = null, ln = fil.length; while (ln--) { var loc = fil[ln], currFilter = null; currFilter = context.createBiquadFilter(); currFilter.type = currFilter.HIGHSHELF; currFilter.gain.value = loc.gain; currFilter.Q.value = 1; currFilter.frequency.value = loc.frequency; if (!out) { source.connect(currFilter); out = currFilter; } else { out.connect(currFilter); out = currFilter; } } return out; }; 

मुख्य परिवर्तन

 var currentGrainSize = 512 var currentOverLap = 0.50; var currentShiftRatio = 0.77; var node = context.createScriptProcessor(currentGrainSize, 1, 1); //       -   (     ) node.grainWindow = hannWindow(currentGrainSize); // ,        node.buffer = new Float32Array(currentGrainSize* 2); node.onaudioprocess = function (event) { //  var input = event.inputBuffer.getChannelData(0); //  output = event.outputBuffer.getChannelData(0), ln = input.length; for (i = 0; i < ln; i++) { //    input[i] *= this.grainWindow[i]; //     this.buffer[i] = this.buffer[i + currentGrainSize]; //   this.buffer[i + currentGrainSize] = 0.0; } //   var grainData = new Float32Array(currentGrainSize * 2); for (var i = 0, j = 0.0; i < currentGrainSize; i++, j += currentShiftRatio) { var index = Math.floor(j) % currentGrainSize; var a = input[index]; var b = input[(index + 1) % currentGrainSize]; grainData[i] += linearInterpolation(a, b, j % 1.0) * this.grainWindow[i]; } //  for (i = 0; i < currentGrainSize; i += Math.round(currentGrainSize * (1 - currentOverLap))) { for (j = 0; j <= currentGrainSize; j++) { this.buffer[i + j] += grainData[j]; } } //      for (i = 0; i < currentGrainSize; i++) { output[i] = this.buffer[i]; } } 

 var AudioModulation = function (buffers, source) { var am = this, currentGrainSize = 512, currentOverLap = 0.50, currentShiftRatio = 0.77, node = context.createScriptProcessor(currentGrainSize, 1, 1); //  var sourceGain = context.createGain(); sourceGain.gain.value = 2; //        var sourceConvolver = context.createConvolver(); sourceConvolver.buffer = buffers[0]; //   var sourceCompressor = context.createDynamicsCompressor(); sourceCompressor.threshold.value = -18.2; sourceCompressor.ratio.value = 4; //    source.connect(sourceGain); sourceGain.connect(sourceConvolver); sourceConvolver.connect(sourceCompressor); //  var ringGain = this.ringModulation(); sourceCompressor.connect(ringGain); //  var outFilters = this.setFilters(sourceCompressor); //   outFilters.connect(dest); //       -   (     ) node.grainWindow = this.hannWindow(currentGrainSize); // ,        node.buffer = new Float32Array(currentGrainSize* 2); node.onaudioprocess = function (event) { //  var input = event.inputBuffer.getChannelData(0); //  output = event.outputBuffer.getChannelData(0), ln = input.length; for (i = 0; i < ln; i++) { //    input[i] *= this.grainWindow[i]; //     this.buffer[i] = this.buffer[i + currentGrainSize]; //   this.buffer[i + currentGrainSize] = 0.0; } //   var grainData = new Float32Array(currentGrainSize * 2); for (var i = 0, j = 0.0; i < currentGrainSize; i++, j += currentShiftRatio) { var index = Math.floor(j) % currentGrainSize; var a = input[index]; var b = input[(index + 1) % currentGrainSize]; grainData[i] += am.linearInterpolation(a, b, j % 1.0) * this.grainWindow[i]; } //  for (i = 0; i < currentGrainSize; i += Math.round(currentGrainSize * (1 - currentOverLap))) { for (j = 0; j <= currentGrainSize; j++) { this.buffer[i + j] += grainData[j]; } } //      for (i = 0; i < currentGrainSize; i++) { output[i] = this.buffer[i]; } } } AudioModulation.prototype.hannWindow = function (length) { var window = new Float32Array(length); for (var i = 0; i < length; i++) { window[i] = 0.5 * (1 - Math.cos(2 * Math.PI * i / (length - 1))); } return window; }; AudioModulation.prototype.linearInterpolation = function (a, b, t) { return a + (b - a) * t; }; //  AudioModulation.prototype.ringModulation = function () { //,   var ringGain = context.createGain(); ringGain.gain.value = 1; //  ringCarrier = context.createOscillator(); //     40 ringCarrier.type = ringCarrier.SINE; ringCarrier.frequency.value = 40; //    ringCarrier.detune.value = 600; // ,      10 var ngHigpass = context.createBiquadFilter(); ngHigpass.type = ngHigpass.HIGHPASS; ngHigpass.frequency.value = 10; //    ,        ringCarrier.connect(ngHigpass); ngHigpass.connect(ringGain.gain); return ringGain; }; // AudioModulation.prototype.setFilters = function (source) { var fil = [{ gain: 1, frequency: 40 }, { gain: 3, frequency: 120 }, { gain: -2, frequency: 16000}], out = null, ln = fil.length; while (ln--) { var loc = fil[ln], currFilter = null; currFilter = context.createBiquadFilter(); currFilter.type = currFilter.HIGHSHELF; currFilter.gain.value = loc.gain; currFilter.Q.value = 1; currFilter.frequency.value = loc.frequency; if (!out) { source.connect(currFilter); out = currFilter; } else { out.connect(currFilter); out = currFilter; } } return out; }; 

• डेमो
• गिथब कोड

उपयोगी साहित्य और स्रोत:

• docs.webplatform.org/wiki/apis/webaudio
• www.w3.org/TR/2011/WD-webaudio-20111215
• www.dsplib.ru/content/win/win.html
• www.studfiles.ru/dir/cat32/subj116/file1543/view2417.html
• chimera.labs.oreilly.com/books/1234000001552/ch04.html#s04_2
• analogiu.ru/6/6-5-2.html
• www.html5rocks.com/ru/tutorials/getusermedia/intro
• html5.by/blog/audio
• sites.google.com/site/mikescoderama/pitch-shifting