カメラで読み取ってリアルタイムで再生する画像の形式で音声をエンコードすることは可能ですか？
QRコードまたはそのアナログのいくつかがすぐに思い浮かびます。 このようなコードでは、mp3へのリンク、または非常に小さなサウンドファイルを作成できます。 ただし、前者の場合はネットワークへのアクセスが必要で、後者の場合はコード密度が高くなり、画質の要件が高くなります。 さらに、これらの方法はいずれもインスタント再生を提供しません。
音声のエンコードがデジタル形式ではなく、アナログ形式の場合はどうなりますか？ つまり、サウンドメッセージの基本的な「形状」を維持しながら、情報が大幅に失われる可能性を許容します。 たとえば、このような損失は、照明の不備、カメラの不備、小さな写真、コードの付いたしわや破れた紙で発生します。 ひどいアーティファクトがありますが、写真は聞こえるはずです。
1938年から1958年までエンジニアのYevgeny Murzinによって作成されたソビエト
ANS光電子
シンセサイザーを数年間研究してきました。オンライン
ジェネレーションZ ANSチップは、スペクトログラムを描画して音楽を作成し、一種の最新のスキャナーで再生します-垂直走査デバイスが楽譜を照らし、特殊なディスク（一種の光フーリエコンバーター）に光を投射し、完成した変調信号をフォトセルに送ります。 このような形式は、サウンドをグラフィック形式で録音するのに理想的です。 損傷または減少したスペクトログラムは、一部の高調波を失う可能性がありますが、後で再生するために全体像を保持します。 ちなみに、私はANSシンセサイザー用のソフトウェアシミュレーターを作成しました
-Virtual ANSは 、そのようなスコアを再生できるだけでなく、オーディオファイルをスペクトルイメージに変換して作成することもできます。 必要なもの！
最後の質問-スキャナープログラムが不要な情報をキャプチャせずに必要なものを正確に再生するように画像の境界をマークする方法-に答える必要があります。 上下の水平マーカーのみを使用することにしました。 コードの両側のマーカーを拒否することで、第一にデコードプロセスが簡素化され、第二に、水平マーカーの検出直後に特別な費用なしでスペクトログラムを再生できるようになります。 同時に、再生プロセスは手動で制御できます。リスナーは速度と方向を設定し、画像を自由にスキャンします。 手動モードは魅力的ですが、不均一な動きと手の揺れは音に痕跡を残します。 したがって、カメラからの現在のフレームがフリーズし、ユーザーの介入なしに均等にスキャンされる場合、自動モードもプログラムに追加する必要があります。
プロジェクトにPhonoPaperという名前を付けます。 コードの仕様は次のとおりです。
仮想ANSエンジンを使用して（リアルタイムでソノグラムを再生するために）
Pixilangで約2か月で
無料のスキャナープログラムが作成されました。 現在、AndroidおよびiOSプラットフォームで利用可能です。 他のシステムのサポートは計画中です。
私は実用化の問題を予見しています。 そのため、PhonoPaperコードの使用例を短いリストに示します。
- 名刺、広告ポスター、製品の音声プロンプトまたはテーマ別の音楽。
- 音声メッセージが印刷された紙のカード。
- 教科書や児童書の音声の例;
- レコード、ディスク、カセットの音痕;
- 紙の写真の裏にある音のサイン。
- アート実験;
- PhonoPaperコードを手動で描画して、スペクトル音楽とサウンドの構築の基本を学習します。
ライブでどのように機能するか見てみましょう：
機能の中で、コードに格納されている音声情報にほとんどまたはまったく害を与えずに、そのようなコードの形状と色を変更する機能に注目したいです。 いくつか例を挙げましょう。
