隠れマルコフモデルを使用したアーティストによる楽曲の分類

隠れマルコフモデルは、音声認識で長い間使用されてきました。 ケプストラム係数（MFCC）のおかげで、認識にとって重要でない信号成分を破棄することが可能になり、特徴の次元性が大幅に低下しました。 インターネットには、HMMとMFCCを使用して簡単な単語を認識する簡単な例が数多くあります。

これらの機会に慣れた後、この認識アルゴリズムを音楽で試してみたいという要望がありました。 そのため、演奏者によって楽曲を分類するというタスクのアイデアが生まれました。 試行については、この投稿で何らかの魔法と結果について説明します。

やる気

隠されたマルコフモデルを実際に知りたいという欲求はずっと前に生じ、昨年、私はそれらの実際の使用を修士課程のコースプロジェクトとリンクさせることができました。

事前プロジェクトグーグルで、アイルランド、ドイツ、フランスのフォークミュージックを分類するためのHMMの使用について説明した興味深い記事が見つかりました。 歌（数千の歌）の大きなアーカイブを使用して、この記事の著者は、異なる人々の構成の間に統計的な違いがあることを特定しようとします。

HMMでライブラリを勉強しているときに、 Python ML Cookbookのコードに出会いました。ここでは、いくつかの簡単な単語を認識する例を使用して、hmmlearnライブラリを使用しました。

問題の声明

複数の音楽アーティストの利用可能な曲。 タスクは、HMMに基づいて分類子をトレーニングすることです。HMMは、入力された曲の作者を正しく認識します。

曲は.wav形式です。 グループごとに曲の数は異なります。 組成物の品質、持続時間も異なります。

理論

アルゴリズムの動作（どのパラメーターがどのトレーニングに関与するか）を理解するには、少なくともチョークケプストラム係数と隠れマルコフモデルの理論に関する表面的な知識が必要です。 詳細については、 MFCCおよびHMMに関する記事を参照してください。

MFCCは、大まかに言えば、さまざまなフィルター処理および変換を使用して、人間の聴覚にとって重要ではない成分が除去される特別なスペクトルの形式での信号の表現です。 スペクトルは本質的に短期間です。つまり、最初に信号は20〜40ミリ秒の交差するセグメントに分割されます。 そのようなセグメントでは、信号周波数はあまり変化しないと想定されています。 そして、これらのセグメントではすでにマジック係数が考慮されています。

信号があります



それから25ミリ秒のセグメントが取得されます



そして、それらのそれぞれについて、チョークケプストラム係数が計算されます。



この表現の利点は、音声認識の場合、通常のフーリエ変換の場合、数百または数千ではなく、フレームごとに約16の係数を取るだけで十分であることです。 歌の中でこれらの係数を選択するには、30〜40のコンポーネントを使用する方が良いことが実験的にわかった。

隠れマルコフモデルの動作の一般的な理解については、 wikiの説明も参照してください。

それらの意味は、隠された状態の未知のセットがあるということです$$ $インライン$ x_1、x_2、x_3 $インライン$ 確率によって決定される何らかのシーケンスでの症状$$ $インライン$ a_1、a_2、a_3 $インライン$ いくつかの確率で$$ $インライン$ b_1、b_2、b_3 $インライン$ 一連の観測可能な結果につながる$$ $インライン$ y_1、y_2、y_3 $インライン$ 。



この場合、観察される結果は各フレームのmfccです。
Baum-Welshアルゴリズム （より有名なEMアルゴリズムの特殊なケース）は、未知のHMMパラメーターを見つけるために使用されます。 モデルを教えることに従事しているのは彼です。

実装

最後にコードに取りかかりましょう。 完全版はこちらから入手できます 。

librosaライブラリは、MFCCを計算するために選択されました。 python_speech_featuresライブラリを使用することもできます。 このライブラリは、 librosaとは異なり、ケプストラル係数の計算に必要な関数のみを実装します。

「.wav」形式の曲を受け入れます。 以下は、入力として ".wav"ファイルの名前をとるMFCCを計算するための関数です。

def getFeaturesFromWAV(self, filename): audio, sampling_freq = librosa.load( filename, sr=None, res_type=self._res_type) features = librosa.feature.mfcc( audio, sampling_freq, n_mfcc=self._nmfcc, n_fft=self._nfft, hop_length=self._hop_length) if self._scale: features = sklearn.preprocessing.scale(features) return features.T 

最初の行は、「。wav」ファイルの通常のダウンロードです。 ステレオファイルはシングルチャンネル形式に変換されます。 librosaではさまざまなリサンプリングが可能です。私はres_type='scipy'にres_type='scipy' 。

符号の計算には3つの主要なパラメーターを示す必要があると考えました： n_mfccケプストラム係数の数、 n_fft高速フーリエ変換のポイント数、 hop_lengthフレームのサンプル数（たとえば、22kGの512サンプルで、約23msを生成します）。

スケーリングはオプションの手順ですが、それによって分類子をより安定させることができました。

分類器に移りましょう。 hmmlearnは、更新のたびに何かが壊れる不安定なライブラリであることが判明しました。 それでも、scikitとの互換性は良好です。 現時点（0.2.1）では、ガウス放出を伴う隠れマルコフモデルが最も有効なモデルです。

別途、次のモデルパラメーターに注意してください。

 self._hmm = hmm.GaussianHMM(n_components=hmmParams.n_components, covariance_type=hmmParams.cov_type, n_iter=hmmParams.n_iter, tol=hmmParams.tol) 

パラメータn_components非表示状態の数を決定します。 6-8の非表示状態を使用して、比較的良いモデルを構築できます。 Core i5-7300HQ 2.50GHzでは、10曲で約7分かかります。 しかし、より興味深いモデルを取得するために、約20の非表示状態を使用することを好みました。 もっと試してみましたが、テストでは結果はあまり変わらず、同じ曲数でトレーニング時間が数日に増えました。

残りのパラメーターは、EMアルゴリズムの収束を担当し、反復回数、精度を制限し、共分散状態パラメーターのタイプを決定します。

hmmlearnは、教師なしで教えるために使用されます。 したがって、学習プロセスは次のように構成されます。 各クラスには独自のモデルがあります。 次に、テスト信号が各モデルを通過し、そこから各モデルの対数確率scoreが計算されます。 最も高い確率を生成したモデルに対応するクラスは、このテスト信号の所有者です。

1つのモデルのコードのトレーニングは次のようになります。

  featureMatrix = np.array([]) for filename in [x for x in os.listdir(subfolder) if x.endswith('.wav')]: filepath = os.path.join(subfolder, filename) features = self.getFeaturesFromWAV(filepath) featureMatrix = np.append(featureMatrix, features, axis=0) if len( featureMatrix) != 0 else features hmm_trainer = HMMTrainer(hmmParams=self._hmmParams) hmm_trainer.train(featureMatrix) 

コードはsubfolderフォルダーを実行し、すべての「.wav」ファイルを検索します。それぞれのファイルについて、MFCCを考慮します。MFCCは、将来的に単純に記号のマトリックスに追加されます。 属性マトリックスでは、行はフレームに対応し、列はMFCCからの係数番号に対応します。

マトリックスを埋めた後、このクラスの隠れマルコフモデルが作成され、属性がトレーニングのためにEMアルゴリズムに転送されます。

分類は次のようになります。

  features = self.getFeaturesFromWAV(filepath) #label is the name of class corresponding to model scores = {} for hmm_model, label in self._models: score = hmm_model.get_score(features) scores[label] = score similarity = sorted(scores.items(), key=lambda t: t[1], reverse=True) 

すべてのモデルをさまようと対数確率をカウントします。 確率ソートされたクラスのセットを取得します。 最初の要素は、この曲の最も可能性の高いパフォーマーを示します。

結果と改善

トレーニングセットでは、アナセマ、ハリウッドアンデッド、メタリカ、モーターヘッド、ニルヴァーナ、ピンクフロイド、ザXXの7人のアーティストの歌が選ばれました。 それぞれの曲の数と曲自体は、実施するテストを正確に考慮して選択されました。

たとえば、アナテマバンドのスタイルはキャリアの中で大きく変化し、ヘビードゥームメタルから始まり、穏やかなプログレッシブロックで終わりました。 ファーストアルバムの曲をテストサンプルに送信し、さらにトレーニングに、より柔らかい曲を送信することが決定されました。


テストでは、比較的良い結果が得られました（16のテストのうち、4つのエラー）。 曲の一部を切り取ってアーティストを認識しようとすると問題が発生しました。

突然、構図自体が正しく分類されると、その一部が正反対の結果をもたらすことが判明しました。 さらに、この楽曲に曲の始まりが含まれている場合、モデルは正しい結果を生成します。 しかし、それでもそれが作曲の別の部分から始まる場合、モデルはこの歌が目的のアーティストのものではないことを完全かつ完全に確信しています。


解決策は長い間求められていました。 50以上の隠された状態（ほぼ3日間のトレーニング）で学習する試みが行われ、MFCCの数は数百に増加しました。 しかし、これで問題は解決しませんでした。

問題は非常に厳しいものによって解決されましたが、潜在意識のあるレベルでは明確なアイデアです。 トレーニングの前に、特徴マトリックスの線をランダムにシャッフルすることでした。 結果は、トレーニング時間をわずかに増やすことで成果を上げましたが、より安定したアルゴリズムを作成しました。

  featureMatrix = np.array([]) for filename in [x for x in os.listdir(subfolder) if x.endswith('.wav')]: filepath = os.path.join(subfolder, filename) features = self.getFeaturesFromWAV(filepath) featureMatrix = np.append(featureMatrix, features, axis=0) if len( featureMatrix) != 0 else features hmm_trainer = HMMTrainer(hmmParams=self._hmmParams) np.random.shuffle(featureMatrix) #shuffle it hmm_trainer.train(featureMatrix) 

以下に、パラメーターを使用したモデルテストの結果を示します。20の非表示状態、40 MFCC、コンポーネントのスケーリングとシャッフル。


結果：16曲中2エラー。 間違いは恐ろしいことですが、一般的には悪くありません（ピンクフロイドは明らかにそれほど重くありません）。

曲の切り抜きを使用したテストは、自信を持って合格します。

おわりに

隠れマルコフモデルに基づいて構築された分類器は、満足のいく結果を示し、ほとんどの楽曲の演奏者を正しく識別します。

すべてのコードはこちらから入手できます 。 気にする人、彼は彼の作曲でモデルを訓練しようとすることができます。 結果に応じて、さまざまなグループの音楽の共通点を特定することもできます。

トレーニングされたコンポジションの簡単なテストについては、Herokuでスピンしているサイトを見ることができます（小さな「.wav」ファイルを入力として受け入れます）。 モデルがサイトからトレーニングされた組成物のリストは、上記のネタバレの下の段落に示されています。