AI、実践コース。 プロジェクト計画

この記事では以下に焦点を当てます。

• さまざまな分析方法と適切なプロジェクト管理ツールを使用した実際のプロジェクトでの計画の実行。
• CRISP-DM方法論（データマイニングの学際的標準プロセス）を使用します。
• AIプロジェクトの標準タスクを定義します。

チームワークに焦点を当てたいくつかのタスクが提示されます。 単独で作業する場合、これらのセクションをスキップするか 、 いくつかの機能を組み合わせて対応するタスクを実行できます 。

この一連の記事のトレーニングプロジェクトとして、画像処理アルゴリズム（感情認識）を使用してアップロードされた画像の感情を認識し、認識された感情に適した音楽を作成し、画像と音楽を組み合わせてビデオをマウントするアプリケーションを取りました。

プロジェクトの設計

計画をプロジェクトにすることは、プロジェクトの範囲、つまり作成するものとその方法を決定することから始まります。 これにより、開発中に発生する可能性のある不明確な状況が排除されます。

例：

• 何枚の写真をアップロードできますか？
• 感情の認識によって何が理解されますか？
• コンピューターで感情をどのように表現しますか？
• どのような感情がサポートされますか？
• 一連の画像に感情をどのように割り当てますか？
• 音楽制作モデルをどのようにトレーニングしますか？
• 感情認識コンポーネントは、伴奏作成コンポーネントとどのように関連しますか？
• 伴奏の作成プロセスはどのように行われますか？
• メロディがコンピューター、感情によって作成されたことを確認する方法は？
• 最終的なビデオは、フレーム間のスムーズな移行でどのようにマウントされますか？

実装フェーズに進む前に、これらの各質問に対する答えを見つける必要があります。 さらに、重要な側面を見逃さないように、将来のアプリケーションに関する独自の質問を策定するのに役立つ方法論が必要です。

プロジェクト分析方法

プロジェクトを分析し、タスクを定式化するために、これら3つのシンプルだが効果的なテクニックを使用することをお勧めします。

• 階層的な分解 。 この手法は「分割統治」の原理に基づいており、個々のサブタスクの実行時間がたった2時間¹になるか、分解に必要な時間がタスク実行時間に匹敵するまで、タスクをサブタスクに繰り返し分解します。 階層の最上部には、システム全体を表すブロックがあります。 次のレベルには、論理的に自律的なシステムコンポーネントに関連付けられたブロックがあり、これらは一緒になって、逆の順序でユーザーなどに望ましい結果を提供します。 システム全体から始めて、レベルごとに相互に排他的な一連のコンポーネントに解析するため、1つのタスクを見逃すことはありません。
• 起こりうる状況の分析 。 この方法を使用するとき、隠れたニュアンスを発見するために「What if？」という質問を常に自問します。
• ユーザーパスのモデリング 。 この手法は、多くのユーザーインターフェイス開発者や製品マネージャーによって使用され、アプリケーションがサポートする一連のタスクとスクリプトの作成を伴います。 あなた自身がアプリケーションを使用していると想像し、ユーザーが引き起こす可能性のある典型的なモードをシミュレートします。 支障なく最初から最後まで精神的に進むことができれば、他のタスクを追加する必要はありません-これが停止基準です。 ただし、最初の段階では、ユーザーの旅のあらゆる段階で問題が発生する可能性が高くなります。 この場合、問題の本質を書き留めて、後で解決するタスクを作成します。

ビデオ編集アプリケーションの分析

プロジェクトの階層的な分解方法に基づいて、ビデオ編集アプリケーションは、ユーザーとの対話を含む他のアプリケーションと同様に、次のように分類できると判断します。

1. インターフェース部分、つまりユーザーと直接対話するコンポーネント。
2. ハードウェアとソフトウェア、つまり、興味深いAIプロセスが発生し、次のように分類できるコンポーネント：
   • o感情認識コンポーネント。
   • o伴奏を作成するためのコンポーネント。

インターフェースとファームウェアの部分には、図3に示すように、ユーザーインターフェース（青）、感情認識（オレンジ）、および伴奏の作成（緑）の3つの主要なコンポーネントがあります。 1。


図 1.ビデオ編集のアプリケーションのスキーム。

ユーザーインターフェース

ユーザーはボタンを使用してこのコンポーネントを操作し、画像をダウンロードしたり、ビデオ編集プロセスを開始したり、共有を整理したり、結果をダウンロードしたりします。 ユーザーインターフェイスは重要な要素ですが、この一連のトレーニング資料では、新しいIntelテクノロジを使用したファームウェアの情報のインテリジェントな処理に焦点を当てます。

AIベースのビデオ編集アプリケーションの利点を体験してください

ステップ1.感情認識


ステップ2.ビデオ編集


ステップ3.交換

ハードウェアおよびソフトウェアによる感情の認識（画像処理）

このコンポーネントは、感情を画像に割り当てる役割を果たします。 データを処理する各スマートコンポーネントには、2つのプロセスがあります。

1. コンポーネントによってデータを学習または取得するプロセス、つまり学習フェーズ;
2. コンポーネントアプリケーションプロセス、つまりアプリケーションとテストのフェーズ。

これらの各プロセスは、多数の標準AIタスクに関連付けられています。

トレーニング段階では、コンポーネントに回答を含むデータを提供し、同じ母集団または分布からの入力に対応する回答を割り当てるための「ルール」をマシンに教えます。 トレーニングフェーズのタスクは次のとおりです。

1. データ処理の各段階の入力データと出力データを決定します。
2. 特定の入力および出力データと一致する機械学習用のデータセットを検索または作成します。
3. 機械学習モデルのトレーニング。
4. 機械学習モデルを評価します。

アプリケーションおよびテストフェーズでは、トレーニング済みのモデルを使用して、同じ母集団または分布から未知のオブジェクトが到着したときの応答を予測します。 次のタスクが含まれます。

1. データ処理の各段階の入力データと出力データを決定します。
2. 機械学習モデルを拡張します。

より広い文脈では、ほぼすべてのAIプロジェクトに典型的なタスクとステップは、 CRISP-DM方法論を使用して決定できます。 この方法論の枠組みの中で、データマイニングまたはAIに基づくプロジェクトは、図6に示すように、6つの状態を持つサイクルの形で提示されます。 2.各段階には、データマークアップ、モデル評価、機能開発などのタスクとサブタスクがあります。 このサイクルは、実際のインテリジェントシステムを改善できるために発生します。


図2. CRISP-DMのさまざまなフェーズ間の関係。

理論から実践に移り、トレーニング用の入力データと出力データを定式化し、感情を認識するためのモデルをテストしましょう。

不安、悲しみ、喜び、落ち着き、決意、恐怖の6つの感情があります。

• 各感情は、コンテンツのエンコード方法に従って、1〜6のコードの形式でコンピューターに表示されます。
• 各画像は、3次元のテンソル（3次元配列）として表されます。3次元は、高さ、幅、カラーチャネル（RGBなど）です。

トレーニング

• 入力データ：4次元テンソル（ラベル付きの3次元画像のセット、つまり画像と感情のクラス）
• 出力：訓練された機械学習モデル。

テスト中

• 入力データ：3次元テンソル（ラベルのない画像）、トレーニングモデル。
• 出力：コード/クラスによる多項分布。

次に、プロジェクトが全体像にどのように適合するかを確認し、システム分析の方法を適用して矛盾を排除する必要があります。

1. ユーザーは複数の画像をアップロードします。 したがって、個々の画像ごとに認識される感情から、ビデオ全体で同じ感情的なムードを得る方法を決定する必要があります。
2. 画像には音楽が伴います。 したがって、特定の感情に基づいてメロディがどのように作成されるかを理解する必要があります。
3. 画像のコンテンツは音楽と同期している必要があり、画像間の遷移はスムーズである必要があります。これにより、ユーザーは鑑賞を楽しむことができます。

最初に、1つの画像の音楽を作成します。 音楽伴奏を作成するためのコンポーネントを検討し、それを感情認識コンポーネントと統合する方法を理解した後、いくつかの画像に戻ります。

ハードウェアとソフトウェアによる伴奏の作成

このコンポーネントは、感情に反応してメロディを生成します。 伴奏を作成するためのコンポーネントと画像処理のためのコンポーネントを接続するには、感情コードとオーディオ信号の間の接続リンクが必要です。

1. 有名な歌の事前に作成されたデータベースから任意の有名な歌を取ります。
2. シンプルなスクリプトを使用して、感情に合わせてメロディのテンポ、スケール、リズムを調整します。
3. 感情に合わせた基本的なメロディを使用して、機械学習に基づいて音楽を作成するプロセスを開始します。

伴奏を作成するプロセスは、感情に合わせた基本的なメロディを完成させ、過去の幅広い曲のトレーニングを通じて、最も自然に聞こえる次の音符を決定する必要があります。

感情認識コンポーネントの場合と同様に、伴奏を作成するためのモデルをトレーニングおよびテストするための入力および出力データを決定する必要があります。

トレーニング

• 入力：曲のコレクション。
• 出力：伴奏を作成するための訓練された機械学習モデル（たとえば、特定の音に反応して次の音を予測する）。

テスト中

• 入力：伴奏を作成し、基本的なメロディ（一連の音符）を作成するための訓練された機械学習モデル。
• 出力：基本的なメロディを作成する一連のノート。

伴奏作成コンポーネントの定数APIを考慮して、感情に応じて変調スクリプトを実装し、伴奏作成モデルを教えるためのデータセットの検索や基本的な曲の検索など、伴奏の作成に関連するすべてのAIタスクを実行する必要があります。 これらの側面については、記事の後半で説明します。 トレーニングプロジェクトでは、次のものを使用します。

• 基本的なメロディは、楽曲のオープンコレクション（1922年以前に作成された楽曲）から取得されます。
• 伴奏を作成するプロセスは、バッハの聖歌隊、つまり、バッハのプロジェクトの一部として準備されたバッハの作品を象徴的に表すメモで教えられています
• ソースファイルはmusic21プロジェクトから取得されます。

コンポーネント接続

以下に、画像と着信音を組み合わせるためのオプションとその利点と欠点を示します。



オプションA：すべての画像の一般的な感情に応じて、1つの基本的なメロディが変調されます。

• 利点：画像間のスムーズな移行。
• 欠点：楽しいイメージが悲しいイメージに変わっても、音楽の伴奏が同じままの場合、ユーザーは不快感を感じることがあります。

オプションB： 1つの基本的なメロディーは、画像に含まれる感情ごとに別々に変調されます。

• 利点：画像間のスムーズな移行と、画像内の感情と音楽の伴奏との間の明確な対応。
• マイナス：なし。

オプションC：画像に含まれる感情ごとに、異なる基本的な曲が別々に調整されます。

• 利点：画像の感情と音楽の伴奏との明確な対応。
• 欠点：感情が変わると音楽が劇的に変わるため、画像間のスムーズな移行。

たとえば、感情（喜び、落ち着き、恐怖）が異なる3つの画像があります。 「ジングルベル」をベースソングとして使用し、BachBotを使用して伴奏を作成します。 その結果、「ジングルベル」の3つのバージョンに基づいて作成された3曲（最初は喜び、2番目は落ち着き、3番目は恐怖）が作成されます。 すべての画像に適用される1つの基本的な歌を使用して感情を認識するためのAPIを呼び出すことにより、各着信画像が個別に処理されます。 ベースソングは感情ごとに変調され、その後、感情に合わせて変調された対応するバージョンの歌が各画像に使用されます。

詳細については、以下を参照してください。

• メインインターフェイスの仕様
• プロジェクト分解の初期レベル

一般的なプロジェクト管理ガイドライン

プロジェクトを分解するには、次の手順を実行します。

1. 上位レベルの構造を決定します（最大3レベルの分解）。
2. 各参加者と個別に話し合う（通常はシステムアーキテクトによって実行される）
   • 各コンポーネントの機能と要件について学習します。
   • 公式のAPI要件を定義する
   • プロジェクト分解階層を完成させます。 この場合、統合の最小の詳細がプロジェクトの初期段階で明らかにされるため、統合の段階で作業量と改善が削減されます。

以下は、設計をプロジェクトに組み込むのに役立つ一般的な推奨事項です。

• プロジェクトチームの1人のスペシャリスト（通常はシステムアーキテクト）が分解を担当し、他のすべてのチームメンバーがプロセスに積極的に参加して、初期データと技術条件に関するフィードバックを提供します。 これにより、設計の整合性が確保されます。これは、適切に設計されたシステム²の主要な特性です。
• 各コンポーネントの正しい抽象化（入力および出力）を見つけるには、複数のコンポーネントを同時に考慮する必要があります。 この場合、各システムで可能なすべての入力および出力形式を決定し、両方のコンポーネントに適した構成を選択します。
• タスクはプロジェクトごとに繰り返されるため、AIタスクを定義した後、分解階層のサブツリーの形で一連の標準AIタスクを作成することで時間を節約できます。
• 単純なケース（たとえば、1つの画像、1つの感情、または1つのメロディー）から始めて、アプリケーション全体のコンポーネントをゼロから統合するモデルを作成するのではなく、そこから始めます。

後続の記事では、トレーニングプロジェクトのすべてのタスクを詳細に検討します。

AIプロジェクトの分解要素とリソースのチェックリスト

以下は、AIプロジェクトの典型的なタスクのリストです。 プロジェクトのテンプレートとして使用します。

1. オブジェクトやラベル、ターゲット変数などの入力データと出力データを定義して、ビジネスタスクを策定します。
2. データを分析します。
   • データをサンプリングします。
   • データマイニング分析を実行します。
3. データを消去します。
   • 重複するデータ、余分なデータなどを削除する
   • 関数値を正規化します。
4. 評価方法のテストモデルを作成します。
5. 機械学習モデルを開発します。
6. 機械学習用のデータセットを準備します。
   • 生データを収集します。
   • 適切なデータセットを見つけます。
   • ストレージインフラストラクチャをセットアップします。
7. ラベルがない場合は、ソースデータに注釈を付けます。
   • 注釈のガイドラインを作成します。
   • 注釈プロセスに従ってください。
   • 注釈の品質を確認してください。
8. 機械学習モデルをトレーニングします。
   • ライブラリを選択します。
     • 既存のライブラリの比較分析を実行します。
     • 最適なライブラリをインストールして構成します。
   • 機械学習インフラストラクチャを選択して構成します。
     • プライベートおよびパブリッククラウド環境と実行テクノロジーの比較分析を実行します。
     • 機械学習の目標を達成するためにリソース計画を実行します。
   • アルゴリズムを選択します。
   • プロトタイプアルゴリズムを作成します。
   • ハイパーパラメーターを設定し、このサブジェクト領域に関連する改善を追加することにより、モデルを改善します。
9. モデルを評価します。
10. モデルを展開します。
    • 機械学習APIのサービスレベル契約（SLA）の性質を定義します。
    • 機械学習モデルをAPIに配置します（より効率的なプログラミング言語でのコンテナーまたは再実装）。
    • APIを負荷下でテストして、サービスレベル契約（SLA）の条件を満たしているかどうかを確認します。

おわりに

この記事では、ビデオ編集アプリケーションを作成するプロジェクトに適用された3つの一般的なシステム分析方法を検討しました。 階層的な分解を実行した後、アプリケーションの3つの主要なコンポーネントを特定しました。ユーザーインターフェイス、感情の認識、および伴奏の作成です。 AIコンポーネントの詳細な分析を行って、感情を認識し、入出力データの定義、トレーニングとテスト、コンポーネントの統合などの伴奏を作成しました。 最後に、プロジェクト計画のための推奨事項を作成し、また、任意のAIプロジェクトに適したCRISP-DM方法論に基づいた一連の標準AIタスクを共有しました。