人工知能 (AI) は、音楽業界に新たな興味深い機会をもたらし、たとえば、楽曲や特定の楽器トラックを自動的に生成できるツールの開発を可能にします。しかし、既存のツールのほとんどは、専門家以外のユーザーではなく、ミュージシャン、作曲家、音楽プロデューサーが使用できるように設計されています。

LG AI Research の研究者は最近、あらゆるユーザーが自分のアイデアを簡単に音楽に変換できる新しいインタラクティブ システムを開発しました。論文で概要が説明されているこのシステム出版されたの上arXivプレプリント サーバーは、音楽データセットでトレーニングされたデコーダー専用の自己回帰トランスフォーマーと直感的なユーザー インターフェイスを組み合わせています。

「私たちは、物語の中心テーマとなる短い音楽モチーフの提供に焦点を当て、象徴的な音楽生成のデモンストレーションを紹介します」とサンジュン・ハン氏、ジウォン・ハム氏らは論文に書いている。「この世代では、音楽メタデータを入力として受け取り、4 小節のマルチトラック MIDI シーケンスを生成する自己回帰モデルを採用しています。」

チームの象徴的な音楽生成システムを支えるトランスフォーマー ベースのモデルは、2 つの音楽データセットでトレーニングされました。10万のMIDIデータセットそしてメタMIDIデータセット。これらのデータセットには合計 400,000 を超える MIDI (楽器デジタル インターフェイス) ファイルは、音楽トラックに関するさまざまな情報 (再生される音符、音符の長さ、再生速度など) を含むデータ ファイルです。

モデルをトレーニングするために、チームは各 MIDI ファイルを音楽イベント表現 (REMI) ファイルに変換しました。この特定の形式は、MIDI データをさまざまな音楽の特徴 (ピッチやベロシティなど) を表すトークンにエンコードします。REMI ファイルは、音楽生成のための AI モデルのトレーニングに特に適した方法で音楽のダイナミクスをキャプチャします。

「柔軟な制御を保証するために、トレーニング中に音楽メタデータからトークンをランダムに削除します」と研究者らは書いている。「これにより、ユーザーは生成パフォーマンスを維持しながら入力タイプを自由に選択できるようになり、より高い柔軟性が可能になります。作曲。」

Han、Ham、およびその同僚は、シンボリック音楽生成のためのトランスベースのモデルの開発に加えて、専門家と非専門家の両方がアクセスできるシンプルなインターフェイスを作成しました。このインターフェイスは現在、サイドバーと中央のインタラクティブ パネルで構成されています。

サイドバーでは、ユーザーは、演奏する楽器や曲のテンポなど、モデルに生成させたい音楽の側面を指定できます。モデルが曲を生成した後、楽器を削除/追加したり、音楽の再生を開始する時間を調整したりするなど、中央パネルでトラックを編集できます。

「私たちはモデルの能力、音楽の忠実度、多様性、制御性の観点から実験を通じて戦略の有効性を検証しています」とHan、Hamとその同僚は書いている。「さらに、モデルをスケールアップし、主観的なテストを通じて他の音楽生成モデルと比較しました。私たちの結果は、制御と音楽品質の両方でその優れていることを示しています。」

研究者らは、モデルのパフォーマンスが非常に優れており、ユーザーの仕様に基づいて最大 4 小節の音楽を確実に生成できることを発見しました。今後の研究では、モデルが作成できる音楽トラックの持続時間を延長し、ユーザーが指定できる仕様を拡大し、システムのユーザー インターフェイスをさらに強化することで、システムをさらに改善できる可能性があります。

「私たちのモデルは、グローバル制御で4小節の音楽を生成するように訓練されていますが、音楽の長さの延長や小節レベルのローカル要素の制御には限界があります」と研究者らは書いている。「しかし、私たちの試みは、ループとして使用できる高品質の音楽テーマを生成するという意味で重要です。」

© 2024 サイエンス X ネットワーク