ACE-Step v1-3.5B

AI音楽生成モデル

ACE StudioとStepFunによって開発されたオープンソースの35億パラメータのテキスト音楽生成モデル。多様なジャンルのオリジナル音楽を、驚異的な一貫性と速度で生成します。

ACE-Stepをオンラインで試す

ACE-Stepとは?

ACE-Stepは、オリジナルで高品質な音楽を制作するために設計された最先端のAI音楽生成モデルです。ACE StudioとStepFunによって開発され、Apache 2.0ライセンスの下で公開されており、既存のソリューションに匹敵する印象的な音楽的一貫性と生成速度を実現します。

  • 豊かなハーモニーとメロディーを備えた高忠実度な音楽生成
  • ジャンル、ムード、楽器のテキストプロンプトによる制御可能な生成
  • 高速生成:A100で4分の音楽を約20秒で生成
  • Apache 2.0ライセンスのオープンソース

主な特徴

優れた音楽品質

ACE-Stepは、複雑なメロディー、ハーモニー、リズムを持つ、信じられないほど豊かで一貫性のある音楽を生成します。高度なAIモデルが、独創的で魅力的な楽曲を生み出します。

テキストからの音楽生成

テキスト記述を提供することで、さまざまなジャンルの音楽を簡単に生成できます。ムード、楽器、テンポなどを指定して、創造的なプロセスを導きます。

高速かつ効率的

最適化されたアーキテクチャを活用することで、ACE-Stepは対応ハードウェア上で数分の音楽を数秒で生成でき、迅速なプロトタイピングや創造的な探求に最適です。

オープンソース

Apache 2.0ライセンスの下でリリースされており、個人および商用目的での無料利用が可能です。完全なモデルの重みとコードはGitHubで入手できます。

ソングサンプル

ダークエレクトロ

ダークエレクトロ - ACE-Stepによって生成された音楽。

ディスコ

ディスコ - ACE-Stepによって生成された音楽。

エレクトロニック・ラップ・ウェーブス・オン

エレクトロニック・ラップ・ウェーブス・オン - ACE-Stepによって生成された音楽。

ヒップホップ・ラップ・シャツ・ソング

ヒップホップ・ラップ・シャツ・ソング - ACE-Stepによって生成された音楽。

オペラ(女性)

オペラ(女性) - ACE-Stepによって生成された音楽。

ダンスパーティー

ダンスパーティー - ACE-Stepによって生成された音楽。

ミニマルテクノ

ミニマルテクノ - ACE-Stepによって生成された音楽。

サイケデリック

サイケデリック - ACE-Stepによって生成された音楽。

サックスジャズ

サックスジャズ - ACE-Stepによって生成された音楽。

オーケストラルロック

オーケストラルロック - ACE-Stepによって生成された音楽。

ワールド(悲しい)

ワールド(悲しい) - ACE-Stepによって生成された音楽。

アシッドハウス

アシッドハウス - ACE-Stepによって生成された音楽。

アカペラ

アカペラ - ACE-Stepによって生成された音楽。

ビートボックス

ビートボックス - ACE-Stepによって生成された音楽。

ドラムンベース

ドラムンベース - ACE-Stepによって生成された音楽。

女性ボーカル(ナナ)

女性ボーカル(ナナ) - ACE-Stepによって生成された音楽。

ソナタ(ピアノ・バイオリン)

ソナタ(ピアノ・バイオリン) - ACE-Stepによって生成された音楽。

タンゴ(ギター)

タンゴ(ギター) - ACE-Stepによって生成された音楽。

トランス

トランス - ACE-Stepによって生成された音楽。

バイオリンソロ

バイオリンソロ - ACE-Stepによって生成された音楽。

ダーク・アトモスフェリック

ダーク・アトモスフェリック - ACE-Stepによって生成された音楽。

エレクトロハウス

エレクトロハウス - ACE-Stepによって生成された音楽。

フォークR&B(女性)

フォークR&B(女性) - ACE-Stepによって生成された音楽。

フレンチポップ

フレンチポップ - ACE-Stepによって生成された音楽。

ジャーマンダンス

ジャーマンダンス - ACE-Stepによって生成された音楽。

ヒップハウス

ヒップハウス - ACE-Stepによって生成された音楽。

イタリアンフォーク

イタリアンフォーク - ACE-Stepによって生成された音楽。

J-POP

J-POP - ACE-Stepによって生成された音楽。

K-POP

K-POP - ACE-Stepによって生成された音楽。

マンドポップ

マンドポップ - ACE-Stepによって生成された音楽。

ポルトガルポップ

ポルトガルポップ - ACE-Stepによって生成された音楽。

ロシアンフォーク

ロシアンフォーク - ACE-Stepによって生成された音楽。

スパニッシュソング

スパニッシュソング - ACE-Stepによって生成された音楽。

オリジナルサンプル

ACE-Stepによるオリジナル音楽サンプル。

リテイク例:バリアンス1

音楽リテイクバリエーション:バリアンス1。

リテイク例:バリアンス2

音楽リテイクバリエーション:バリアンス2。

リテイク例:バリアンス3

音楽リテイクバリエーション:バリアンス3。

リテイク例:バリアンス4

音楽リテイクバリエーション:バリアンス4。

リテイク例:バリアンス5

音楽リテイクバリエーション:バリアンス5。

リテイク例:バリアンス6

音楽リテイクバリエーション:バリアンス6。

リペイント:A オリジナル

リペイントAの例のオリジナルオーディオ。

リペイント:女性 (0 30 バリアンス10)

リペイントされたセグメント (0 30 バリアンス10) 女性に変更。

リペイント:ジャンル (0 30 バリアンス10)

リペイントされたセグメント (0 30 バリアンス10) ジャンルに変更。

リペイント:歌詞 (0 30 バリアンス10)

リペイントされたセグメント (0 30 バリアンス10) 歌詞に変更。

リペイント:バリアンス7 (0-30秒)

リペイントされたセグメント (0-30秒) バリアンス7。

編集例:A オリジナル

オーディオ編集デモンストレーション:A オリジナル。

編集例:子供

オーディオ編集デモンストレーション:子供。

編集例:老人

オーディオ編集デモンストレーション:老人。

編集例:Spotify

オーディオ編集デモンストレーション:Spotify。

編集例:泣き声

オーディオ編集デモンストレーション:泣き声。

編集例:フランス語

オーディオ編集デモンストレーション:フランス語。

編集例:ドイツ語

オーディオ編集デモンストレーション:ドイツ語。

編集例:日本語

オーディオ編集デモンストレーション:日本語。

編集例:韓国語

オーディオ編集デモンストレーション:韓国語。

編集例:中国語

オーディオ編集デモンストレーション:中国語。

歌詞からボーカルへ:In You I See

歌詞からのボーカル生成:In You I See。

歌詞からボーカルへ:Lemonade

歌詞からのボーカル生成:Lemonade。

歌詞からボーカルへ:Turn Me On

歌詞からのボーカル生成:Turn Me On。

歌詞からボーカルへ:Whispering Shadows

歌詞からのボーカル生成:Whispering Shadows。

歌詞からボーカルへ:You Been Chosen Too

歌詞からのボーカル生成:You Been Chosen Too。

テキストからサンプルへ:アコースティックギター

生成されたサンプル:アコースティックギター。

テキストからサンプルへ:ベース

生成されたサンプル:ベース。

テキストからサンプルへ:ドラム

生成されたサンプル:ドラム。

テキストからサンプルへ:ドラムグルーヴ

生成されたサンプル:ドラムグルーヴ。

テキストからサンプルへ:電子ドラム

生成されたサンプル:電子ドラム。

テキストからサンプルへ:エレキギター

生成されたサンプル:エレキギター。

テキストからサンプルへ:二胡

生成されたサンプル:二胡。

テキストからサンプルへ:フルート

生成されたサンプル:フルート。

テキストからサンプルへ:ギター

生成されたサンプル:ギター。

テキストからサンプルへ:ハンドパン

生成されたサンプル:ハンドパン。

テキストからサンプルへ:琴

生成されたサンプル:琴。

カントリーロック

カントリーロック - ACE-Stepによって生成された音楽。

ブラックメタル

ブラックメタル - ACE-Stepによって生成された音楽。

オルタナティブロック

オルタナティブロック - ACE-Stepによって生成された音楽。

アフロキューバン

アフロキューバン - ACE-Stepによって生成された音楽。

デッドロック

デッドロック - ACE-Stepによって生成された音楽。

サイバーパンク

サイバーパンク - ACE-Stepによって生成された音楽。

ダブステップ

ダブステップ - ACE-Stepによって生成された音楽。

サーフミュージック

サーフミュージック - ACE-Stepによって生成された音楽。

女性ポップ

女性ポップ - ACE-Stepによって生成された音楽。

ファンクポップ・ネオンライツ

ファンクポップ・ネオンライツ - ACE-Stepによって生成された音楽。

ACE-Stepテーマ

ACE-Stepのテーマ音楽。

テキストからサンプルへ:バイオリン

生成されたサンプル:バイオリン。

テキストからサンプルへ:シンセ

生成されたサンプル:シンセ。

テキストからサンプルへ:サックス

生成されたサンプル:サックス。

テキストからサンプルへ:パッド

生成されたサンプル:パッド。

テキストからサンプルへ:リードギター

生成されたサンプル:リードギター。

注:最適な結果を得るには、詳細なテキストプロンプトで試してみてください。モデルはコミュニティの貢献により継続的に改善されています。

仕組み:テキストから表現力豊かな音楽へ

ACE-Step Workflow Diagram

1. プロンプトを作成

作成したい音楽の詳細なテキスト記述を作成します。ジャンル、ムード、楽器、テンポ、その他希望する特性を指定します。

2. (オプション) 高度なコントロール

よりきめ細かい制御のために、生成インターフェースまたはコードで利用可能な高度なパラメータを探索し、曲の構造や特定の楽器のニュアンスなどを調整します。

3. 音楽を生成

ACE-Stepモデルを実行します(アプリを介してローカルで実行するか、オンラインデモを使用します)。モデルはプロンプトを処理し、オリジナルの楽曲を生成します。

4. 試聴と反復

生成されたオーディオを再生します。プロンプトを調整し、再生成してさまざまな音楽のアイデアを探求します。プロジェクト用にオーディオファイルをダウンロードします。

ACE-Stepのインストールと使用方法:クイックガイド

1. 環境設定

  • 前提条件: Python 3.10、Conda(推奨)またはvenv、Git。
  • 環境の作成とアクティベート:
    # Conda
    conda create -n ace_step python=3.10 -y
    conda activate ace_step
    (異なるOSでのvenvの完全ガイドを参照)

2. インストール

  • リポジトリのクローン: git clone https://github.com/ace-step/ACE-Step.git && cd ACE-Step
  • PyTorchのインストール: システム固有のコマンドについては、pytorch.org をご覧ください。
  • 要件のインストール: pip install -r requirements.txt

3. ACE-Stepの実行

  • 起動: python app.py
  • UIへのアクセス: ブラウザで http://127.0.0.1:7865 を開きます。
  • (ポート、GPU、共有などの高度なコマンドライン引数が利用可能です)

4. インターフェースの使用(主な機能)

  • Text2Music: テキストプロンプトと歌詞からオーディオを生成します。
  • リテイク: 以前の生成のバリエーションを作成します。
  • リペイント: オーディオトラックの一部を選択的に再生成します。
  • 編集: タグまたは歌詞を変更します(メロディーを保持するオプションあり)。
  • 延長: 既存のオーディオトラックを長くします。

ACE-Step技術ハイライト

ACE-Step Application Map Diagram

コアコンセプトとアーキテクチャ

  • オープンソース基盤モデル: 「音楽のためのStable Diffusion」を目指します。
  • アーキテクチャ: Diffusionベースの生成、深層圧縮オートエンコーダ(DCAE)、および軽量線形トランスフォーマーを統合しています。
  • 意味的整合: MERTとm-hubert(REPA)を使用してトレーニングを強化しています。

主要性能

  • 速度: NVIDIA A100で約4分の音楽を20秒で生成します。
  • 品質: 優れた音楽的コヒーレンス、歌詞の整合性、およびきめ細かい音響ディテール。

トレーニング不要な制御性

  • バリエーション生成: 多様な出力のためにノイズミックスを調整します。
  • リペイント: マスク制約付きで特定のオーディオセクションを再生成します。
  • 歌詞編集: flow-edit技術によりメロディー/ボーカルを保持しながら歌詞を修正します。

LoRaファインチューニングアプリケーション

  • Lyric2Vocal: 歌詞から直接ボーカルサンプルを生成します。
  • Text2Samples: テキストから楽器ループとSFXを作成します。

指摘されている制限事項

  • 出力の不一致(シード/持続時間に敏感)。
  • 一部のスタイル特有の弱点。
  • ボーカル合成の品質と制御の粒度は、継続的な改善が必要な領域です。