ACE-Step v1-3.5B

Was ist ACE-Step?

ACE-Step ist ein hochmodernes KI-Musikgenerierungsmodell, das für die Erstellung origineller und qualitativ hochwertiger Musik entwickelt wurde. Entwickelt von ACE Studio und StepFun und veröffentlicht unter der Apache 2.0 Lizenz, liefert es beeindruckende musikalische Kohärenz und Generierungsgeschwindigkeit und konkurriert mit bestehenden Lösungen.

High-Fidelity-Musikgenerierung mit reicher Harmonie und Melodie
Steuerbare Generierung über Textaufforderungen für Genre, Stimmung und Instrumente
Schnelle Generierung: 4-Minuten-Musik in ~20s auf A100
Open-Source mit Apache 2.0 Lizenz

Hauptmerkmale

Überragende Musikqualität

ACE-Step produziert unglaublich reichhaltige und kohärente Musik mit komplexen Melodien, Harmonien und Rhythmen. Die fortschrittlichen KI-Modelle erstellen Kompositionen, die sowohl originell als auch ansprechend sind.

Text-zu-Musik-Generierung

Generieren Sie einfach Musik verschiedener Genres, indem Sie Textbeschreibungen bereitstellen. Geben Sie Stimmung, Instrumente, Tempo und mehr an, um den kreativen Prozess zu lenken.

Schnell und Effizient

Dank einer optimierten Architektur kann ACE-Step auf leistungsfähiger Hardware mehrere Minuten Musik in Sekunden generieren, was es ideal für schnelles Prototyping und kreative Erkundungen macht.

Open Source

Veröffentlicht unter der Apache 2.0 Lizenz, die eine kostenlose Nutzung für persönliche und kommerzielle Zwecke ermöglicht. Vollständige Modellgewichte und Code sind auf GitHub verfügbar.

SONGBEISPIELE

Dark Electro

Dark Electro - Musik generiert von ACE-Step.

Disco

Disco - Musik generiert von ACE-Step.

Electronic Rap Waves On

Electronic Rap Waves On - Musik generiert von ACE-Step.

Hiphop Rap Shirt Song

Hiphop Rap Shirt Song - Musik generiert von ACE-Step.

Oper (weiblich)

Oper (weiblich) - Musik generiert von ACE-Step.

Dance Party

Dance Party - Musik generiert von ACE-Step.

Minimal Techno

Minimal Techno - Musik generiert von ACE-Step.

Psychedelisch

Psychedelisch - Musik generiert von ACE-Step.

Saxophon Jazz

Saxophon Jazz - Musik generiert von ACE-Step.

Orchestral Rock

Orchestral Rock - Musik generiert von ACE-Step.

Weltmusik (traurig)

Weltmusik (traurig) - Musik generiert von ACE-Step.

Acid House

Acid House - Musik generiert von ACE-Step.

A cappella

A cappella - Musik generiert von ACE-Step.

Beatbox

Beatbox - Musik generiert von ACE-Step.

Drum & Bass

Drum & Bass - Musik generiert von ACE-Step.

Weiblicher Gesang (Nana)

Weiblicher Gesang (Nana) - Musik generiert von ACE-Step.

Sonate Klavier Violine

Sonate Klavier Violine - Musik generiert von ACE-Step.

Tango Gitarre

Tango Gitarre - Musik generiert von ACE-Step.

Trance

Trance - Musik generiert von ACE-Step.

Violinsolo

Violinsolo - Musik generiert von ACE-Step.

Dunkel Atmosphärisch

Dunkel Atmosphärisch - Musik generiert von ACE-Step.

Electro House

Electro House - Musik generiert von ACE-Step.

Folk RnB (weiblich)

Folk RnB (weiblich) - Musik generiert von ACE-Step.

Französischer Pop

Französischer Pop - Musik generiert von ACE-Step.

Deutscher Dance

Deutscher Dance - Musik generiert von ACE-Step.

Hip-House

Hip-House - Musik generiert von ACE-Step.

Italienischer Folk

Italienischer Folk - Musik generiert von ACE-Step.

J-Pop

J-Pop - Musik generiert von ACE-Step.

K-Pop

K-Pop - Musik generiert von ACE-Step.

Mandopop

Mandopop - Musik generiert von ACE-Step.

Portugiesischer Pop

Portugiesischer Pop - Musik generiert von ACE-Step.

Russischer Folk

Russischer Folk - Musik generiert von ACE-Step.

Spanisches Lied

Spanisches Lied - Musik generiert von ACE-Step.

Originalbeispiel

Originales Musikbeispiel von ACE-Step.

Retake-Beispiel: Varianz 1

Musik-Retake-Variation: Varianz 1.

Retake-Beispiel: Varianz 2

Musik-Retake-Variation: Varianz 2.

Retake-Beispiel: Varianz 3

Musik-Retake-Variation: Varianz 3.

Retake-Beispiel: Varianz 4

Musik-Retake-Variation: Varianz 4.

Retake-Beispiel: Varianz 5

Musik-Retake-Variation: Varianz 5.

Retake-Beispiel: Varianz 6

Musik-Retake-Variation: Varianz 6.

Repaint: A Original

Original-Audio für Repaint A Beispiel.

Repaint: Weiblich (0 30 Varianz10)

Neu gemaltes Segment (0 30 Varianz10) wechselt zu Weiblich.

Repaint: Genre (0 30 Varianz10)

Neu gemaltes Segment (0 30 Varianz10) wechselt zu Genre.

Repaint: Liedtext (0 30 Varianz10)

Neu gemaltes Segment (0 30 Varianz10) wechselt zu Liedtext.

Repaint: Varianz 7 (0-30s)

Neu gemaltes Segment (0-30s) mit Varianz 7.

Bearbeitungsbeispiel: A Original

Audiobearbeitungsdemonstration: A Original.

Bearbeitungsbeispiel: Kind

Audiobearbeitungsdemonstration: Kind.

Bearbeitungsbeispiel: Alt

Audiobearbeitungsdemonstration: Alt.

Bearbeitungsbeispiel: Spotify

Audiobearbeitungsdemonstration: Spotify.

Bearbeitungsbeispiel: Weinen

Audiobearbeitungsdemonstration: Weinen.

Bearbeitungsbeispiel: Französisch

Audiobearbeitungsdemonstration: Französisch.

Bearbeitungsbeispiel: Deutsch

Audiobearbeitungsdemonstration: Deutsch.

Bearbeitungsbeispiel: Ja

Audiobearbeitungsdemonstration: Ja.

Bearbeitungsbeispiel: Ko

Audiobearbeitungsdemonstration: Ko.

Bearbeitungsbeispiel: Zh

Audiobearbeitungsdemonstration: Zh.

Liedtext zu Gesang: In You I See

Gesangsgenerierung aus Liedtext: In You I See.

Liedtext zu Gesang: Lemonade

Gesangsgenerierung aus Liedtext: Lemonade.

Liedtext zu Gesang: Turn Me On

Gesangsgenerierung aus Liedtext: Turn Me On.

Liedtext zu Gesang: Whispering Shadows

Gesangsgenerierung aus Liedtext: Whispering Shadows.

Liedtext zu Gesang: You Been Chosen Too

Gesangsgenerierung aus Liedtext: You Been Chosen Too.

Text zu Samples: Akustikgitarre

Generiertes Sample: Akustikgitarre.

Text zu Samples: Bass

Generiertes Sample: Bass.

Text zu Samples: Schlagzeug

Generiertes Sample: Schlagzeug.

Text zu Samples: Schlagzeug-Grooves

Generiertes Sample: Schlagzeug-Grooves.

Text zu Samples: E-Drum

Generiertes Sample: E-Drum.

Text zu Samples: E-Gitarre

Generiertes Sample: E-Gitarre.

Text zu Samples: Erhu

Generiertes Sample: Erhu.

Text zu Samples: Flöte

Generiertes Sample: Flöte.

Text zu Samples: Gitarre

Generiertes Sample: Gitarre.

Text zu Samples: Handpan

Generiertes Sample: Handpan.

Text zu Samples: Koto

Generiertes Sample: Koto.

Country Rock

Country Rock - Musik generiert von ACE-Step.

Black Metal

Black Metal - Musik generiert von ACE-Step.

Alternative Rock

Alternative Rock - Musik generiert von ACE-Step.

Afro Cuban

Afro Cuban - Musik generiert von ACE-Step.

Dead Rock

Dead Rock - Musik generiert von ACE-Step.

Cyberpunk

Cyberpunk - Musik generiert von ACE-Step.

Dubstep

Dubstep - Musik generiert von ACE-Step.

Surfmusik

Surfmusik - Musik generiert von ACE-Step.

Weiblicher Pop

Weiblicher Pop - Musik generiert von ACE-Step.

Funk Pop Neonlichter

Funk Pop Neonlichter - Musik generiert von ACE-Step.

ACE-Step Thema

Themenmusik für ACE-Step.

Text zu Samples: Violine

Generiertes Sample: Violine.

Text zu Samples: Synth

Generiertes Sample: Synth.

Text zu Samples: Saxophon

Generiertes Sample: Saxophon.

Text zu Samples: Pad

Generiertes Sample: Pad.

Text zu Samples: Lead-Gitarre

Generiertes Sample: Lead-Gitarre.

Hinweis: Für optimale Ergebnisse experimentieren Sie mit detaillierten Textaufforderungen. Das Modell wird durch Community-Beiträge kontinuierlich verbessert.

Wie es funktioniert: Von Text zu ausdrucksstarker Musik

1. Prompt erstellen

Schreiben Sie eine detaillierte Textbeschreibung der Musik, die Sie erstellen möchten. Geben Sie Genre, Stimmung, Instrumente, Tempo und alle anderen gewünschten Eigenschaften an.

2. (Optional) Erweiterte Steuerung

Für eine detailliertere Steuerung erkunden Sie erweiterte Parameter, die in der Generierungsoberfläche oder im Code für Aspekte wie Songstruktur oder spezifische Instrumentennuancen verfügbar sind.

3. Musik generieren

Führen Sie das ACE-Step-Modell aus (entweder lokal über die App oder über die Online-Demo). Das Modell verarbeitet Ihre Eingabeaufforderung und generiert ein originelles Musikstück.

4. Anhören und Iterieren

Spielen Sie das generierte Audio ab. Verfeinern Sie Ihre Eingabeaufforderung und generieren Sie neu, um verschiedene musikalische Ideen zu erkunden. Laden Sie die Audiodatei für Ihre Projekte herunter.

Wie man ACE-Step installiert und verwendet: Kurzanleitung

1. Umgebung einrichten

Voraussetzungen: Python 3.10, Conda (empfohlen) oder venv, Git.
Umgebung erstellen & aktivieren:
```
# Conda
conda create -n ace_step python=3.10 -y
conda activate ace_step
```
(Siehe vollständige Anleitung für venv unter verschiedenen Betriebssystemen)

2. Installation

Repository klonen: git clone https://github.com/ace-step/ACE-Step.git && cd ACE-Step
PyTorch installieren: Besuchen Sie pytorch.org für systemspezifische Befehle.
Abhängigkeiten installieren: pip install -r requirements.txt

3. ACE-Step ausführen

Starten: python app.py
UI aufrufen: Öffnen Sie http://127.0.0.1:7865 in Ihrem Browser.
(Erweiterte Kommandozeilenargumente für Port, GPU, Freigabe usw. verfügbar)

4. Verwendung der Benutzeroberfläche (Hauptfunktionen)

Text2Music: Audio aus Textaufforderungen und Liedtexten generieren.
Retake: Variationen früherer Generationen erstellen.
Repainting: Teile eines Audiotracks selektiv neu generieren.
Bearbeiten: Tags oder Liedtexte ändern (Option zur Beibehaltung der Melodie).
Erweitern: Vorhandene Audiotracks verlängern.

ACE-Step Technische Highlights

Kernkonzept & Architektur

Open-Source Foundation Model: Zielt darauf ab, das "Stable Diffusion für Musik" zu sein.
Architektur: Integriert Diffusions-basierte Generierung, Deep Compression AutoEncoder (DCAE) und einen leichtgewichtigen Linear Transformer.
Semantische Ausrichtung: Verwendet MERT & m-hubert (REPA) für verbessertes Training.

Wichtige Leistungsdaten

Geschwindigkeit: Generiert ~4 Minuten Musik in 20 Sekunden (NVIDIA A100).
Qualität: Überragende musikalische Kohärenz, Liedtextausrichtung und feinkörnige akustische Details.

Trainingsfreie Steuerbarkeit

Generierung von Variationen: Rauschmischung für vielfältige Ausgaben anpassen.
Repainting: Spezifische Audioabschnitte mit Maskenbeschränkungen neu generieren.
Liedtextbearbeitung: Liedtexte unter Beibehaltung von Melodie/Gesang über Flow-Edit-Technologie ändern.

LoRa Feinabgestimmte Anwendungen

Lyric2Vocal: Gesangssamples direkt aus Liedtexten generieren.
Text2Samples: Instrumentale Loops & SFX aus Text erstellen.

Bekannte Einschränkungen

Inkonsistenz der Ausgabe (abhängig von Seed/Dauer).
Einige stilspezifische Schwächen.
Qualität der Vokalsynthese und Granularität der Steuerung sind Bereiche für kontinuierliche Verbesserungen.

GitHub-Repository Online-Demo

KI-Modell zur Musikgenerierung

ACE-Step Online testen