ACE-Step v1-3.5B

Modèle IA pour la Génération Musicale

Un modèle texte-musique open-source de 3,5 milliards de paramètres développé par ACE Studio et StepFun qui génère de la musique originale à travers divers genres avec une cohérence et une vitesse impressionnantes.

Qu'est-ce que ACE-Step ?

ACE-Step est un modèle de génération musicale par IA de pointe, conçu pour créer de la musique originale et de haute qualité. Développé par ACE Studio et StepFun et publié sous la licence Apache 2.0, il offre une cohérence musicale et une vitesse de génération impressionnantes, rivalisant avec les solutions existantes.

Génération musicale haute-fidélité avec une harmonie et une mélodie riches
Génération contrôlable via des invites textuelles pour le genre, l'ambiance et les instruments
Génération rapide : musique de 4 minutes en ~20s sur A100
Open-source avec la licence Apache 2.0

Fonctionnalités Clés

Qualité Musicale Supérieure

ACE-Step produit une musique incroyablement riche et cohérente avec des mélodies, des harmonies et des rythmes complexes. Les modèles d'IA avancés créent des compositions à la fois originales et engageantes.

Génération Texte-Musique

Générez facilement de la musique dans divers genres en fournissant des descriptions textuelles. Spécifiez l'ambiance, les instruments, le tempo, et plus encore pour guider le processus créatif.

Rapide et Efficace

Grâce à une architecture optimisée, ACE-Step peut générer plusieurs minutes de musique en quelques secondes sur du matériel compatible, ce qui le rend idéal pour le prototypage rapide et l'exploration créative.

Open Source

Publié sous la licence Apache 2.0, permettant une utilisation gratuite à des fins personnelles et commerciales. Les poids complets du modèle et le code sont disponibles sur GitHub.

EXEMPLES DE CHANT

Dark Electro

Dark Electro - musique générée par ACE-Step.

Disco

Disco - musique générée par ACE-Step.

Electronic Rap Waves On

Electronic Rap Waves On - musique générée par ACE-Step.

Hiphop Rap Shirt Song

Hiphop Rap Shirt Song - musique générée par ACE-Step.

Opera Female

Opera Female - musique générée par ACE-Step.

Dance Party

Dance Party - musique générée par ACE-Step.

Minimal Techno

Minimal Techno - musique générée par ACE-Step.

Psychedelic

Psychedelic - musique générée par ACE-Step.

Saxphone Jazz

Saxphone Jazz - musique générée par ACE-Step.

Orchestral Rock

Orchestral Rock - musique générée par ACE-Step.

World Sad

World Sad - musique générée par ACE-Step.

Acid House

Acid House - musique générée par ACE-Step.

Acappella

Acappella - musique générée par ACE-Step.

Bbox

Bbox - musique générée par ACE-Step.

Drum Bass

Drum Bass - musique générée par ACE-Step.

Female Nana

Female Nana - musique générée par ACE-Step.

Sonata Piano Violin

Sonata Piano Violin - musique générée par ACE-Step.

Tango Guitar

Tango Guitar - musique générée par ACE-Step.

Trance

Trance - musique générée par ACE-Step.

Violin Solo

Violin Solo - musique générée par ACE-Step.

Dark Atmospheric

Dark Atmospheric - musique générée par ACE-Step.

Electro House

Electro House - musique générée par ACE-Step.

Folk Rnb Female

Folk Rnb Female - musique générée par ACE-Step.

French Pop

French Pop - musique générée par ACE-Step.

German Dance

German Dance - musique générée par ACE-Step.

Hip-House

Hip-House - musique générée par ACE-Step.

Italian Folk

Italian Folk - musique générée par ACE-Step.

Jpop

Jpop - musique générée par ACE-Step.

Kpop

Kpop - musique générée par ACE-Step.

Mandopop

Mandopop - musique générée par ACE-Step.

Portuguese Pop

Portuguese Pop - musique générée par ACE-Step.

Russian Folk

Russian Folk - musique générée par ACE-Step.

Spanish Song

Spanish Song - musique générée par ACE-Step.

Sample Original

Sample de musique originale par ACE-Step.

Retake Example: Variance1

Variation de retake : Variance1.

Retake Example: Variance2

Variation de retake : Variance2.

Retake Example: Variance3

Variation de retake : Variance3.

Retake Example: Variance4

Variation de retake : Variance4.

Retake Example: Variance5

Variation de retake : Variance5.

Retake Example: Variance6

Variation de retake : Variance6.

Repaint: A Original

Exemple audio original pour repaint A.

Repaint: Female (0 30 Variance10)

Segment repainté (0 30 Variance10) changeant en Female.

Repaint: Genre (0 30 Variance10)

Segment repainté (0 30 Variance10) changeant en Genre.

Repaint: Lyrics (0 30 Variance10)

Segment repainté (0 30 Variance10) changeant en Lyrics.

Repaint: Variance 7 (0-30s)

Segment repainté (0-30s) avec variance 7.

Edit Example: A Orig

Démonstration de modification audio : A Orig.

Edit Example: Kid

Démonstration de modification audio : Kid.

Edit Example: Old

Démonstration de modification audio : Old.

Edit Example: Spotify

Démonstration de modification audio : Spotify.

Edit Example: Cry

Démonstration de modification audio : Cry.

Edit Example: French

Démonstration de modification audio : French.

Edit Example: German

Démonstration de modification audio : German.

Edit Example: Ja

Démonstration de modification audio : Ja.

Edit Example: Ko

Démonstration de modification audio : Ko.

Edit Example: Zh

Démonstration de modification audio : Zh.

Lyrics to Vocal: In You I See

Génération vocale à partir de lyrics : In You I See.

Lyrics to Vocal: Lemonade

Génération vocale à partir de lyrics : Lemonade.

Lyrics to Vocal: Turn Me On

Génération vocale à partir de lyrics : Turn Me On.

Lyrics to Vocal: Whispering Shadows

Génération vocale à partir de lyrics : Whispering Shadows.

Lyrics to Vocal: You Been Chosen Too

Génération vocale à partir de lyrics : You Been Chosen Too.

Text to Samples: Acounstic Guitar

Exemple généré : Acounstic Guitar.

Text to Samples: Bass

Exemple généré : Bass.

Text to Samples: Drums

Exemple généré : Drums.

Text to Samples: Drums Grooves

Exemple généré : Drums Grooves.

Text to Samples: Edrum

Exemple généré : Edrum.

Text to Samples: Electric Guitar

Exemple généré : Electric Guitar.

Text to Samples: Erhu

Exemple généré : Erhu.

Text to Samples: Flute

Exemple généré : Flute.

Text to Samples: Guitar

Exemple généré : Guitar.

Text to Samples: Hand Pan

Exemple généré : Hand Pan.

Text to Samples: Koto

Exemple généré : Koto.

Country Rock

Country Rock - musique générée par ACE-Step.

Black Metal

Black Metal - musique générée par ACE-Step.

Alternative Rock

Alternative Rock - musique générée par ACE-Step.

Afro Cuban

Afro Cuban - musique générée par ACE-Step.

Dead Rock

Dead Rock - musique générée par ACE-Step.

Cyberpunk

Cyberpunk - musique générée par ACE-Step.

Dubstep

Dubstep - musique générée par ACE-Step.

Surf Music

Surf Music - musique générée par ACE-Step.

Female Pop

Female Pop - musique générée par ACE-Step.

Funk Pop Neon Lights

Funk Pop Neon Lights - musique générée par ACE-Step.

Thème ACE-Step

Thème musical pour ACE-Step.

Text to Samples: Violin

Exemple généré : Violin.

Text to Samples: Synth

Exemple généré : Synth.

Text to Samples: Saxphone

Exemple généré : Saxphone.

Text to Samples: Pad

Exemple généré : Pad.

Text to Samples: Lead Guitar

Exemple généré : Lead Guitar.

Note: Pour des résultats optimaux, expérimentez avec des invites textuelles détaillées. Le modèle est en constante amélioration grâce aux contributions de la communauté.

Comment ça marche : De Texte à Musique Expressive

1. Créer Votre Invite

Écrivez une description textuelle détaillée de la musique que vous souhaitez créer. Spécifiez le genre, l'ambiance, les instruments, le tempo et toute autre caractéristique souhaitée.

2. (Optionnel) Contrôles Avancés

Pour un contrôle plus fin, explorez les paramètres avancés disponibles dans l'interface de génération ou le code pour des aspects tels que la structure de la chanson ou les nuances spécifiques des instruments.

3. Générer la Musique

Exécutez le modèle ACE-Step (soit localement via l'application, soit en utilisant la démo en ligne). Le modèle traite votre invite et génère une pièce musicale originale.

4. Écouter et Itérer

Écoutez le son généré. Réfinez votre invite et régénérez pour explorer différentes idées musicales. Téléchargez le fichier audio pour vos projets.

Comment Installer et Utiliser ACE-Step : Guide Rapide

1. Configuration de l'environnement

Prérequis : Python 3.10, Conda (recommandé) ou venv, Git.
Créer et Activer l'environnement :
```
# Conda
conda create -n ace_step python=3.10 -y
conda activate ace_step
```
(Voir le guide complet pour venv sur différents OS)

2. Installation

Cloner le référentiel : git clone https://github.com/ace-step/ACE-Step.git && cd ACE-Step
Installer PyTorch : Visitez pytorch.org pour la commande spécifique au système.
Installer les exigences : pip install -r requirements.txt

3. Exécuter ACE-Step

Lancement : python app.py
Accéder à l'interface : Ouvrez http://127.0.0.1:7865 dans votre navigateur.
(Arguments de ligne de commande avancés disponibles pour le port, GPU, partage, etc.)

4. Utiliser l'interface (Fonctionnalités Principales)

Text2Music : Générer de la musique à partir d'invites textuelles et de lyrics.
Retake : Créer des variations de générations précédentes.
Repainting : Régénérer sélectivement des sections d'un fichier audio.
Edit : Modifier les tags ou les lyrics (option pour préserver la mélodie).
Extend : Allonger des pistes audio existantes.

Points Techniques Clés de ACE-Step

Concept de Base et Architecture

Modèle de Fondation Open-Source : Vise à être "Stable Diffusion for music."
Architecture : Intègre la génération basée sur Diffusion, AutoEncoder Deep Compression (DCAE), et un Transformer Linéaire Léger.
Alignement Sémantique : Utilise MERT & m-hubert (REPA) pour une formation améliorée.

Performance Principale

Vitesse : Génère ~4 minutes de musique en 20 secondes (NVIDIA A100).
Qualité : Cohérence musicale supérieure, alignement lyrique, et détail acoustique fin.

Contrôlabilité Sans Entraînement

Génération de Variations : Adjuster la mélange de bruit pour différentes sorties.
Repainting : Régénérer des sections audio spécifiques avec des contraintes de masque.
Modification Lyrique : Modifier les lyrics tout en préservant la mélodie/voix via la technologie flow-edit.

Applications Fine-Tunées LoRa

Lyric2Vocal : Générer des échantillons vocaux directement à partir de lyrics.
Text2Samples : Créer des boucles et des SFX instrumentaux à partir de texte.

Limitations Notées

Inconsistance de sortie (sensible à la graine/durée).
Certaines faiblesses spécifiques à style.
Qualité synthèse vocale et granularité de contrôle sont des domaines d'amélioration en cours.

Référentiel GitHub Démo en Ligne