ACE-Step v1-3.5B

Modelo de IA para Generación de Música

Un modelo de texto a música de código abierto con 3.5B de parámetros desarrollado por ACE Studio y StepFun que genera música original en diversos géneros con una coherencia y velocidad impresionantes.

Escuchar Demos Probar Demo Online

Prueba ACE-Step Online

¿Qué es ACE-Step?

ACE-Step es un modelo de generación de música IA de vanguardia diseñado para crear música original y de alta calidad. Desarrollado por ACE Studio y StepFun y liberado bajo la licencia Apache 2.0, ofrece una coherencia musical y velocidad de generación impresionantes, rivalizando con las soluciones existentes.

  • Generación de música de alta fidelidad con rica armonía y melodía
  • Generación controlable mediante indicaciones de texto para género, estado de ánimo e instrumentos
  • Generación rápida: música de 4 minutos en ~20s en A100
  • Código abierto con licencia Apache 2.0

Características Principales

Calidad Musical Superior

ACE-Step produce música increíblemente rica y coherente con melodías, armonías y ritmos complejos. Los modelos avanzados de IA crean composiciones que son tanto originales como atractivas.

Generación de Texto a Música

Genere fácilmente música en varios géneros proporcionando descripciones de texto. Especifique el estado de ánimo, los instrumentos, el tempo y más para guiar el proceso creativo.

Rápido y Eficiente

Aprovechando una arquitectura optimizada, ACE-Step puede generar varios minutos de música en segundos en hardware capaz, lo que lo hace ideal para la creación rápida de prototipos y la exploración creativa.

Código Abierto

Liberado bajo la licencia Apache 2.0, permitiendo el uso gratuito tanto para fines personales como comerciales. Los pesos completos del modelo y el código están disponibles en GitHub.

MUESTRAS DE CANCIONES

Electro Oscuro

Electro Oscuro - música generada por ACE-Step.

Disco

Disco - música generada por ACE-Step.

Rap Electrónico Ondas Encendidas

Rap Electrónico Ondas Encendidas - música generada por ACE-Step.

Canción Camisa Rap Hiphop

Canción Camisa Rap Hiphop - música generada por ACE-Step.

Ópera Femenina

Ópera Femenina - música generada por ACE-Step.

Fiesta Dance

Fiesta Dance - música generada por ACE-Step.

Techno Minimal

Techno Minimal - música generada por ACE-Step.

Psicodélico

Psicodélico - música generada por ACE-Step.

Jazz Saxofón

Jazz Saxofón - música generada por ACE-Step.

Rock Orquestal

Rock Orquestal - música generada por ACE-Step.

Mundo Triste

Mundo Triste - música generada por ACE-Step.

Acid House

Acid House - música generada por ACE-Step.

Acapella

Acapella - música generada por ACE-Step.

Beatbox

Beatbox - música generada por ACE-Step.

Drum and Bass

Drum and Bass - música generada por ACE-Step.

Nana Femenina

Nana Femenina - música generada por ACE-Step.

Sonata Piano Violín

Sonata Piano Violín - música generada por ACE-Step.

Tango Guitarra

Tango Guitarra - música generada por ACE-Step.

Trance

Trance - música generada por ACE-Step.

Solo de Violín

Solo de Violín - música generada por ACE-Step.

Atmosférico Oscuro

Atmosférico Oscuro - música generada por ACE-Step.

Electro House

Electro House - música generada por ACE-Step.

Folk R&B Femenino

Folk R&B Femenino - música generada por ACE-Step.

Pop Francés

Pop Francés - música generada por ACE-Step.

Dance Alemán

Dance Alemán - música generada por ACE-Step.

Hip-House

Hip-House - música generada por ACE-Step.

Folk Italiano

Folk Italiano - música generada por ACE-Step.

J-Pop

J-Pop - música generada por ACE-Step.

K-Pop

K-Pop - música generada por ACE-Step.

Mandopop

Mandopop - música generada por ACE-Step.

Pop Portugués

Pop Portugués - música generada por ACE-Step.

Folk Ruso

Folk Ruso - música generada por ACE-Step.

Canción Española

Canción Española - música generada por ACE-Step.

Muestra Original

Muestra de música original por ACE-Step.

Ejemplo de Retoma: Varianza 1

Variación de retoma musical: Varianza 1.

Ejemplo de Retoma: Varianza 2

Variación de retoma musical: Varianza 2.

Ejemplo de Retoma: Varianza 3

Variación de retoma musical: Varianza 3.

Ejemplo de Retoma: Varianza 4

Variación de retoma musical: Varianza 4.

Ejemplo de Retoma: Varianza 5

Variación de retoma musical: Varianza 5.

Ejemplo de Retoma: Varianza 6

Variación de retoma musical: Varianza 6.

Repintar: A Original

Audio original para ejemplo de repintado A.

Repintar: Femenino (0 30 Varianza10)

Segmento repintado (0 30 Varianza10) cambiando a Femenino.

Repintar: Género (0 30 Varianza10)

Segmento repintado (0 30 Varianza10) cambiando a Género.

Repintar: Letras (0 30 Varianza10)

Segmento repintado (0 30 Varianza10) cambiando a Letras.

Repintar: Varianza 7 (0-30s)

Segmento repintado (0-30s) con varianza 7.

Ejemplo de Edición: A Orig

Demostración de edición de audio: A Orig.

Ejemplo de Edición: Niño

Demostración de edición de audio: Niño.

Ejemplo de Edición: Viejo

Demostración de edición de audio: Viejo.

Ejemplo de Edición: Spotify

Demostración de edición de audio: Spotify.

Ejemplo de Edición: Llanto

Demostración de edición de audio: Llanto.

Ejemplo de Edición: Francés

Demostración de edición de audio: Francés.

Ejemplo de Edición: Alemán

Demostración de edición de audio: Alemán.

Ejemplo de Edición: Japonés

Demostración de edición de audio: Japonés.

Ejemplo de Edición: Coreano

Demostración de edición de audio: Coreano.

Ejemplo de Edición: Chino

Demostración de edición de audio: Chino.

Letras a Vocal: En Ti Veo

Generación vocal a partir de letras: En Ti Veo.

Letras a Vocal: Limonada

Generación vocal a partir de letras: Limonada.

Letras a Vocal: Enciéndeme

Generación vocal a partir de letras: Enciéndeme.

Letras a Vocal: Sombras Susurrantes

Generación vocal a partir de letras: Sombras Susurrantes.

Letras a Vocal: Tú También Has Sido Elegido

Generación vocal a partir de letras: Tú También Has Sido Elegido.

Texto a Muestras: Guitarra Acústica

Muestra generada: Guitarra Acústica.

Texto a Muestras: Bajo

Muestra generada: Bajo.

Texto a Muestras: Batería

Muestra generada: Batería.

Texto a Muestras: Ritmos de Batería

Muestra generada: Ritmos de Batería.

Texto a Muestras: Batería Electrónica

Muestra generada: Batería Electrónica.

Texto a Muestras: Guitarra Eléctrica

Muestra generada: Guitarra Eléctrica.

Texto a Muestras: Erhu

Muestra generada: Erhu.

Texto a Muestras: Flauta

Muestra generada: Flauta.

Texto a Muestras: Guitarra

Muestra generada: Guitarra.

Texto a Muestras: Hand Pan

Muestra generada: Hand Pan.

Texto a Muestras: Koto

Muestra generada: Koto.

Rock Country

Rock Country - música generada por ACE-Step.

Black Metal

Black Metal - música generada por ACE-Step.

Rock Alternativo

Rock Alternativo - música generada por ACE-Step.

Afrocubano

Afrocubano - música generada por ACE-Step.

Rock Muerto

Rock Muerto - música generada por ACE-Step.

Cyberpunk

Cyberpunk - música generada por ACE-Step.

Dubstep

Dubstep - música generada por ACE-Step.

Música Surf

Música Surf - música generada por ACE-Step.

Pop Femenino

Pop Femenino - música generada por ACE-Step.

Funk Pop Luces de Neón

Funk Pop Luces de Neón - música generada por ACE-Step.

Tema ACE-Step

Música tema para ACE-Step.

Texto a Muestras: Violín

Muestra generada: Violín.

Texto a Muestras: Sintetizador

Muestra generada: Sintetizador.

Texto a Muestras: Saxofón

Muestra generada: Saxofón.

Texto a Muestras: Pad

Muestra generada: Pad.

Texto a Muestras: Guitarra Principal

Muestra generada: Guitarra Principal.

Nota: Para obtener resultados óptimos, experimente con indicaciones de texto detalladas. El modelo mejora continuamente con las contribuciones de la comunidad.

Cómo Funciona: De Texto a Música Expresiva

Diagrama de Flujo de Trabajo de ACE-Step

1. Crea tu Indicación

Escribe una descripción detallada en texto de la música que quieres crear. Especifica género, estado de ánimo, instrumentos, tempo y cualquier otra característica deseada.

2. (Opcional) Controles Avanzados

Para un control más detallado, explora los parámetros avanzados disponibles en la interfaz de generación o en el código para aspectos como la estructura de la canción o matices específicos de instrumentos.

3. Genera la Música

Ejecuta el modelo ACE-Step (ya sea localmente a través de la aplicación o usando la demo online). El modelo procesa tu indicación y genera una pieza musical original.

4. Escucha e Itera

Reproduce el audio generado. Refina tu indicación y regenera para explorar diferentes ideas musicales. Descarga el archivo de audio para tus proyectos.

Cómo Instalar y Usar ACE-Step: Guía Rápida

1. Configuración del Entorno

  • Prerrequisitos: Python 3.10, Conda (recomendado) o venv, Git.
  • Crear y Activar Entorno: 
    # Conda
conda create -n ace_step python=3.10 -y
conda activate ace_step
    (Ver guía completa para venv en diferentes SO)

2. Instalación

  • Clonar Repositorio: git clone https://github.com/ace-step/ACE-Step.git && cd ACE-Step
  • Instalar PyTorch: Visita pytorch.org para el comando específico de tu sistema.
  • Instalar Requisitos: pip install -r requirements.txt

3. Ejecutando ACE-Step

  • Lanzar: python app.py
  • Acceder a la UI: Abre http://127.0.0.1:7865 en tu navegador.
  • (Argumentos de línea de comandos avanzados disponibles para puerto, GPU, compartir, etc.)

4. Usando la Interfaz (Características Clave)

  • Text2Music: Genera audio a partir de indicaciones de texto y letras.
  • Retoma: Crea variaciones de generaciones previas.
  • Repintado: Regenera selectivamente partes de una pista de audio.
  • Editar: Modifica etiquetas o letras (opción para preservar melodía).
  • Extender: Alarga pistas de audio existentes.

Aspectos Técnicos Destacados de ACE-Step

Diagrama del Mapa de Aplicación de ACE-Step

Concepto Central y Arquitectura

  • Modelo Fundacional de Código Abierto: Aspira a ser el "Stable Diffusion para la música".
  • Arquitectura: Integra generación basada en Difusión, AutoEncoder de Compresión Profunda (DCAE) y un Transformador Lineal ligero.
  • Alineación Semántica: Usa MERT & m-hubert (REPA) para un entrenamiento mejorado.

Rendimiento Clave

  • Velocidad: Genera ~4 minutos de música en 20 segundos (NVIDIA A100).
  • Calidad: Coherencia musical superior, alineación de letras y detalle acústico de grano fino.

Controlabilidad Sin Entrenamiento

  • Generación de Variaciones: Ajusta la mezcla de ruido para salidas diversas.
  • Repintado: Regenera secciones de audio específicas con restricciones de máscara.
  • Edición de Letras: Modifica letras preservando melodía/voces mediante tecnología flow-edit.

Aplicaciones Afinadas con LoRa

  • Lyric2Vocal: Genera muestras vocales directamente desde las letras.
  • Text2Samples: Crea bucles instrumentales y SFX a partir de texto.

Limitaciones Conocidas

  • Inconsistencia en la salida (sensible a semilla/duración).
  • Algunas debilidades específicas de estilo.
  • La calidad de la síntesis vocal y la granularidad del control son áreas de mejora continua.
Repositorio GitHub Demo Online