Anteriormente, intenté usar Codex y Hyperframes para deconstruir un video viral de una cuenta de Douyin relacionada con libros, y los efectos de sonido recibieron elogios constantes de todos.
Hoy, escribo un artículo largo para enseñarte paso a paso cómo deconstruir videos virales de Douyin y arreglar un flujo de trabajo, para que también puedas tener la capacidad de crear videos usando IA.
https://x.com/369Serena/status/2073012234184282287
1. Preparación
Primero, todos deben tener sus herramientas listas:
- Necesitas un Agente como Codex.
- Luego ve a la tienda de plugins para instalar dos herramientas:
(a) Hyperframes: Crea videos en formato HTML, ideal para presentaciones corporativas, animaciones de datos o videos de demostración.
(b) Remotion: Escrito en React, logra video-como-código. Una vez que fijas un estilo de tema, es muy adecuado para la replicación en masa mediante programación. Veo a muchos bloggers usando Remotion para crear animaciones al estilo de "Xiao Lin Shuo," que funciona muy bien con videos de persona hablando.
Además, puedes instalar algunas Skills para ayudar en la deconstrucción. Si quieres entender la estructura de un video viral—como cómo los primeros segundos enganchan a la audiencia, cómo son los efectos de sonido y el ritmo entre la narración y las imágenes—puedes deconstruirlos y replicarlos a través de las siguientes Skills:
- Claude Video: Se usa para deconstruir el proceso del video y facilitar su replicación en el siguiente paso.
- Video Use: Lo recomiendo mucho para principiantes en edición. Actúa como un "director de edición de video" que puede llamar a las herramientas adecuadas según tus necesidades. Para los novatos que no saben cuándo usar qué herramienta, cumple el papel de un director experto.
Eso concluye el trabajo de preparación.
2. Flujo de Trabajo de Producción de Video
Crear videos con Codex + Hyperframes puede seguir esta secuencia:
1️⃣ Primero, define las especificaciones del video
Por ejemplo: 30 segundos, 9:16, chino, educativo, introducción de libros, para X / TikTok / Xiaohongshu.
2️⃣ Escribe el guion de la narración
Deja que Codex escriba primero una narración en chino de 30 segundos; no te apresures con las imágenes.
3️⃣ Confirma el estilo visual
Por ejemplo: video educativo de estilo oscuro, estilo de conocimiento de alta gama, fondo oscuro, portada del libro como imagen principal, ligero zoom de cámara.
4️⃣ Crea storyboards con marcas de tiempo
Divide la narración en 4-6 segmentos visuales, cada uno correspondiente a una información clave.
5️⃣ Prepara los materiales
Portada del libro, título, palabras clave, logotipo, música de fondo, texto de voz en off.
6️⃣ Genera la voz en off
Puedes usar Edge TTS, ElevenLabs o flujos de trabajo relacionados con medios de Hyperframes.
7️⃣ Transcribe la voz en off
Usa el audio final para generar una transcripción; no adivines manualmente los tiempos de los subtítulos.
8️⃣ Crea la composición en Hyperframes
Escribe index.html usando los datos correctos data-start / data-duration / data-track-index.
9️⃣ Crea los subtítulos
Sincroniza automáticamente los subtítulos basados en la transcripción.
🔟 Vista previa
Primero mira la vista previa; no renderices el video final directamente.
1️⃣1️⃣ Validar / Inspeccionar
Revisa errores, fuentes, desbordamientos de diseño y obstrucciones de subtítulos.
1️⃣2️⃣ Renderizar MP4
Renderiza solo después de confirmar que todo está correcto.
Estos son los pasos generales. De hecho, muchas partes no requieren intervención manual, así que con entender estos pasos generales es suficiente; la parte manual es bastante mínima.
3. Deconstrucción Manual Inicial + Generación del Guion
Ahora necesitamos deconstruir el video.
Primero, debemos usar Claude Video para deconstruir la estructura del video. El que deconstruí era una cuenta de libros, por lo que su estructura es muy simple: los primeros segundos deben retener a la audiencia, seguidos de una introducción o reseña del libro.
Los siguientes pasos para la generación del guion de la narración son:
- Recopilar información: (a) Usa Codex para recopilar información del libro. (b) Utiliza la conexión de Skills de WeChat Reading para ver secciones destacadas y comentarios frecuentes. (c) Haz que Codex busque reseñas famosas del libro.
- Generar la introducción: Deja que Codex genere una introducción basada en hechos del libro. Esta introducción debe "eliminar el tono artificial" para las plataformas de redes sociales. Puedes ajustarla según tus necesidades estéticas, con requisitos específicos que incluyen: (a) Evitar expresiones típicas de IA como "No es... sino...". (b) Evitar estructuras de oraciones con demasiado paralelismo. (c) La expresión debe ser fluida y natural, contando la historia del libro de manera sencilla, no presentándola en un tono arrogante.
Esta parte requiere que operemos basándonos en dos puntos:
- Basado en la estructura del video previamente deconstruido.
- Debemos actuar como un filtro para revisar si el texto es viable.
Una vez generado, puedes convertir el contenido recopilado y organizado por Codex en una Skill. De esta forma, los guiones de narración se pueden reutilizar en el futuro.
Todo debe ser escrito por Codex basándose en hechos. Después de esta operación, me dará un guion de narración, completando la primera producción general del guion.
4. Procesamiento del Archivo de Audio TTS: Lograr una Voz Natural y Atractiva
Una vez lista la narración, otra parte importante del trabajo—que aún no he automatizado conectando una API de generación de voz—es el ajuste del audio.
Sin embargo, creo que se puede hacer, así que escribiré cómo ajustar la voz para que sea más natural, atractiva y orientada a la narración.
Anteriormente compartí en un tuit que usaba ElevenLabs, recomendado por Codex. Las voces en inglés son realmente perfectas, con voces de varios países disponibles.
Pero al usar la generación de voz en chino, encontré que no reconoce bien el chino, lo que resulta en muchos errores tipográficos. En este caso, no es solo un problema de "tono artificial"; simplemente no es utilizable. La solución que me dio Codex fue usar primero Jianying o la API de BytePlus (Volcengine).
Como aún no tengo la API de BytePlus, usé la aplicación Jianying en mi computadora.
Mi método es muy simple:
- Crear un nuevo proyecto y buscar la opción de texto.
- Usar la función "Texto a Voz" y elegir una voz que me guste.
- Pegar directamente el texto de la narración y hacer clic en generar.
- Finalmente, exportar la voz (Jianying solo puede exportar archivos MP4).
- Le doy este archivo MP4 a Codex.
Basado en el análisis previo de la voz por parte de Codex, le pido que me ayude a procesar el sonido para que sea tan natural, narrativo y atractivo como el video de referencia.
El proceso de Codex para manejar el sonido es el siguiente:
- Análisis automático: Codex primero analiza los parámetros de sonido del video original y modifica mi archivo MP4 en consecuencia.
- Configuración de parámetros: Pondré una captura de pantalla de los parámetros relevantes aquí. Puedes enviar la captura a Codex, y él procesará ese efecto por ti.
- Método simple: O usa un método aún más simple: dale directamente un segmento del video de referencia y dile: "Quiero que el sonido se procese así", y Codex lo hará por ti.
El sonido procesado de esta manera es perfecto. Una vez que domines esta capacidad de procesamiento de sonido, puedes reutilizarla en otros tipos de producción de video, como:
(a) Explicaciones de películas o narraciones de historias
(b) Videos de filosofía de vida o inspiración
(c) Canales de divulgación científica
En estos escenarios, este método de procesamiento de sonido es completamente aplicable.
Como mencioné, esta parte idealmente debería estar automatizada. En la creación de redes sociales, evita el trabajo manual siempre que sea posible; en un estado "sin complicaciones", es mucho más fácil persistir. Así que luego, intentaré usar la API de BytePlus para que Codex genere automáticamente la narración y los archivos TTS de voz.
5. Hyperframes para Visuales, Subtítulos y Alineación de Audio
Luego viene la creación de los visuales y la sincronización de la voz con los subtítulos. En esta etapa, no intervine en absoluto porque Codex ya tenía un plan general. Ya le había dado un video de referencia, y ahora con la narración y la voz en off, Codex crea el video por sí mismo.
La versión generada después de la creación del video no será perfecta la primera vez; pueden ocurrir varias situaciones:
- La voz y los subtítulos no coinciden: Necesitas comunicarte con Codex y dejar que los alinee. Codex extraerá automáticamente fotogramas para verificar por qué no coinciden; esto puede requerir alrededor de dos ajustes.
- Problemas visuales: Incluyendo el contenido visual, la posición de los subtítulos y las formas resultantes. Estos se pueden comunicar repetidamente con Codex, recordándole constantemente que se acerque más al video que queremos replicar.
Una vez que todo el proceso esté afinado, podemos generar videos con un alto grado de replicación. Si podemos automatizar todo el flujo de trabajo, podemos gestionar cuentas en lotes. Ya sea una cuenta de libros u otros tipos, todos pueden ser deconstruidos y replicados siguiendo este proceso.
6. Resumen
Finalmente, espero que este artículo sea útil para todos.
Yo también estoy en un estado de aprender haciendo, y espero que podamos comunicarnos e intercambiar ideas más a menudo. A menudo, no es que no podamos hacerlo, sino que aún no hemos actuado.
Lo mismo ocurre con el uso de Codex; mientras comencemos a actuar y a chatear con Codex en lenguaje natural, podemos encontrar estas soluciones paso a paso. Creo que mientras todos comiencen a hacerlo, todos pueden usar la IA para ganarse la vida en las redes sociales.
Espero que todos puedan aprovechar esta era de IA—una era donde las personas comunes pueden acercarse infinitamente a una alta productividad—para hacer redes sociales, para crear, y para encontrar formas de replicar, de modo que pueda generar riqueza incluso mientras duermes, acercándote infinitamente a la libertad.
Soy Serena, explorando IA × Web3 × Redes Sociales, documentando cómo las personas comunes recuperan la iniciativa en sus vidas. ¡Espero que este artículo te sea útil!
👏
