Précédemment, j'ai essayé d'utiliser Codex et Hyperframes pour déconstruire une vidéo virale d'un compte Douyin sur les livres, et les effets sonores ont été salués par tout le monde.
Aujourd'hui, j'écris un article détaillé pour vous apprendre pas à pas à déconstruire les vidéos virales de Douyin et à mettre en place un workflow, afin que vous puissiez vous aussi acquérir la capacité de créer des vidéos avec l'IA.
https://x.com/369Serena/status/2073012234184282287
1. Préparation
Tout d'abord, il faut préparer ses outils :
- Vous avez besoin d'un Agent comme Codex.
- Ensuite, allez dans le magasin de plugins pour installer deux outils :
(a) Hyperframes : Il crée des vidéos au format HTML, ce qui est très adapté pour les présentations d'entreprise, les animations de données ou les vidéos de démonstration.
(b) Remotion : Écrit en React, il permet de réaliser la vidéo en tant que code. Une fois que vous avez fixé un thème et un style, il est très adapté pour une réplication à grand volume via le codage. Je vois de nombreux blogueurs utiliser Remotion pour créer des animations dans le style de "Xiao Lin Shuo", ce qui fonctionne très bien avec les vidéos tête-parlante.
De plus, vous pouvez installer quelques Skills pour vous aider dans la déconstruction. Si vous voulez comprendre la structure d'une vidéo virale – comme les premières secondes qui accrochent le public, les effets sonores, le rythme entre la narration et les visuels – vous pouvez les déconstruire et les répliquer grâce aux Skills suivants :
- Claude Video : Utilisé pour déconstruire le processus vidéo afin de le répliquer plus facilement à l'étape suivante.
- Video Use : Je le recommande vivement pour les débutants en montage. Il agit comme un "directeur de montage vidéo" qui peut appeler les outils appropriés en fonction de vos besoins. Pour les novices qui ne savent pas quel outil utiliser quand, il joue le rôle d'un réalisateur expert.
Voilà pour le travail de préparation.
2. Workflow de Production Vidéo
Créer des vidéos avec Codex + Hyperframes peut suivre cette séquence :
1️⃣ Définir d'abord les spécifications de la vidéo
Par exemple : 30 secondes, 9:16, français, contenu de savoir, présentation de livre, pour X / TikTok / Xiaohongshu.
2️⃣ Écrire le script de narration
Demandez d'abord à Codex d'écrire une narration de 30 secondes ; ne vous précipitez pas sur les visuels.
3️⃣ Confirmer le style visuel
Par exemple : vidéo de savoir éditorial sombre, style de connaissance haut de gamme, fond sombre, couverture du livre comme visuel principal, léger zoom avant de la caméra.
4️⃣ Créer un storyboard avec des timestamps
Divisez la narration en 4 à 6 segments visuels, chacun correspondant à une information clé.
5️⃣ Préparer le matériel
Couverture du livre, titre, mots-clés, logo, musique de fond, texte de la voix off.
6️⃣ Générer la voix off
Vous pouvez utiliser Edge TTS, ElevenLabs ou les workflows liés aux médias d'Hyperframes.
7️⃣ Transcrire la voix off
Utilisez le fichier audio final pour générer une transcription ; ne devinez pas manuellement le timing des sous-titres.
8️⃣ Créer la composition Hyperframes
Écrivez index.html en utilisant les bonnes données data-start / data-duration / data-track-index.
9️⃣ Créer les sous-titres
Synchronisez automatiquement les sous-titres en fonction de la transcription.
🔟 Prévisualisation
Regardez d'abord l'aperçu ; ne rendez pas la vidéo finale directement.
1️⃣1️⃣ Valider / Inspecter
Vérifiez les erreurs, les polices, les débordements de mise en page et les obstructions des sous-titres.
1️⃣2️⃣ Rendre au format MP4
Ne rendez qu'après avoir confirmé que tout est correct.
Ce sont les étapes générales. En réalité, de nombreuses parties ne nécessitent pas d'intervention manuelle, donc comprendre ces étapes générales suffit ; la partie manuelle est en fait très minime.
3. Déconstruction Manuelle Initiale + Génération du Script
Maintenant, nous devons déconstruire la vidéo.
Tout d'abord, nous devons utiliser Claude Video pour déconstruire la structure de la vidéo. Celle que j'ai déconstruite était un compte de livres, donc sa structure est très simple : les premières secondes doivent retenir le public, suivies d'une introduction ou d'une critique du livre.
Les étapes suivantes pour la génération du script de narration sont les suivantes :
- Collecter des informations : (a) Utilisez Codex pour collecter des informations sur le livre. (b) Appelez la connexion WeChat Reading Skills pour voir les sections et commentaires fréquemment surlignés. (c) Demandez à Codex de rechercher des critiques de livres célèbres.
- Générer l'introduction : Demandez à Codex de générer une introduction basée sur les faits du livre. Cette introduction doit "supprimer la saveur IA" pour les plateformes de médias personnels. Vous pouvez l'ajuster en fonction de vos goûts esthétiques, avec des exigences spécifiques incluant : (a) Éviter les expressions typiques de l'IA comme "Ce n'est pas... mais plutôt...". (b) Éviter les structures de phrases trop parallèles. (c) L'expression doit être fluide et naturelle, racontant l'histoire du livre simplement plutôt que de le présenter avec un ton arrogant.
Cette partie nécessite que nous opérions en fonction de deux points :
- Basé sur la structure vidéo préalablement déconstruite.
- Nous devons agir en tant que gardien pour vérifier si le texte est réalisable.
Une fois généré, vous pouvez transformer le contenu collecté et organisé par Codex en Skill. Ainsi, les scripts de narration pourront être réutilisés à l'avenir.
Tout doit être écrit par Codex sur la base de faits. Après cette opération, il me donnera un script de narration, complétant ainsi la première production globale du script.
4. Traitement du Fichier Audio TTS : Obtenir une Voix Naturelle et Magnétique
Une fois la narration prête, une autre partie importante du travail – que je n'ai pas encore automatisée via une API de génération vocale – est l'ajustement audio.
Cependant, je pense que c'est possible, donc je vais écrire comment ajuster la voix pour la rendre plus naturelle, magnétique et orientée vers la narration.
J'ai précédemment partagé dans un tweet que j'utilisais ElevenLabs, recommandé par Codex. Les voix anglaises y sont vraiment parfaites, avec des voix de différents pays disponibles.
Mais en utilisant la génération de voix chinoises, j'ai constaté qu'elle ne reconnaît pas bien le chinois, ce qui entraîne de nombreuses fautes de frappe. Dans ce cas, ce n'est pas seulement un problème de "saveur IA" ; c'est tout simplement inutilisable. La solution que Codex m'a donnée était d'utiliser d'abord Jianying ou l'API BytePlus (Volcengine).
Comme je n'ai pas encore l'API BytePlus, j'ai utilisé l'application Jianying sur mon ordinateur.
Ma méthode est très simple :
- Créez un nouveau projet et trouvez l'option texte.
- Utilisez la fonction "Texte vers Parole" et choisissez une voix que j'aime.
- Collez directement le texte de la narration et cliquez sur générer.
- Enfin, exportez la voix (Jianying ne peut exporter que des fichiers MP4).
- Je fournis ce fichier MP4 à Codex.
Sur la base de l'analyse précédente de la voix par Codex, je lui demande de m'aider à traiter le son pour qu'il soit aussi naturel, narratif et magnétique que la vidéo de référence.
Le processus de Codex pour le traitement du son est le suivant :
- Analyse automatique : Codex analyse d'abord les paramètres audio de la vidéo originale et modifie mon fichier MP4 en conséquence.
- Paramètres : Je vais mettre ici une capture d'écran des paramètres pertinents. Vous pouvez envoyer la capture d'écran à Codex, et il traitera cet effet pour vous.
- Méthode simple : Ou utilisez une méthode encore plus simple – donnez-lui directement un segment de la vidéo de référence et dites-lui : "Je veux que le son soit traité comme ça", et Codex s'en chargera.
Le son ainsi traité est parfait. Une fois que vous maîtrisez cette capacité de traitement du son, vous pouvez la réutiliser dans d'autres types de production vidéo, comme :
(a) Explications de films ou narrations d'histoires
(b) Vidéos de philosophie de vie ou d'inspiration
(c) Comptes de vulgarisation scientifique
Dans ces scénarios, cette méthode de traitement du son est tout à fait applicable.
Comme je l'ai mentionné, cette partie devrait idéalement être automatisée. Dans la création de médias personnels, évitez autant que possible le travail manuel ; dans un état "sans douleur", il est beaucoup plus facile de persévérer. Donc plus tard, j'essaierai d'utiliser l'API BytePlus pour laisser Codex générer automatiquement la narration et les fichiers TTS vocaux.
5. Hyperframes pour les Visuels, les Sous-titres et l'Alignement Audio
Ensuite vient la création des visuels et la synchronisation de la voix avec les sous-titres. À ce stade, je ne suis pas du tout intervenu car Codex avait déjà un plan général. Je lui avais déjà fourni une vidéo de référence, et maintenant avec la narration et la voix off, Codex crée la vidéo tout seul.
La version générée après la création de la vidéo ne sera pas parfaite du premier coup ; plusieurs situations peuvent se produire :
- La voix et les sous-titres ne correspondent pas Vous devez communiquer avec Codex et lui demander de les aligner. Codex extraira automatiquement des images pour vérifier pourquoi ils ne correspondent pas ; cela peut nécessiter environ deux ajustements.
- Problèmes visuels Y compris le contenu visuel, le positionnement des sous-titres et les formes résultantes. Vous pouvez communiquer à plusieurs reprises avec Codex, en lui rappelant constamment de se rapprocher de la vidéo que nous voulons répliquer.
Une fois que tout le processus est rodé, nous pouvons générer des vidéos avec un haut degré de réplication. Si nous pouvons automatiser l'ensemble du workflow, nous pouvons gérer des comptes en masse. Que ce soit un compte de livres ou d'autres types, ils peuvent tous être déconstruits et répliqués en suivant ce processus.
6. Résumé
Enfin, j'espère que cet article vous sera utile.
Je suis moi-même dans un état d'apprentissage en faisant, et j'espère que nous pourrons communiquer et échanger davantage. Souvent, ce n'est pas que nous ne pouvons pas le faire, mais que nous n'avons pas encore agi.
Il en va de même pour l'utilisation de Codex ; tant que nous commençons à agir et à discuter avec Codex en langage naturel, nous pouvons trouver ces solutions étape par étape. Je crois que tant que tout le monde se met à le faire, tout le monde peut utiliser l'IA pour gagner sa vie dans les médias personnels.
J'espère que tout le monde pourra utiliser cette ère de l'IA – une ère où les gens ordinaires peuvent s'approcher infiniment d'une productivité élevée – pour faire des médias personnels, pour créer, et pour trouver des moyens de réplication afin que cela puisse générer de la richesse même pendant que vous dormez, vous rapprochant infiniment de la liberté.
Je suis Serena, j'explore l'IA × Web3 × les médias personnels, enregistrant comment les gens ordinaires reprennent l'initiative dans leur vie. J'espère que cet article vous aidera !
👏
