AI个人学习
和实操指南

EchoMimic:音频驱动的逼真肖像动画

综合介绍

EchoMimic 是一个开源项目,旨在通过音频驱动生成逼真的肖像动画。该项目由蚂蚁集团的终端技术部门开发,利用可编辑的标志点条件,结合音频和面部标志点生成动态的肖像视频。EchoMimic 在多个公共数据集和自有数据集上进行了全面比较,展示了其在定量和定性评估中的优越性能。

EchoMimicV2版本优化推理速度,推荐。


EchoMimic:音频驱动的逼真肖像动画-1

演示地址:https://www.modelscope.cn/studios/BadToBest/BadToBest

 

功能列表

  • 音频驱动动画:通过音频输入生成逼真的肖像动画。
  • 标志点驱动动画:利用面部标志点生成稳定的肖像动画。
  • 音频+标志点驱动:结合音频和选定的面部标志点生成更自然的肖像动画。
  • 多语言支持:支持中文、英文等多种语言的音频输入。
  • 高效推理:优化后的模型和管道显著提高了推理速度。

 

使用帮助

安装流程

  1. 下载代码
    git clone https://github.com/BadToBest/EchoMimic
    cd EchoMimic
    
  2. 设置Python环境
    • 推荐使用conda创建虚拟环境:
      conda create -n echomimic python=3.8
      conda activate echomimic
      
    • 安装依赖包:
      pip install -r requirements.txt
      
  3. 下载并解压ffmpeg-static
    • 下载ffmpeg-static并解压,然后设置环境变量:
      export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static
      
  4. 下载预训练权重
    • 根据项目说明下载相应的预训练模型权重。

使用流程

  1. 运行Web界面
    • 启动Web界面:
      python webgui.py
      
    • 访问本地服务器查看界面并上传音频文件进行动画生成。
  2. 命令行推理
    • 使用以下命令进行音频驱动的肖像动画生成:
      python infer_audio2vid.py --audio_path /path/to/audio --output_path /path/to/output
      
    • 结合标志点进行推理:
      python infer_audio2vid_pose.py --audio_path /path/to/audio --landmark_path /path/to/landmark --output_path /path/to/output
      
  3. 模型优化
    • 使用优化后的模型和管道可以显著提高推理速度,例如在V100 GPU上从7分钟/240帧提高到50秒/240帧。

注意事项

  • 确保使用的Python版本和CUDA版本与项目要求一致。
  • 在使用过程中,如遇到问题,可以参考项目的README文件或在GitHub上提交issue寻求帮助。

 

Windows 一键安装包

首席AI分享圈此处内容已经被作者隐藏,请输入验证码查看内容
验证码:
请关注本站微信公众号,回复“验证码”,获取验证码。在微信里搜索“首席AI分享圈”或者“Looks-AI”或者微信扫描右侧二维码都可以关注本站微信公众号。

AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » EchoMimic:音频驱动的逼真肖像动画

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们
zh_CN简体中文