综合介绍
SoniTranslate 是一个强大且用户友好的视频多语言配音工具，旨在提供视频翻译和同步音频的解决方案。它利用先进的语音识别和机器翻译技术，将视频内容翻译成多种语言，并保持音频同步。该项目基于 Gradio 库构建，提供了用户友好的 Web 界面，支持多种语言和多种输出格式，适用于内容创作者和需要多语言视频翻译的用户。
Colab 笔记本：https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb
- 在线演示：https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content
功能列表
- 视频翻译：将视频内容翻译成多种语言。
- 同步音频：保持翻译后的音频与视频同步。
- 多语言支持：支持超过 80 种语言的翻译。
- 字幕生成：自动生成翻译后的字幕文件。
- 语音替换：使用 TTS 模型替换视频中的原始语音。
- 用户友好界面：基于 Gradio 库构建的 Web 界面，操作简便。
- 多种输出格式：支持 MP3、MP4、MKV、WAV 和 OGG 等多种格式的输出。
使用帮助
安装流程
- 准备环境：确保已安装 NVIDIA 驱动程序和 CUDA 11.8.0。
- 安装 FFmpeg：用于处理视频和音频文件。
- 安装 SoniTranslate：
- 克隆 GitHub 仓库：
git clone https://github.com/R3gm/SoniTranslate.git - 进入项目目录：
cd SoniTranslate - 创建并激活 Conda 环境：
conda create -n sonitr python=3.8，conda activate sonitr - 安装依赖：
pip install -r requirements.txt
- 克隆 GitHub 仓库：
- 运行应用：
- 启动应用：
python app_rvc.py - 打开浏览器访问本地 URL：http://127.0.0.1:7860
- 启动应用：
使用流程
- 上传视频：在 Web 界面中上传需要翻译的视频文件。
- 选择语言：选择目标翻译语言。
- 配置选项：根据需要配置字幕生成、语音替换等选项。
- 开始翻译：点击“开始翻译”按钮，等待翻译完成。
- 下载结果：翻译完成后，下载生成的翻译视频、音频或字幕文件。
详细操作步骤
- 上传视频：点击“上传视频”按钮，选择本地视频文件进行上传。
- 选择语言：在“目标语言”下拉菜单中选择需要翻译的语言。
- 配置选项：
- 字幕生成：勾选“生成字幕”选项，系统将自动生成翻译后的字幕文件。
- 语音替换：勾选“语音替换”选项，系统将使用 TTS 模型替换视频中的原始语音。
- 开始翻译：点击“开始翻译”按钮，系统将开始处理视频并进行翻译。
- 查看进度：在“翻译进度”栏中查看当前翻译进度，等待翻译完成。
- 下载结果：翻译完成后，点击“下载”按钮，选择需要的输出格式（MP3、MP4、MKV、WAV 或 OGG），下载生成的文件。
