KoboldCpp：参考KoboldAI轻松运行GGUF模型，带有 API和GUI

综合介绍

KoboldCpp 是一款易于使用的 AI 文本生成软件，适用于 GGML 和 GGUF 模型，灵感来源于原始的 KoboldAI。它是由 Concedo 提供的单个自包含的可分发版本，基于 llama.cpp 构建，并增加了灵活的 KoboldAI API 端点、额外的格式支持、Stable Diffusion 图像生成、语音转文本、向后兼容性，以及具有持久故事、编辑工具、保存格式、内存、世界信息、作者注释、角色、场景等功能的华丽 UI，以及 KoboldAI 和 KoboldAI Lite 所能提供的一切。

功能列表

• 支持 GGML 和 GGUF 模型
• 提供多种格式支持
• 图像生成功能
• 语音转文本功能
• 持久化故事和编辑工具
• 保存格式和记忆功能
• 世界信息和作者注释
• 角色和场景创建

使用帮助

安装流程

1. Windows 用户：
   • 下载最新的 koboldcpp.exe 版本。
   • 运行 koboldcpp.exe，无需命令行参数即可显示 GUI。
   • 获取并加载 GGUF 模型。
2. Linux 用户：
   • 下载预编译的 PyInstaller 二进制文件。
   • 运行 chmod +x koboldcpp 使文件可执行。
   • 运行 ./koboldcpp 启动软件。
3. MacOS 用户：
   • 下载适用于 ARM64 MacOS 的二进制文件。
   • 在终端中设置文件为可执行：chmod +x koboldcpp-mac-arm64。
   • 运行 ./koboldcpp-mac-arm64 启动软件。

使用指南

1. 加载模型：
   • 下载 GGUF 模型文件。
   • 在软件中选择并加载模型。
2. 文本生成：
   • 选择预设和 GPU 层数。
   • 输入文本提示，点击生成按钮。
3. 图像生成：
   • 选择图像生成模型。
   • 输入描述性文本，点击生成图像。
4. 语音转文本：
   • 上传音频文件或使用麦克风录音。
   • 点击转换按钮，获取文本结果。
5. 编辑和保存：
   • 使用编辑工具修改生成的文本或图像。
   • 保存文件到本地或云端。

高级设置

• GPU 加速：使用 --usecublas 或 --usevulkan 标志启用 GPU 加速。
• 上下文大小：使用 --contextsize 增加上下文大小。
• 兼容模式：使用 --noavx2 标志启用非 AVX2 兼容模式。

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样，是每个人的必备技能。 掌握AI会让你在求职中占据优势，在未来的工作和学习中事半功倍。

查看详情>