综合介绍
Together AI 是一个专注于生成式AI模型的平台，提供从模型训练、微调到推理的全方位服务。用户可以利用Together AI的高效推理引擎和GPU集群，快速部署和运行各种开源模型。平台支持多种模型架构，满足不同的AI应用需求。
功能列表
- 模型推理：提供高效的推理引擎，支持100多种开源模型，性能优于市场主流。
- 模型微调：支持用户使用自己的数据对生成式AI模型进行微调，保持数据所有权。
- GPU集群：提供预配置的GPU集群，支持大规模模型训练和部署。
- 自定义模型：支持从头开始训练自定义模型，满足特定需求。
- 服务器无缝扩展：提供无服务器和专用实例两种部署方式，灵活应对不同规模的应用需求。
使用帮助
安装与使用
- 注册与登录：访问Together AI官网，点击右上角的“注册”按钮，填写相关信息完成注册。已有账号的用户可以直接登录。
- 选择服务：登录后，进入用户控制面板，选择需要的服务模块，如模型推理、模型微调或GPU集群。
- 模型推理：
- 进入“模型推理”页面，选择需要运行的模型。
- 配置推理参数，如输入数据、输出格式等。
- 点击“开始推理”按钮，系统将自动分配资源并运行模型，用户可以实时查看推理结果。
- 模型微调：
- 进入“模型微调”页面，上传用于微调的训练数据。
- 选择基础模型和微调参数，点击“开始微调”按钮。
- 系统将自动进行模型微调，用户可以在控制面板查看微调进度和结果。
- GPU集群：
- 进入“GPU集群”页面，选择需要的GPU配置和集群规模。
- 配置训练任务参数，上传训练数据和模型代码。
- 点击“开始训练”按钮，系统将自动分配GPU资源并开始训练，用户可以实时监控训练进度。
- 自定义模型：
- 进入“自定义模型”页面，选择模型架构和训练参数。
- 上传训练数据和模型代码，点击“开始训练”按钮。
- 系统将自动进行模型训练，用户可以在控制面板查看训练进度和结果。
使用示例
模型推理示例
import os
import requests
url = "https://api.together.xyz/v1/chat/completions"
payload = {
"model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
"max_tokens": 512,
"temperature": 0.7,
"top_p": 0.7,
"top_k": 50,
"repetition_penalty": 1
}
headers = {
"accept": "application/json",
"content-type": "application/json",
"Authorization": "Bearer TOGETHER_API_KEY"
}
response = requests.post(url, json=payload, headers=headers)
print(response.text)
模型微调示例
import os
import requests
url = "https://api.together.xyz/v1/fine-tune"
payload = {
"model": "togethercomputer/llama-2-70b-chat",
"data": "path/to/your/data",
"epochs": 3,
"batch_size": 8
}
headers = {
"accept": "application/json",
"content-type": "application/json",
"Authorization": "Bearer TOGETHER_API_KEY"
}
response = requests.post(url, json=payload, headers=headers)
print(response.text)
