Mistral 昨晚一口气发布了两个重要产品更新:聊天工具——Le Chat 与 多模态模型——Pixtral Large。
全新的 Le Chat
新增功能:画布、网络搜索、图像生成、图像理解,依然像他们的基础 Mistral API 服务一样,保持免费。
Le Chat 画布
在生成的内容选中部分内容,提出修改建议,即可生成新的内容。右侧是修改记录,并且标记版本,左侧画布是生成的主要内容。
Le Chat 网络搜索
依赖Brave搜索引擎,输出答案引用来源网址
Le Chat 图像识别
图像内容和含义识别校准,而中文单子识别不准确,如果是篇幅较长中文,可以较高准确识别,但个别复杂中文字依然会识别出错或输出含义类似单字不一样。这和openai模型情况类似,不要奢求太多。
下面一个OCR的例子可以很好说明情况:图片中只有指向的文字识别出错,图中原文是“诱导剂”,说明图像识别文字还是靠“猜”,中文对比英文略微猜不准时有发生。
Le Chat 图像生成
选中 Image generation ,输入带有创作、画、生成,一类的提示词,会自动调用Flux Pro模型生成图像。
唤醒Agent
这是早已发布的功能...很多人没有留意,他可以选择 Mistral 所有已发布模型定制智能助手进行对话,你可以在对话框输入@
唤起智能助手。在大多数任务中,Mistral的大尺寸模型完整各类任务都十分优秀。
新发布的 多模态大模型 Pixtral Large 介绍
- 前沿级多模态性能
- 在 MathVista、DocVQA、VQAv2 上达到最先进水平
- 扩展了 Mistral Large 2 的功能,且不影响文本性能
- 123B 多模态解码器,1B 参数视觉编码器
- 128K 上下文窗口:支持至少 30 张高分辨率图像
- 使用方式:
今天,我们发布了 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型。Pixtral Large 是我们多模态系列中的第二个模型,展现了前沿的图像理解能力。尤其是,该模型能够理解文档、图表和自然图像,同时保持 Mistral Large 2 领先的文本理解能力。
该模型在 Mistral 研究许可协议(MRL)下开放用于研究和教育用途;对于实验、测试和商业目的的生产用途,可在 Mistral 商业许可 下使用。
性能
我们在一组标准的多模态基准上,使用通用测试工具评估了 Pixtral Large 与前沿模型的表现。在 MathVista 上,我们的模型达到了 69.4%,超过了所有其他模型,体现了在视觉数据上的复杂数学推理能力。为了评估其对复杂图表和文档的推理能力,我们使用 ChartQA 和 DocVQA 进行了评测,Pixtral Large 在此方面超过了 GPT-4o 和 Gemini-1.5 Pro。
最后,Pixtral Large 在 MM-MT-Bench 上展现出竞争力,超越了 Claude-3.5 Sonnet(新)、Gemini-1.5 Pro 和 GPT-4o(最新)。MM-MT-Bench 是一个 开源 的、基于评审的评测,旨在反映多模态大语言模型的实际应用场景(详情请参见 Pixtral 12B 技术报告)。
质性示例
多语言 OCR 和推理…
提示词:
我买了咖啡和香肠。我应该付多少钱?加上 18% 的小费。
回答:
要计算包括 18% 小费的总金额,请按照以下步骤操作:
- 计算咖啡和香肠的费用:
- 2x Latte Macchiato:2 * 4.50 CHF = 9.00 CHF
- 1x Schweinschnitzel:22.00 CHF
- 咖啡和香肠的总费用:9.00 CHF + 22.00 CHF = 31.00 CHF
- 计算 18% 的小费:
- 小费:31.00 CHF * 0.18 = 5.58 CHF
- 将小费加到总费用中:
- 应付总额:31.00 CHF + 5.58 CHF = 36.58 CHF
因此,您总共需要支付 36.58 CHF。
图表理解…
提示词:
Dark Dragon 模型什么时候开始出现问题的?
回答:
“dark-dragon-50”模型的训练损失在大约 10,000 步时开始出现显著的不稳定性。在此点损失值出现明显的峰值,并且在大约 20,000 步处出现了另一个主要峰值。这些峰值表明“dark-dragon-50”模型的训练过程从大约 10,000 步开始出现问题。
更多示例…
提示词:
哪些公司使用了 Mistral AI 的模型?
回答:
使用 Mistral AI 模型的公司如图所示,包括:
- 法国巴黎银行(BNP Paribas)
- Brave
- Cloudflare
- 法国达飞航运集团(CMA CGM)
- Front
还有一件事…
随着 Pixtral Large 的发布,Mistral Large,我们最先进的文本模型也进行了更新。该模型在我们的 API 中可作为 pixtral-large-latest
使用,也可在 HuggingFace 上以 Mistral 研究许可协议(MRL)用于研究,或通过 Mistral AI 的 商业许可 进行商业使用。
这一最新模型在之前的 Mistral Large 24.07 基础上实现了显著升级,在长上下文理解、新系统提示和更精确的函数调用方面取得了明显进步。该模型非常适合 RAG 和智能体工作流,可用于知识探索与共享、文档语义理解、任务自动化和提升客户体验等企业级应用场景。
Mistral Large 24.11 将很快通过我们的云提供商合作伙伴上线,首先将在 Google Cloud 和 Microsoft Azure 上架,预计一周内可用。