综合介绍
MindSearch是由上海人工智能实验室推出的一款开源AI搜索引擎框架,旨在模拟人类的思维过程进行复杂信息搜集与整合。该工具结合了大规模语言模型(LLM)与搜索引擎的先进技术,通过多智能体框架,实现对上百个网页的自主信息搜集整理,并在短时间内给出综合回答。用户可以使用闭源LLM(如GPT、Claude)或开源LLM(如InternLM2.5系列模型)来部署自己的搜索引擎。
其核心逻辑是:采用多智能体框架来模拟人类思维过程,包括两个关键组件:WebPlanner(计划者)和 WebSearcher(执行者)。
- WebPlanner 将用户的问题分解,并构建有向无环图(DAG)来引导搜索;
- WebSearcher 则从互联网上检索并筛选有价值的信息给到 WebPlanner;
- WebPlanner 最终给出结论。
功能列表
- 多智能体框架:通过多个智能体协同工作,实现复杂信息的搜集与整合。
- 支持多种LLM:兼容闭源和开源的大语言模型,用户可根据需求选择合适的模型。
- 多种前端接口:提供React、Gradio、Streamlit等多种前端接口,方便用户使用。
- 深度知识探索:通过浏览数百个网页,提供广泛且深层次的答案。
- 透明的解决方案路径:提供思考路径和搜索关键词等完整内容,提高回复的可信度和可用性。
使用帮助
安装流程
- 依赖安装:
git clone https://github.com/InternLM/MindSearch cd MindSearch pip install -r requirements.txt
- 配置环境变量: 将
.env.example
文件重命名为.env
,并填写所需的值。mv .env.example .env # 打开.env文件并添加您的密钥和模型配置
- 启动MindSearch API: 启动FastAPI服务器。
python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch
参数说明:
--lang
:模型的语言,en
为英语,cn
为中文。--model_format
:模型的格式,internlm_server
为InternLM2.5-7b-chat本地服务器,gpt4
为GPT4。--search_engine
:搜索引擎,支持DuckDuckGo、Bing、Brave、Google等。
- 启动MindSearch前端: 提供以下几种前端界面:
- React:
cd frontend/React npm install npm start
- Gradio:
python frontend/mindsearch_gradio.py
- Streamlit:
streamlit run frontend/mindsearch_streamlit.py
- React:
使用流程
- 查询问题: 用户可以通过前端界面输入查询问题,MindSearch会通过多智能体框架进行信息搜集与整合。
- 查看结果: MindSearch会展示详细的搜索结果,包括思考路径、搜索关键词等,提高回复的可信度和可用性。
- 调整搜索引擎: 用户可以根据需求修改搜索引擎类型,例如切换到Brave Search API:
BingBrowser(searcher_type='BraveSearch', topk=2, api_key=os.environ.get('BRAVE_API_KEY', 'YOUR BRAVE API'))