使用1Panel搭建MaxKB并集成OLLAMA大模型的指南

目标

快速通过自建形式体验大模型，并且可以创建一个会话机器人。

工具链

ollama

Ollama 是一个开源的大型语言模型服务，提供了类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。

快速开始

进入 容器 列表，找到 Ollama 容器，点击进入终端运行并与 Llama 2 聊天：

ollama run llama2

效果如下：

MaxKB

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统 优势： 多模型支持：支持对接主流的大模型，包括本地私有大模型（如 Llama 2）、Azure OpenAI 和百度千帆大模型等； 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好； 无缝嵌入：支持零编码快速嵌入到第三方业务系统。

默认账户密码:

username：admin
password：MaxKB@123..

效果示例：

1Panel搭建MaxKB及OLLAMA

1. 使用1Panel安装MaxKB及OLLAMA

2. 暴露OLLAMA到公网，可以使用端口允许外部访问或者使用反向代理到域名上。

3. 在maxkb上 系统设置->模型设置 -> 添加Ollama模型 其中api地址为服务地址，秘钥随便填写即可

4. 创建应用，选择模型，配置提示词进行测试即可

5. 发布应用，生成web地址即可嵌入到应用当中。

相关资料