文章

使用1Panel搭建MaxKB并集成OLLAMA大模型的指南

目标

快速通过自建形式体验大模型,并且可以创建一个会话机器人。

工具链

ollama

Ollama 是一个开源的大型语言模型服务,提供了类似 OpenAI 的 API 接口和聊天界面,可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

快速开始

进入 容器 列表,找到 Ollama 容器,点击进入终端运行并与 Llama 2 聊天:

ollama run llama2

效果如下:

MaxKB

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统 优势: 多模型支持:支持对接主流的大模型,包括本地私有大模型(如 Llama 2)、Azure OpenAI 和百度千帆大模型等; 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好; 无缝嵌入:支持零编码快速嵌入到第三方业务系统。

默认账户密码:

username:admin
password:MaxKB@123..

效果示例:

1Panel搭建MaxKB及OLLAMA

  1. 使用1Panel安装MaxKB及OLLAMA

  2. 暴露OLLAMA到公网,可以使用端口允许外部访问或者使用反向代理到域名上。

  3. 在maxkb上 系统设置->模型设置 -> 添加Ollama模型 其中api地址为服务地址,秘钥随便填写即可

  4. 创建应用,选择模型,配置提示词进行测试即可

  5. 发布应用,生成web地址即可嵌入到应用当中。

相关资料

序号

工具

关地址

1

1Panel

1Panel官网

2

MaxKB

MaxKB

3

OLLAMA

OLLAMA 介绍

4

Docker

Docker 官网