目标

快速通过自建形式体验大模型,并且可以创建一个会话机器人。

工具链

ollama

Ollama 是一个开源的大型语言模型服务,提供了类似 OpenAI 的 API 接口和聊天界面,可以非常方便地在本地部署 Llama、Qwen、DeepSeek、Gemma 等开放权重模型(也包括 OpenAI 开放权重的 gpt-oss)并通过接口使用;ChatGPT 背后的闭源 GPT 模型不能用 Ollama 部署。支持热加载模型文件,无需重新启动即可切换不同的模型。

快速开始

进入 容器 列表,找到 Ollama 容器,点击进入终端运行并与 Llama 2 聊天:

ollama run llama2

效果如下:

MaxKB

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统 优势: 多模型支持:支持对接主流的大模型,包括本地私有大模型(如 Llama 2)、Azure OpenAI 和百度千帆大模型等; 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好; 无缝嵌入:支持零编码快速嵌入到第三方业务系统。

默认账户密码:

username:admin
password:MaxKB@123..

效果示例:

1Panel搭建MaxKB及OLLAMA

  1. 使用1Panel安装MaxKB及OLLAMA

  2. 暴露OLLAMA到公网,可以使用端口允许外部访问或者使用反向代理到域名上。

    ⚠️ Ollama 的 API 默认没有任何鉴权,直接暴露到公网,任何人都能调用你的算力,甚至拉取、删除模型。MaxKB 和 Ollama 在同一台机器或同一内网时,直接填内网地址即可,不需要暴露公网;必须公网访问时,用反向代理加一层鉴权(如 Basic Auth、IP 白名单)。

  3. 在maxkb上 系统设置->模型设置 -> 添加Ollama模型 其中api地址为服务地址,API Key 随便填写即可(Ollama 本身不校验密钥,这里只是满足 MaxKB 表单必填)

  4. 创建应用,选择模型,配置提示词进行测试即可

  5. 发布应用,生成web地址即可嵌入到应用当中。

相关资料

序号

工具

相关地址

1

1Panel

1Panel官网

2

MaxKB

MaxKB

3

OLLAMA

OLLAMA 介绍

4

Docker

Docker 官网