book
/
kubernetes-guide
mirror of https://github.com/imroc/kubernetes-guide.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

update at 2024-04-27 08:56:22

pull/158/head
roc 2024-04-27 08:56:22 +08:00
parent 3765f2d2a0
commit 75546351d8
1 changed files with 6 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

6
content/cases/llama3.md
View File

@ -1,5 +1,11 @@
# 在 Kubernetes 上部署 llama3
## Ollama 与 OpenWebUI 介绍
[Ollama](https://ollama.com/) 是一个运行大模型的工具，可以下载所需的大模型并暴露 API。[OpenWebUI](https://openwebui.com/) 是一个大模型的 Web UI 交互工具，支持 Ollama，即调用 Ollama 暴露的 API 实现与大模型交互。
![](https://image-host-1251893006.cos.ap-chengdu.myqcloud.com/2024%2F04%2F27%2F20240427085614.png)
## 部署方案选型
OpenWebUI 的仓库中自带 Ollama + OpenWebUI 的部署方式，主要是 kustomize 和 helm 这两种方式，参考 [open-webui 仓库的 kubernetes 目录](https://github.com/open-webui/open-webui/tree/main/kubernetes)。