update at 2024-04-26 19:54:52

content/cases/llama3.md

@@ -58,6 +58,10 @@ pulling manifest
 Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/llama3/manifests/70b": dial tcp 172.67.182.229:443: i/o timeout
 ```
 
+### 70b 的速度非常慢
+
+70b 是 700 亿参数的大模型，使用 CPU 运行不太现实，使用 GPU 也得显存足够大，实测用 32G 显存的显卡运行速度也非常慢，建议至少 40G（比如 A100）。
+
 ## 参考资料
 
 * Llama3 模型库：https://ollama.com/library/llama3