电子书《动手学 Ollama 教程》
datawhalechina.github.io/handy-ollama/
动手学 Ollama 教程,轻松上手实现大模型本地化部署,快速在本地管理以及运行大模型,让 CPU 也可以玩转大模型推理部署!
本教程涵盖从基础入门到进阶使用的全方位内容,并通过实际应用案例深入理解和掌握大模型部署以及应用技术。我们的教程提供清晰的步骤和实用的技巧,无论是刚刚接触大模型部署的小白,还是有一定经验的开发者,都可以从零开始学习 Ollama ,实现本地部署大模型以及相关应用。
本项目主要内容:
Ollama 介绍、安装和配置,包括在 macOS、Windows、Linux 和 Docker 下的安装与配置;
Ollama 自定义导入模型,包括从 GGUF 导入、从 Pytorch 或 Safetensors 导入、由模型直接导入、自定义 Prompt;
Ollama REST API,包括 Ollama API 使用指南、在 Python、Java、JavaScript 和 C++ 等语言中使用 Ollama API;
Ollama 在 LangChain 中的使用,包括在 Python 和 JavaScript 中的集成;
Ollama 可视化界面部署和应用案例,包括使用 FastAPI 和 WebUI 部署可视化对话界面,以及本地 RAG 应用、Agent 应用等。