🔐🦙🤖 私有和本地的Ollama自托管LLM路由器

用于🔐🦙🤖 Private & Local Ollama自托管LLM路由器，通过自动化工作流程，智能分析用户输入，动态选择最合适的本地大型语言模型（LLM），确保最佳性能。解决了在多个LLM之间手动选择模型的挑战，提供隐私保护，支持文本、代码和视觉任务，提升用户体验。

2025/7/8
16 个节点
复杂
手动复杂langchain便签高级
分类:
Complex WorkflowManual Triggered
集成服务:
LangChainSticky Note

适用人群

目标受众


- AI 爱好者：希望探索本地大型语言模型（LLM）潜力的人。
- 开发者：需要高效集成和使用 LLM 的开发人员。
- 隐私意识用户：希望在不将数据发送到外部服务的情况下使用 LLM 的用户。

此工作流特别适合那些在本地运行 Ollama 的用户，希望在不同的专业模型之间进行智能路由。

解决的问题

解决的问题


在处理多个本地 LLM 时，每个模型具有不同的优势和能力，手动选择适合每个特定任务的模型可能会很具挑战性。此工作流自动分析用户提示并将其路由到最合适的 Ollama 模型，确保最佳性能，而无需最终用户具备技术知识。

工作流程

工作流步骤


1. 接收聊天消息：当聊天消息被接收时，触发工作流。
2. 路由选择：使用 LLM 路由器分析用户输入，选择最合适的 LLM 模型。
3. 动态 LLM 处理：根据路由器的选择，使用相应的 Ollama LLM 处理用户请求。
4. 记忆管理：维护会话记忆，以确保一致的交互体验。
5. 结果返回：将处理结果返回给用户，确保所有处理都在本地进行，以保护用户隐私和数据安全。

自定义指南

自定义指南


- 根据您的 Ollama 模型集合，添加或移除路由器的模型。
- 调整 LLM 路由器中的系统提示，以优先考虑不同的模型选择标准。
- 修改决策树逻辑，以更好地适应您的特定用例。
- 为特殊输入添加额外的预处理步骤，以增强工作流的灵活性。