使用 LM Studio 测试多个本地 LLM

适用人群

- 数据分析师：需要对多个 LLM 模型的响应进行分析和比较。
- 研究人员：希望测试和评估不同语言模型的效果。
- 开发者：想要集成 LLM 模型到他们的应用程序中，进行自动化的文本处理。
- 教育工作者：需要分析文本的可读性和复杂性，以优化教学材料。

解决的问题

该工作流解决了在使用多个本地 LLM 模型时，如何高效地收集、分析和记录模型响应的问题。通过自动化的流程，用户可以轻松地获取模型的性能指标，如可读性分数、响应时间等，从而做出更好的决策。

工作流步骤

1. 接收聊天消息：当用户发送消息时，触发工作流。
2. 获取模型列表：通过 HTTP 请求获取当前加载的 LLM 模型列表。
3. 提取模型 ID：将获取到的模型 ID 分割出来，以便后续处理。
4. 记录开始时间：捕获请求开始的时间。
5. 添加系统提示：为 LLM 提供指导，确保其响应简洁明了。
6. 分析 LLM 响应：调用 LLM 进行响应，并分析其结果。
7. 记录结束时间：捕获请求结束的时间。
8. 计算时间差：计算从开始到结束的时间差。
9. 准备分析数据：将 LLM 的响应、提示及时间信息整理为分析所需的格式。
10. 分析响应指标：计算字数、句子数、可读性分数等指标。
11. 将结果保存到 Google Sheets：将分析结果记录到 Google Sheets 中，以便后续查看和比较。

自定义指南

- 更新模型 IP 地址：根据实际情况更新工作流中的模型服务地址。
- 修改系统提示：根据需要调整系统提示，以测试不同的响应风格。
- 更改 Google Sheets 配置：根据自己的需求修改 Google Sheets 的字段和结构，以匹配分析数据。
- 添加或删除节点：根据具体需求，添加新的分析节点或删除不必要的节点，以优化工作流。