基于实时数据的RAG

适用人群

- 开发者：需要集成自动化工作流与 AI 模型的开发者。
- 数据科学家：需要处理和分析动态数据的专业人士。
- 项目经理：需要跟踪并管理来自 Notion 的更新信息的管理人员。
- 企业用户：希望通过自动化提高工作效率的企业团队。

解决的问题

- 数据更新延迟：通过定时触发器，确保从 Notion 获取最新数据，避免信息滞后。
- 信息碎片化：通过将多个页面内容合并为一个单一字符串，简化信息处理流程。
- 数据存储管理：自动删除旧的嵌入数据，确保数据库的整洁性和最新性。
- 智能问答：集成 OpenAI 模型，实现对知识库的智能问答功能，提升信息获取效率。

工作流程步骤

1. 定时触发器：每分钟触发一次，检查 Notion 数据库中是否有更新。
2. 获取更新页面：从 Notion 中提取最近更新的页面。
3. 输入引用：为每个页面生成引用，以便后续处理。
4. 遍历项目：处理每个页面的数据，确保一次只处理一个，以避免重复。
5. 删除旧嵌入：在插入新数据之前，删除与当前页面 ID 相关的旧嵌入。
6. 获取页面块：提取页面的所有内容和块。
7. 合并内容：将所有块的内容合并为一个字符串，方便存储。
8. 生成嵌入：使用 OpenAI 的嵌入模型生成内容的向量表示。
9. 存储向量：将生成的嵌入存储到 Supabase 向量存储中。
10. 问答链：集成问答链，允许用户通过聊天接口访问知识库。

自定义指南

- 修改触发频率：在定时触发器中调整 minutesInterval，以改变数据检查的频率。
- 调整块大小：在 Token Splitter 节点中修改 chunkSize，以适应不同内容的处理需求。
- 更改数据库连接：在 Notion Trigger 和 Get updated pages 节点中，更新 databaseId 以连接到不同的 Notion 数据库。
- 自定义嵌入模型：在 Embeddings OpenAI 节点中选择不同的模型，以满足特定的需求。
- 添加新节点：根据需要添加更多节点，以扩展工作流的功能，例如集成其他数据源或处理逻辑。