Qdrant 向量数据库嵌入管道

此工作流适用于以下人群：
- 数据科学家：需要处理大量文本数据并将其嵌入到向量数据库中以进行语义检索。
- 开发人员：希望自动化文件下载和数据处理的工作流。
- 企业分析师：需要从不同来源提取数据并进行分析的专业人士。
- 研究人员：需要将文档转换为可用于机器学习模型的格式的人员。

此工作流解决了以下问题：
- 高效处理和存储：自动化从FTP服务器下载JSON文件，处理这些文件并将其嵌入到Qdrant向量数据库中。
- 数据整合：将多个来源的数据整合到一个统一的存储解决方案中，便于后续的查询和分析。
- 提升工作效率：通过自动化各个步骤，减少了手动操作的需要，提高了整体工作效率。

工作流过程详细说明：
1. 手动触发：用户通过点击‘测试工作流’按钮启动工作流。
2. 列出文件：使用FTP节点列出指定路径下的所有JSON文件。
3. 循环处理文件：通过‘逐个处理’节点，循环遍历每个文件路径。
4. 下载文件：从FTP服务器下载当前文件，获取二进制数据。
5. 解析文档：使用默认数据加载器将下载的JSON文件转换为可嵌入的文档格式。
6. 文本分割：使用字符文本分割器将文档分割成更小的块，便于后续处理。
7. 生成嵌入：调用OpenAI的嵌入节点生成文本块的向量表示。
8. 存储向量：将生成的嵌入存储到Qdrant向量数据库中，供后续的语义检索使用。

用户如何自定义和适应此工作流：
- 修改FTP路径：根据需要更改FTP节点的路径，以指向不同的文件目录。
- 调整批处理大小：在Qdrant向量存储节点中调整‘embeddingBatchSize’参数，以适应不同的数据量。
- 选择不同的文本分割策略：根据数据格式修改字符文本分割器的分隔符，以适应不同的文档结构。
- 使用不同的嵌入模型：可以根据需求选择不同的OpenAI嵌入模型，以获得更好的嵌入效果。