用于LangChain,自动化调度工作流程,整合多种功能,定期提取Hacker News头条,分析技术发展趋势,生成Markdown格式的主题分类,提升信息获取效率,便于用户快速了解重要新闻动态。
通过定期获取和分析数据,用户可以获得更深入的行业洞察。
此工作流解决了以下问题:
- 信息过载:自动化从 Hacker News 提取头条新闻,减少手动查找的时间。
- 历史数据分析:通过比较多年的同一天头条新闻,帮助用户理解技术领域的演变和趋势。
- 时间效率:定时触发功能确保用户在特定时间自动获取更新的信息,提升工作效率。
工作流过程详细说明:
1. 调度触发:根据设定的时间表(每天21点)启动工作流。
2. 创建年份列表:生成从当前年份到2007年的日期列表,确保获取多年的数据。
3. 清理年份列表:对生成的年份列表进行清理,以便后续使用。
4. 分割年份列表:将年份列表分割为单独的日期,便于逐个处理。
5. 获取前端页面:对 Hacker News 前端页面发起 HTTP 请求,获取头条新闻。
6. 提取详细信息:从获取的 HTML 内容中提取头条新闻和日期。
7. 合并头条和日期:将提取的头条新闻与对应的日期合并为一个完整的数据集。
8. 生成 Markdown 格式输出:利用 LangChain 的 LLM 生成结构化的 Markdown 输出,分类显示头条新闻。
9. 发送到 Telegram:将生成的 Markdown 内容通过 Telegram 发送到指定的聊天频道。
用户可以通过以下方式自定义和适应此工作流:
- 调整调度时间:在调度触发节点中修改触发时间,满足特定需求。
- 修改年份范围:在创建年份列表节点中更改年份范围,以获取不同时间段的数据。
- 更改提取内容:在提取详细信息节点中,调整 CSS 选择器,以提取不同的网页内容。
- 自定义输出格式:在基本 LLM 链节点中修改输入文本,以改变生成的 Markdown 输出的格式或内容。
- 更换消息发送渠道:如果需要,可以将 Telegram 节点替换为其他通信方式,如电子邮件或 Slack。