用于GoogleBigQuery,自动化调度每分钟获取卫星位置数据,实时更新数据表,提升数据处理效率,简化数据集成流程。
此工作流适合以下人群:
- 数据分析师:需要定期从 Google BigQuery 中获取数据并进行分析。
- 开发者:希望自动化与外部 API 的数据集成,减少手动操作。
- 业务决策者:依赖实时数据做出快速决策,提升业务响应速度。
- 系统管理员:希望通过自动化工作流简化数据收集和存储过程。
此工作流解决了以下问题:
- 自动化数据获取:定期从外部 API 获取卫星位置信息并存储到 Google BigQuery。
- 减少手动操作:消除了手动查询和存储数据的需求,提高了效率。
- 实时数据更新:确保数据的实时性,帮助用户快速获得最新信息,做出及时决策。
工作流的详细步骤如下:
1. Cron 定时触发:每分钟触发一次,确保数据的实时性。
2. HTTP 请求:向指定的 API(https://api.wheretheiss.at/v1/satellites/25544/positions)发送请求,获取卫星的位置信息,包括 纬度、经度 和 时间戳。
3. 数据设置:将从 API 响应中提取的数据(纬度、经度、时间戳 和 名称)设置为后续节点的输入参数。
4. Google BigQuery:将提取并设置的数据插入到 Google BigQuery 的指定表(表名为 position,数据集为 iss),实现数据的持久化存储。
用户可以根据以下方式自定义和调整此工作流:
- 修改 API URL:如果需要获取不同卫星的数据,可以更改 HTTP 请求节点中的 URL。
- 调整数据提取字段:在设置节点中,可以根据需要修改提取的字段,添加或删除数据项。
- 更改触发频率:在 Cron 节点中,可以调整触发时间,例如改为每小时或每天运行一次。
- 连接其他数据源:可以将工作流扩展为从多个 API 获取数据,或者将数据存储到其他数据库中。