数据管道与ETL管道，这两个词的意义是相近的，差别比较微小，有时候很多人会混用。
ETL管道，描述的是一组进程，实现将数据从一个系统抽取出来，经过转换，最终再加载到其他数据库或数据仓库中。
数据管道，是一个比ETL管道更加通用的术语，只要是实现系统之间的数据迁移的处理过程，都可以使用这个词来代表。迁移过程中可能存在着数据转换。
ETL管道，一般描述的是在批处理中使用的管道，例如：某个管道运行频率是每12小时执行一次，而数据管道页可以以流式计算的形式来执行，流式计算意味着任何事件在发生时才被处理。因此，ETL管道属于数据管道的一种类型。
另外，数据管道并不一定以将数据加载到数据库或数据仓库为结束，举个例子，我们可以按照业务需求，在数据管道流程的某个节点中加入webhook，来触发其他业务系统的业务流程。
今天的文章数据管道（data pipeline）与ETL管道（ETL pipeline）的区别分享到此就结束了，感谢您的阅读。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/11197.html
