Lamda架构学习
一、Lamda架构介绍
Lambda架构整合离线计算和实时计算，融合不可变性（Immutability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。
Lambda架构的目的是为应用程序提供一个低延迟的复合异步数据传输环境，例如新闻类应用，经常需要进行大规模信息处理，包括输入，归类，索引，存储等操作。
二、
Lambda架构思想
所有进入系统的数据被分配到了批处理层和实时处理层来处理。
批处理层管理着主数据集（一个不可修改，只能新增的原始数据）和预计算批处理视图。服务层索引批处理视图，因此可以对它们进行低延时的临时查询。
实时处理层只处理近期的数据。任何输入的查询结果都合并了批处理视图和实时视图的查询结果
三、
Lambda架构开源组件选型
数据流通用：Kafka、Flume、Hdfs
1、批处理层选型：
批处理存储层：HDFS,Hadoop,或者阿里的ODPS
批处理计算层：MapReduce,Spark
批处理服务层：HBase,或Cassandra
2、实时处理层选型：
实时处理：Storm或Spark Streaming
实时处理服务层：Redis
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/hz/140222.html