超融合架构是软件定义云计算中心或者云平台的一种表现形式。超融合架构的出现是为了应对传统云服务中心架构中的一些挑战和局限性。超融合架构和传统企业私有云架构在硬件上差异如图所示
超融合是基于标准通用的硬件平台,通过软件定义实现计算、存储、网络融合,实现以虚拟化为中心的软件定义云服务中心的软硬一体化IT基础架构。
超融合架构以软件定义为核心(虚拟化实现的核心),使用大量标准的x86服务器组成集群,通过虚拟化计算(KVM,VMware,Hyper-v,Xen,容器等)和虚拟化网络(软件定义网络SDN)技术,把分布在每个节点上的服务器本地资源天然(native)融合起来,形成统一资源池,通过统一管理界面向外暴露标准的计算、存储、网络能力,实现模块化的无缝横向扩展(Scale-Out)。集群中各节点间没有明确的计算和存储的分工,不存在单点故障,可以根据需要对计算、存储、网络按需进行横向的动态扩展。运行在每个服务器节点上的单一的、高度虚拟化的超融合软件栈,通过网络和分布式算法同时为CPU、内存、硬盘、网络等物理资源提供抽象化功能,从而建立起一个同质化的、具有高度可用性和弹性的存储及计算资源池。
超融合在技术上主要是硬件资源层、技术实现层、虚拟资源层、集中管理层 这四层架构的形式体现(HCI)。
虚拟化技术是超融合架构的关键技术,它通过将物理资源抽象为虚拟资源,实现了资源的灵活分配和动态管理。虚拟化技术可以提供资源的弹性和灵活分配,实现资源池的自动扩展和收缩。同时,虚拟化技术还支持虚拟机的快速部署和迁移,提高了资源利用率和系统可用性。这些特性使得虚拟化技术成为超融合架构的基础,为企业提供了高效、灵活和可靠的IT基础设施。
1. 硬件虚拟化
(KVM,VMware,Hyper-v,Xen,容器等)方案中通常采用KVM虚拟化方案
超融合架构通过虚拟化技术将服务器、存储和网络等物理资源抽象成虚拟资源。通过虚拟化层,可以将服务器硬件划分为多个虚拟机,并为每个虚拟机分配适当的计算和存储资源。管理员可以根据业务需求动态调整虚拟机的资源分配,实现资源的弹性和灵活分配。
虚拟化技术还可以提供资源的动态管理能力。超融合架构可以根据系统负载和资源需求,自动调整虚拟机的资源分配。例如,在高负载时,可以通过动态调整虚拟机的计算资源来满足需求;而在低负载时,可以将资源释放给其他虚拟机使用,实现资源的有效利用。这种动态管理能力不仅提高了资源利用率,还可以根据需要实现资源池的自动扩展和收缩。
借助虚拟化技术提供的虚拟机快速部署和迁移功能,超融合架构可以将虚拟机的配置和状态保存在虚拟机镜像中,并随时进行快速部署。管理员可以通过简单的操作,在几分钟内创建和配置一个新的虚拟机,无需进行复杂的物理资源调整。此外,虚拟化技术还可以支持虚拟机的迁移,将运行中的虚拟机从一台物理服务器迁移到另一台物理服务器上,实现资源的动态负载均衡和容错。
2.软件定义存储(存储虚拟化-超融合软件定义中的核心部分)
软件定义存储(Software-Defined Storage,SDS)也称为分布式存储,它是超融合架构中的关键技术,通过虚拟化和集中管理存储资源,实现高性能、高容量的存储服务。软件定义存储使得超融合架构可以灵活配置和管理存储资源,提高系统的性能和效率。同时,软件定义存储还能够充分利用节点上的计算资源,提供更强大的数据处理和存储服务。
软件定义存储的关键思想是将存储功能从单独的存储设备中解耦出来,使用软件层来提供存储服务。这样可以实现存储资源的抽象和集中管理,从而提高存储资源的灵活性和利用率。
在超融合架构中,每个节点都具备一定的存储容量。通过软件定义存储技术,这些节点上的存储资源可以被虚拟化为整体的存储集群,同时支持提供块存储、文件存储、对象存储等不同类型的存储服务。管理员可以通过统一的管理界面,对存储集群进行管理和配置,调整各类型存储的容量、性能和数据保护策略等。
软件定义存储还可以实现更高级的存储功能和服务,例如数据冗余、存储快照等。管理员可以根据实际需求,对存储资源进行配置和管理,以满足不同应用和业务的需求。同时,软件定义存储还支持自动化的数据管理和迁移,以实现数据的高可用性和数据的流动性。
多副本-三副本
纠删码-4+2纠删码
软件定义存储的另一个优势是可以充分利用节点上的计算资源来进行数据处理和存储操作。超融合架构中的每个节点都具备计算能力,可以通过软件定义存储来实现数据处理和存储服务的集成。这样可以减少网络传输和数据流动的需求,提高系统的性能和效率。
分布式KV(Key-Value)存储技术:通过分布式一致性Hash(DHT路由)、HASH分片、CRUSH算法等为数据块生成key,然后映射到逻辑分区,进而将逻辑分区映射到不同存储节点上不同硬盘的真实分区:
Apache ZooKeeper:曾经属于Hadoop,目前为顶级独立项目,通过将数据以冗余方式分散存储在分层名称空间中来支持为大型分布式计算提供开源的高可用性分布式配置服务、同步服务和命名注服务,具有以下特性:
- 高可靠:3节点起步,奇数个部署,自动选择主节点,单节点故障不影响系统运行;
- 架构简洁:通过共享分层命名空间来协调整个系统;
- 可伸缩:可通过增加节点提升系统性能;
- 快速处理:读取操作多于写入的读取主导场景中事务处理尤其快速。
- 自动多级缓冲/SSD加速技术:根据数据访问频率自动划分冷热数据,通过LRU算法将热门数据放入内存和SSD等高速缓冲,冷门数据后台刷新到HDD硬盘;
- 写时重定向ROW(redirect-on-write)或写时复制COW(copy-on-write)算法,提供快照克隆功能和基于快照克隆功能的容灾和复制功能,从而实现快速备份和恢复;
- vSwitch技术:提供网络虚拟化功能,包括VMware VDS(vSphere Distributed Switch)和Linux内核支持的Open vSwitch(OVS)等技术。
3.软件定义网络
软件定义网络(Software-Defined Networking,SDN)是超融合架构的关键技术之一,通过将网络的控制平面与数据平面分离,实现对数据中心网络的灵活管理和资源调度。SDN技术可以优化数据中心网络的性能和可靠性,提高应用程序的响应速度和负载均衡。同时,SDN还支持网络虚拟化和多租户环境,提供独立的虚拟网络环境和安全性。通过应用SDN技术,超融合架构能够更好地满足不同应用和用户的需求,提供更高效、可靠和安全的网络服务。
SDN的核心思想是将网络的控制平面与数据平面分离,将网络的控制逻辑集中在一个中央控制器中。通过这种方式,管理员可以通过集中的控制平台来管理整个网络,实现对网络设备的集中控制和管理。
在超融合架构中,SDN可以实现对数据中心网络的灵活配置和调度。管理员可以通过SDN控制平台,根据应用需求和工作负载的变化,动态调整网络拓扑、路由策略以及各类网络和安全服务。这样可以优化数据中心网络的性能和可靠性,提高应用程序的响应速度和负载均衡。
另外,SDN还可以实现网络资源的动态分配和调度。通过SDN控制平台,管理员可以根据实际需求,将网络资源(如带宽、延迟等)动态地分配给不同的应用和工作负载。这样可以实现网络资源的智能管理和优化,提高网络的利用率和性能。
此外,SDN还支持网络虚拟化功能,将物理网络资源虚拟化为逻辑网络资源。这样可以实现多租户的网络隔离和安全性,为不同的用户和应用提供独立的虚拟网络环境。
I/O MMU虚拟化技术:用于CVM直接访问硬盘控制器和网卡等,包括架构无关的的PCI单根I/O虚拟化技术(SR-IOV)和各个主流处理器架构的IOMMU技术(英特尔的VT-d、AMD的AMD-Vi、ARM的SMMU、Power的PAMU/IOMMU等);其中SR-IOV技术已经广泛应用于各种架构的处理器和PCI设备,但是需要配合IOMMU技术使用;
4.统一管理等云计算相关技术
超融合架构在软件方面将所有的系统资源通过一个统一共享的软件管理接口来管理并给上层应用分享。统一管理面向上层的应用和用户,保证IT管理人员能够通过软件简单便捷控制整个超融合集群。统一管理提供身份认证、网络和地址管理,负载均衡等一系列私有云必需的管理工具和模块。
超融合技术的软件管理接口不仅能够统一管理系统资源,还能有效整合虚拟化、存储、网络和其他功能,提供高度自动化和自愈能力。通过这一统一管理接口,IT管理人员可以在上层应用和用户中实现身份认证、网络和地址管理、负载均衡等一系列私有云必需的管理工具和模块,从而实现整个超融合集群的简单便捷控制。
此外,超融合技术在软件方面的特点还体现在其对资源的动态分配和自适应优化上。通过软件管理接口,可以根据实际需求动态分配各类资源,实现资源利用的最大化和负载均衡的优化。而且,超融合软件还具备自我监测和自我修复的能力,当系统出现故障或异常时,软件能够自动识别问题并采取相应的措施,从而实现系统的自愈和高可靠性运行。
Scale-Out升级和扩展模式
超融合相比于传统的企业IT架构,超融合架构的升级和扩展方式由Scale-Up更改为Scale-Out。这种方式具有时间短、对业务影响小的特点。传统的企业IT架构中,通常采用Scale-Up的方式,需要调整各部分资源来满足业务需求,然而这一方式具有一定的局限性,比如难以在短时间内完成硬件升级,而且对业务的影响较大。
相较而言,超融合架构采用Scale-Out的升级方式,通过增加节点实现对系统性能和存储容量的扩展,这使得升级时间大为缩短,且对业务的影响相对较小。这种升级方式能够更好地适应企业业务的快速变化,并且更便于实现系统的横向扩展,提高了系统的灵活性和可扩展性。因此,超融合架构的采用不仅能够降低成本,提高资源利用率,还能够更好地适应企业的发展需求。
Scale-Up与Scale-Out的区别
并且,超融合技术以软件为核心,能够在不需要超配、购买传统存储专用硬件的情况下,实现对旧硬件的兼容,大幅降低IT系统成本,总体成本可以下降超过60%。
今天的文章 超融合基础架构与相关技术分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/bian-cheng-ji-chu/84474.html