|
目前,存储集群在大型网络应用环境应用非常广泛,用多个节点来代替一个节点完成任务,毫无疑问是为了提高处理能力。其次存储集群还可以做到高可用性,即使某个节点发生故障,不能再继续参与计算,那么及集群中的其它节点也可以立即接替故障节点正常工作,下面我们来具体了解一下集群方面的知识。
web网站经常用到的负载均衡集群系统(lbc)
web负载均衡集群系统通过一个流量管理的节点(可以是一个流量管理软件、软硬一体的流量管理机)或带流量管理系统的交换机,将用户的连接请求分配到多台服务器,这些服务器可以完成相同的或不同的功能。通过负载均衡集群系统,大量的负荷可以分配到多台性能较低的服务器上,既可以保护用户原有的投资,也可以动态地进行扩展,不需将原系统应用暂停,同时,多台服务器共同工作,当一台出现故障时, 流量管理节点可以及时侦测到,用户的请求将会分配到其余的健康的服务器上,用户的使用没有影响,管理员只需将故障服务器修复后再动态加入集群系统即可,应用无须暂停。
高性能集群系统(hpc)
在进行油田勘探、天气预报、动画制作、生命科学等的研究中,往往是一个大型的科学计算工程,它需要一个高性能的超级计算机才能在特定的时间内完成大量的计算和数据的交换。这个高性能的超级计算机并不是一个通用的大型机或小型机就能满足要求,通常根据不同的特定计算内容和性能要求的不同由几台到上百台pc服务器通过内部高速互连设备连接而成。一个并行计算集群系统有一个统一的管理、监控和调度节点,通过这个单一的入口,可以对集群内部的各服务器节点进行管理、监控和任务的调度,通过内部的高速互联网络交换数据,共同完成一个庞大的工程。
数据库集群系统
大量的用户产生的大负荷以及业务活动的繁忙所产生的海量数据都要求当前的应用系统必须有一个性能强大、高度可用的数据库后台支撑系统。数据库的集群系统由多台pc服务器和磁盘阵列柜组成。集群系统内部的各台服务器共同承担用户对数据的请求,共同享有数据资源,既能均衡负载提高系统的性能又能互相容错,提高系统的可操性和可用性。
集群存储特点
1. 开放式架构(高扩展性)
它针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素,每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构,且扩展起来非常方便,像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户,可以先购买一部分存储,当有需求的时候,随时添加,而不会影响现有存储的使用。
2. 分布式操作系统
这是集群存储的灵魂所在。所有对集群存储的操作都经由分布式操作系统统一调度和分发,分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别,没有主次、功能上的区别,所有存储节点功能完全一致,这样才能真正做到性能最优。
3. 统一命名空间
统一命名空间在很多厂家的存储概念中都出现过。在集群存储中,统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上pb级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间,其效率和出现存储热点时的性能将会大大低于把上pb级别的存储空间置于同一个文件系统下管理的统一命名空间。
4. 易管理性
目前存储业界的管理方式都是通过各厂商的管理工具,或通过web界面进行管理和配置,往往客户端还需要安装相关软件才能访问到存储上的空间。随着需要管理的存储空间逐渐增大,管理存储的复杂度和管理人员的数量也将会随之增加。而集群存储应该提供一种集中的、简便易用的管理方式,对客户端没有任何影响,采用业界标准的访问协议(比如nfs,cifs)访问集群存储。
5. 负载均衡
集群存储通过分布式操作系统的作用,会在前端和后端都实现负载均衡。前端访问集群存储的操作,通过几种负载均衡策略,将访问分散到集群存储的各个存储节点上。后端访问数据,通过开放式的架构和后端网络,数据会分布在所有节点上进行存放和读取。
6. 高性能
关于高性能领域,目前对集群存储的讨论还仅局限在高带宽、高并发访问的应用模式下。毫无疑问,集群存储对于该类应用可以提供比传统存储架构更优的性能。但目前应用除了高带宽、高并发访问类的之外,还有高iops、随机访问、小文件访问以及备份归档等其他类的应用,集群存储应该在以上领域同样提供高性能的解决方案。
集群的适用范围:
集群可以实现在系统路径的任何点上
硬件上:cpu、内存、显卡、显示终端、以太网卡、计算机本身、以太网ip网络设备、fc卡、fc网络交换设备、磁盘阵列控制器本身、磁盘阵列控制器内部的各个组件、磁盘本身、磁盘内部的多片和多个磁头。
软件上:应用程序、文件系统、卷管理系统 （图片）
集群 那么什么时候我们需要实现集群呢?
当某个系统的处理能力不能满足性能要求的时候,可以考虑使用负载均衡集群或者高性能集群;当追求系统的高可用性时,即希望某处故障不会影响整个系统的可用性的时候,使用高性能集群系统;当需要运算的数据量很大的时候,运算周期很长的时候,可以考虑实施数据库集群系统。
目前,各大知名网站一般都采用的是web负载均衡集群来均衡tcp连接请求,由于这些网站每天的访问量很大,同时产生的tcp连接请求很多,所以如果只用一台计算机来接受这些请求,根本满足不了性能,甚至会造成这台计算机器资源耗尽而死机。基于linux系统的lvs,是由国人主持研发的一种tcp负载均衡软件,被广泛应用于tcp连接压力很大的系统下,lvs可以基于很多策略来将前端的请求分摊到后端的多台计算机上,其本质就是一个基于策略的tcp包转发引擎。
对于比较重视的it建设的企业、重要的应用系统,都可实施数据库集群来追求高可用性,从而避免故障造成的生产停顿。
各大科研所、气象、石油勘探等机构,由于需要很大的运算量和运算周期,一般都采用高性能集群。
随着大数据时代的来了,存储集群将会得到更广泛的应用,集群优势也将体现的更明显。
9/1/2012
|
