分布式存储的架构、隐患及解决方法
|
在实验分布式存储中,原来共有数据48块1T数据,拔出1块磁盘数据重构完成后,还是48T数据,即每块盘增加了(1T/47)1000=21.28GB的数据.
网络速度：(11000 )/(1260)=1.39GB/s*8=11Gb/s,也就是说在无IO的情况下,网络的总的流量是11Gb/s.其中3台服务器网络速度是2.84Gb/s,1台被拔出硬盘的服务器流量是2.57Gb/s.为了计算方便,平均每台服务器为2.75Gb/s,网络利用率是27.5%.
网络速度：(11000 )/(2460)=1.39GB/s*8=5.5Gb/s,也就是少量IO的情况下,网络的总的流量是5.5Gb/s. 平均每台服务器为是1.38Gb/s. 磁盘写入速度：21.281000/(2460)=15MB/s. 实验现象： 1、无流量压力情况下数据重构速度即每块盘最大写速度为30MB/s.但随着IO的增加,写的速度也会越来越慢. 2、虽然每个服务器接入网络是10Gb/s,但受到存储软件的控制,重构时最大网络利用率近30%. 在有IO的情况下,重构时间迅速增加.主要是为了不影响正常IO的处理,软件对副本重构的速度进行了控制. 在实际生产中,用于副本重构的网络利用率控制在5%以下,对存储正常的IO不会产生影响. 由此计算: 29.56M/(27.5%/5%)=5.37M,即在10G接入网络下,每台服务器重构流量在0.5Gb/s( 62.5MB/s)和每块磁盘读写数据在5MB/s以下,数据重构是安全的. 副本恢复的过程,实际上是从现有的磁盘中读取需要重构的副本,再根据一定的规则写入某些磁盘的过程.每块盘承担了读取副本,也承担了写入副本的职责.也就是说平均每块磁盘读2.5M,写也是2.5M. 从这个角度上看,每台服务器配置12块硬盘(60MB/s)是能产生读写能力和网络( 62.5MB/s)能力匹配.服务器接入带宽越大,可以配置的硬盘数量就越大. 小结：1、如果主机和磁盘比大于等于12： 1TB数据重构时间=10008/(0.25n) ? ? ?n: 服务器数量 比如 57台12块磁盘的2P资源池重构1T数据的最短时间=(10008)/(0.2557)=560秒. 2、如果主机和磁盘比小于12: 1TB数据重构时间=10001000/(2.5m) ? m：参与重构磁盘数量 如果1台12块盘的服务器故障,最大重构36T数据,需要最短时间是342分钟,5.7小时. 结论：服务器或参与重构的磁盘数量越多,重构的速度就越快 我们继续实验,在数据重构完成后,重新插入这块盘,我们会发现,副本又开始重构了,但这次数据是搬家,并不生成新的副本.是因为系统认为插入了新盘,数据需要均衡导致的. 分布式存储采用的是“共产主义”,扩容服务器的数量可以线性的增加存储的能力,但新扩容的磁盘并不是只接受新的副本数据,而是需要搬迁写入平均值大小的“老”副本数据. 实际上每次非正常IO的副本的写入,都伴随着其他节点副本的删除.频繁的写入、删除对磁盘的寿命有较大的影响. 我们再看看实验结果： （编辑：新余站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
