3.2 数据放置技术
海量网络数据智能分级存储系统中,网络数据放置可以采取相关的原则,将存储系统中新添加的数据或是被迁移的数据存储在某一个特定的位置上。网络数据放置采用方法是否科学,直接影响智能分级存储系统的访问速度,制约网络数据的实时性,形成网络数据访问瓶颈等。在智能分级存储系统研究过程中,网络数据放置是一个非常常见的问题,已经得到了广泛的研究,常见的数据放置技术包括RAID、Stripe等。
由于海量网络数据智能分级存储系统具有多种存储介质,并且网络数据具有实时性、多元性特点,智能分级存储出现了许多新的需求,放置问题变得更加复杂化,比如数据放置的位置存在多种选择,每一种选择方案都对智能分级存储系统产生复杂的影响。为了解决上述问题,数据放置需要解决两个问题:一是数据放置在什么类型的存储介质上;二是数据采用放置形式,比如随机放置、文件分割放置、顺序放置等。目前,海量网络数据智能分级存储系统中数据放置的力度也发生了很大的变化,本文从块级别进行考虑,使用元数据属性,从文件块大小考虑放置策略,既改善了系统访问的效率,也降低了系统的硬件成本。
3.3 数据迁移技术
在海量网络数据智能分级存储系统中,网络数据的访问频次、服务质量等需求是动态变化的,需要使网络数据和存储设备实现动态匹配,相同级别或者不同级别之间的网络数据需要进行迁移,因此网络数据迁移是智能分级存储系统的核心技术之一。传统网络数据迁移是指根据软硬件环境升级的需要,将网络数据迁移到新的环境。在智能分级存储系统中,网络数据迁移通常包括同级迁移和异级迁移两种模式。同级迁移模式通常出现在存储系统硬件配置发生变化过程中,其主要目的是均衡各个存储设备的负载;异级迁移模式是智能分级存储系统经常发生的事件,其可以更好地优化存储系统,迁移过程中是自动化的,异级迁移过程可以是高性能存储设备向低性能存储设备迁移,也可以相反迁移。
网络数据迁移方法包括离线迁移和在线迁移,离线迁移实现简单,效率较低;在线迁移实现复杂,但是其适用于复杂业务处理,因此本文智能存储系统采用在线迁移,合理制定数据迁移计划和实施流程,降低数据迁移对带宽、CPU等资源占用率,并且有效提高数据访问综合性能。
4 结束语
随着网络数据的大幅度上升,智能分级存储系统可以为网络数据的运营提供高效访问、快速定位、安全储存等服务,保证网络数据应用的实时性、安全性、有效性。随着分级存储系统的发展,未来智能分级存储系统的主要发展趋势是智能化、虚拟化,其可以确保分级存储系统实现数据迁移过程自动化和智能化,数据访问的虚拟化和透明化。
参考文献
[1] 敖莉,于得水,舒继武等.一种海量数据分级存储系统TH-TS[J].计算机研究与发展, 2011, 21(6):1089-1100.
[2] 牛德姣,蔡涛,詹永照等.海量存储系统中的元数据分级索引算法[J].计算机应用研究, 2012, 29(2):510-513.
[3] 施光源,王恩东,张宇.基于块级的分级存储数据特征模型及其应用研究[J].计算机研究与发展, 2013, 50.
[4] 黄洪,刘增良,余达太.一种智能化的数据分类、分级及保护模型[J].北京工业大学学报, 2011, 23(6):74-81.
[5] 张广艳,丘建平.分级存储系统中一种数据自动迁移方法[J].计算机研究与发展, 2012, 22(8):1357-1364.
[6] 黄冬梅,杜艳玲,贺琪.混合云存储中海洋大数据迁移算法的研究[J].计算机研究与发展, 2014, 24(1):152-159.
|