木星链 木星链
Ctrl+D收藏木星链

NAP:一文了解快照(Snapshot)技术的发展-ODAILY

作者:

时间:1900/1/1 0:00:00

随着计算机技术和网络技术的不断发展,信息技术水平不断得到提高。人类进入称为信息社会的二十一世纪后,诸如数字通信、数字多媒体、电子商务、搜索引擎、数字图书馆、天气预报、地质勘探、科学研究等海量数据型应用的涌现,各种信息呈现爆炸式的增长趋势,存储成为信息计算技术的中心。应用对存储系统的要求不断提高,存储容量不断升级,从GB到TB、PB、EB,愈显巨大。

图灵奖获得者JimGray提出一个新的经验定律:网络环境下每18个月生产的数据量等于有史以来的数据量之和。与此同时,现代企业对计算机的依赖性严重增强,信息数据逐渐成为企业赖以生存的基础,数据损坏或丢失将给企业带来巨大的损失。由于黑客、病、硬件设备的失效以及火灾、地震等自然灾害的原因,使系统和数据信息遭到破坏甚至毁灭,如果不及时地进行恢复,将对企业造成巨大的损失,所以备份容灾技术显得尤为重要。尤其,9.11等事件造成的灾难性后果使人们更加深刻地认识到数据信息的价值和意义,日益重视数据的保护。

在过去的20多年中,虽然计算机技术取得了巨大的发展,但是数据备份技术却没有长足进步。数据备份操作代价和成本仍然比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标和恢复点目标比较长。传统地,人们一直采用数据复制、备份、恢复等技术来保护重要的数据信息,定期对数据进行备份或复制。由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行。另外,为了节省存储空间,通常结合全量和增量备份技术。

显然,这种数据备份方式存在一个显著的不足,即备份窗口问题。在数据备份期间,企业业务需要暂时停止对外提供服务。随着企业数据量和数据增长速度的加快,这个窗口可能会要求越来越长,这对于关键性业务系统来说是无法接受的。诸如银行、电信等机构,信息系统要求24x7不间断运行,短时的停机或者少量数据的丢失都会导致巨大的损失。因此,就需要将数据备份窗口尽可能地缩小,甚至缩小为零,数据快照(Snapshot)、持续数据保护(CDP,ContinuousDataProtection)等技术,就是为了满足这样的需求而出现的数据保护技术。

拉丁美洲加密货币公司Ripio获准在西班牙作为交易所运营:金色财经报道,美国拉丁美洲加密货币服务提供商Ripio周二宣布,该公司已获得西班牙央行的批准,作为“法定货币虚拟货币兑换服务和数字钱包托管提供商”运营。这是西班牙银行向加密货币公司授予的众多许可证中的最新一个。[2023/6/28 22:04:24]

什么是快照(Snapshot)

快照(Snapshot)是某个数据集在某一特定时刻的镜像,也称为即时拷贝,它是这个数据集的一个完整可用的副本。存储网络行业协会SNIA对快照的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本(duplicate),也可以是数据的一个复制品(replicate)。

快照具有很广泛的应用,例如作为备份的源、作为数据挖掘的源、作为保存应用程序状态的检查点,甚至就是作为单纯的数据复制的一种手段等。创建快照的方法也有很多种,按照SNIA的定义,快照技术主要分为镜像分离(splitmirror)、改变块(changedblock)、并发(concurrent)三大类。后两种在实现时通常使用指针重映射和写时拷贝技术。changedblock方式的灵活性及使用存储空间的高效性,使得它成为快照技术的主流。

第一种快照是镜像分离。在即时拷贝之前构建数据镜像,当出现一个完整的可供复制的镜像时,就可以通过瞬间“分离”镜像来产生即时拷贝。这种技术的优点是速度快,创建快照无须额外工作。但缺点也很明显,首先它不灵活,不能在任意时刻进行快照;其次,它需要一个与数据卷容量相同的镜像卷;再者,连续镜像数据变化影响存储系统的整体性能。

第二种快照是改变块。快照创建成功后,源和目标共享同一份物理数据拷贝,直到数据发生写操作,此时源或目标将被写向新的存储空间。共享的数据单元可是块、扇区、扇道或其他的粒度级别。为了记录和追踪块的变化和复制信息,需要一个位图(bitmap),它用于确定实际拷贝数据的位置,以及确定从源还是目标来获取数据。

马斯克否认拥有狗狗币钱包:金色财经报道,埃隆·马斯克(Elon Musk)在最近的集体诉讼案件中否认拥有进行狗狗币交易的加密钱包。此前,狗狗币投资者在曼哈顿联邦法院对马斯克提起集体诉讼,指控他实施拉高出货计划并套现了价值9500万美元的狗狗币,诉讼内容称由马斯克和特斯拉拥有的数字钱包与4月3日至4月6日之间进行的狗狗币交易有关,当时马斯克将Twitter徽标换成了狗狗币符号推动狗狗币价格短时飙升30%。据悉,马斯克律师Alex Spiro表示:“原告在毫无根据的情况下明确声称相关钱包‘属于’被告(埃隆·马斯克),你错了。”(Watcher.guru)[2023/6/18 21:44:20]

第三种快照是并发。它与改变块非常相似,但它总是物理地拷贝数据。当即时拷贝执行时,没有数据被复制。取而代之,它创建一个位图来记录数据的复制情况,并在后台进行真正的数据物理复制。

不同存储层次的快照实现

1992年图灵奖获得者ButlerLampson表示“计算机科学中的任何问题,都可以通过增加间接层次来解决”对于快照技术,我们可以在存储系统中的不同层次来实现,可以在磁盘阵列、文件系统、卷管理器、NAS系统或备份系统中来实现。

图1 存储系统栈与快照实现

存储栈由一组硬件和软件组件组成,为运行在主机操作系统上的应用系统提供物理存储介质,如图1所示。快照可以采用很多不同实现方式,也可以在存储栈中的不同层次来实现,大致分为软件层和硬件层两类,也可分为基于控制器的快照和基于主机的快照两类。

基于控制器的快照,在存储设备层或硬件层中实现,由存储系统硬件提供商管理并集成于磁盘阵列中。这种快照在LUN级完成,独立与操作系统和文件系统。基于主机的快照,在设备驱动和文件系统级之间实现,通常由文件系统、卷管理器或第三方软件来执行。这种快照不依赖存储硬件,但却依赖于文件系统和卷管理软件。该快照作用于逻辑数据视图,这与基于控制器的快照的不同,它作用于物理数据。

印度央行启动数字卢比非接触式支付测试:金色财经报道,印度央行——印度储备银行已和零售商开始测试数字卢比非接触式支付,Reliance Retail是第一家参与该试点的商家,在印度银行ICICI和Kotak Mahindra的支持下,让测试客户群体在其 Freshpik 美食店使用数字卢比进行二维码支付,此举也是印度储备银行零售央行数字货币 (CBDC)试点项目的一部分。印度去年开始测试其 CBDC 的批发和零售版本,但该国银行对批发版本的 CBDC 评价不那么热情,因为每笔数字卢比交易都需要单独结算,而使用现有银行间支付系统的交易可以批量处理。(TechCrunch)[2023/2/8 11:54:16]

在以上各个存储层次中,物理存储层和卷管理器是最适合实现快照的两个组件,它们可以方便地利用物理存储,是当前主流的实现层次。文件系统层实现快照是一个可行的选择,然而诸如数据库等应用会直接选择使用逻辑卷来实现快照,因为在文件系统层它们不能被快照技术所管理。一般来说,没有必要在应用层实现快照,对于备份机制,可以利用下层的文件系统或卷管理器接口来实现,但需要应用暂时停顿以保证快照数据一致性。总的来说,基于软件层的快照易于操作,且提供比较好的恢复力度,而基于硬件层的快照往往更高的性能和容错性。

快照实现方式及技术

快照技术能够实现数据的即时影像,快照影像可以支持在线备份。全量快照是实现所有数据的一个完整的只读副本,为了降低快照所占用的存储空间,人们提出了写时复制和写重定向快照技术。另外,还出现了其他一些快照技术的实现方式,如日志、持续数据保护等,可以提升快照的相关性能。

1、镜像分离(SplitMirror)

镜像分裂快照技术在快照时间点到来之前,首先要为源数据卷创建并维护一个完整的物理镜像卷:同一数据的两个副本分别保存在由源数据卷和镜像卷组成的镜像对上。在快照时间点到来时,镜像操作被停止,镜像卷转化为快照卷,获得一份数据快照。快照卷在完成数据备份等应用后,将与源数据卷重新同步,重新成为镜像卷。

对于要同时保留多个连续时间点快照的源数据卷,必须预先为其创建多个镜像卷,当第一个镜像卷被转化为快照卷作为数据备份后,初始创建的第二个镜像卷立即与源数据卷同步,与源数据卷成为新的镜像对。镜像分裂快照操作的时间非常短,仅仅是断开镜像卷对所需的时间,通常只有几毫秒,这样小的备份窗口几乎不会对上层应用造成影响,但是这种快照技术缺乏灵活性,无法在任意时间点为任意的数据卷建立快照。另外,它需要一个或者多个与源数据卷容量相同的镜像卷,同步镜像时还会降低存储系统的整体性能。

通过区块链众筹资金的影片Fuzzy Head将在圣丹斯电影节上首映:金色财经报道,通过区块链驱动的众筹平台Untold.io获得资金的新片Fuzzy Head将在今年为独立电影人举办的奥斯卡认证的圣丹斯电影节上首映。Untold.io首席执行官Ali Aksu表示,电影制作人可以利用区块链技术使其融资过程民主化,并向认可和未认可的投资者开放投资机会。

据悉,Untold近日与Dapper Labs达成合作,以加速技术的发展,并允许更广泛地访问其程序。该平台还支持了其他知名电影,包括由罗伯-德尼罗和摩根-弗里曼主演的《复出之路》。[2023/1/21 11:23:59]

2、写时复制

图2 写时复制快照

写时复制快照使用预先分配的快照空间进行快照创建,在快照时间点之后,没有物理数据复制发生,仅仅复制了原始数据物理位置的元数据。因此,快照创建非常快,可以瞬间完成。然后,快照副本跟踪原始卷的数据变化,一旦原始卷数据块发生首次更新,则先将原始卷数据块读出并写入快照卷,然后用新数据块覆盖原始卷。写时复制,因此而得名。

这种快照技术在创建快照时才建立快照卷,但只需分配相对少量的存储空间,用于保存快照时间点之后源数据卷中被更新的数据。每个源数据卷都具有一个数据指针表,每条记录保存着指向对应数据块的指针。在创建快照时,存储子系统为源数据卷的指针表建立一个副本,作为快照卷的数据指针表。当快照时间点结束时,快照建立了一个可供上层应用访问的逻辑副本,快照卷与源数据卷通过各自的指针表共享同一份物理数据。快照创建之后,当源数据卷中某数据将要被更新时,为了保证快照操作的完整性,使用写时复制技术。对快照卷中数据的访问,通过查询数据指针表,根据对应数据块的指针确定所访问数据的物理存储位置。

写时复制技术确保复制操作发生在更新操作之前,使快照时间点后的数据更新不会出现在快照卷上,保证了快照操作的完整性。写时复制快照在快照时间点之前,不会占用任何的存储资源,也不会影响系统性能;而且它在使用上非常灵活,可以在任意时间点为任意数据卷建立快照。在快照时间点产生的“备份窗口”的长度与源数据卷的容量成线性比例,一般为几秒钟,对应用影响甚微,但为快照卷分配的存储空间却大大减少;复制操作只在源数据卷发生更新时才发生,因此系统开销非常小。但是由于快照卷仅仅保存了源数据卷被更新的数据,此快照技术无法得到完整的物理副本,碰到需要完整物理副本的应用就无能为力了,而且如果更新的数据数量超过保留空间,快照就将失效。

GameStop推出NFT市场:金色财经消息,据官网文章称,GameStop宣布推出NFT市场,允许游戏玩家、创作者、收藏家和其他社区成员购买、出售和交易NFT,该公司的NFT市场是一个非托管的、基于以太坊Layer2的市场,使各方能够真正拥有他们的数字资产,这些资产在区块链上确权和保护。市场允许各方连接到他们自己的数字资产钱包。随着时间的推移,市场将扩展功能以涵盖其他类别,例如Web3游戏、更多创作者和其他区块链网络。

此前3月份报道,GameStop的NFT市场已上线测试版,由Loopring二层网络提供支持。此前1月份报道,GameStop将建立电子游戏NFT市场。[2022/7/12 2:06:56]

3、指针重映射

图3 指针重映射快照

这种实现方式与写时复制非常相似,区别在于对于原始数据卷的首次写操作将被重定向到预留的快照空间。该快照维持的是指向所有源数据的指针和拷贝数据。当数据被重写时,将会给更新过的数据选择一个新的位置,同时指向该数据的指针也被重新映射,指向更新后的数据。如果拷贝是只读的,那么指向该数据的指针就根本不会被修改。重定向写操作提升了快照I/O性能,只需一次写操作,直接将新数据写入快照卷,同时更新位图映射指针;而写时拷贝需要一次读和两次写操作,即将原始卷数据块读入并写入快照卷,然后将更新数据写入原始卷。

不难发现,快照卷保存的是原始副本,而原始卷保存的则是快照副本。这导致删除快照前需要将快照卷中的数据同步至原始卷,而且当创建多个快照后,原始数据的访问、快照卷和原始卷数据的追踪以及快照的删除将变得异常复杂。此外,快照副本依赖于原始副本,原始副本数据集很快变得分散。

4、日志文件架构

这种形式的快照技术利用日志文件来记录原始数据卷的写操作。所有针对原始数据卷的写操作都记录在日志系统中,相当于每次数据变化均会生成快照。因此,这与数据库系统事务或文件系统日志非常相似,可以根据需要,从日志恢复数据或者回滚事务到任意合理状态。严格意义讲,这种方式不能称之为快照,但的确能达到快照的目标,不少文件系统实现了这种功能,如ZFS、JFS、EXT3、NTFS等。

5、克隆快照

前面提到的快照,基本上都不会生成完整的快照副本,无法满足完整物理数据副本的业务需求。克隆快照可生成与源数据卷一致的镜像快照,它充分利用了写时拷贝和镜像分离两种快照技术的优点。快照时间点时,它先使用写时拷贝方式快速产生快照副本,然后在后台启动一个拷贝进程来执行源数据卷至快照卷的块级数据拷贝任务。一旦复制完成,就可以通过镜像分离技术获得一个克隆快照。克隆快照同样继承了镜像分离快照的缺点,除了需要一个与源数据卷容量相等的快照卷外,还会一定程度上影响存储系统的整体性能。

6、持续数据保护

以上几种快照技术均存在共同的不足之处,即不能在任意点创建任意多的快照。日志型快照虽然没有上述不足,但却依赖于具体的文件系统,无法直接应用到使用不同文件系统的应用,对于非基于文件系统的数据应用无能为力。

持续数据保护,也称连续备份,它自动持续捕捉源数据卷数据块的变化,并连续完整地记录这些数据块版本。每一次数据块变化都会被记录,生成瞬间快照,这与其他快照技术在快照时间点上创建快照是不同的。因为写操作都被记录保存下来,因此能够动态地访问任意一个时间点的数据状态,提供了细粒度的数据恢复,可以实现瞬间和即时的恢复,有效拉近恢复点目标。数据块级的持续数据保护技术的优点是与应用的藕合比较松,性能和效率比较高,系统连续不间断运行,不存在快照窗口问题。它的缺点是对存储空间的要求比较高,这也是限制数据块级持续数据保护技术广泛应用的根本原因。

下表从不同角度对以上几种快照技术进行了分析对比。

结论与展

快照技术是对传统数据备份与复制技术的重大革新,解决了备份窗口问题,有效拉近了恢复时间目标和恢复时间点目标,成为了事实上的存储行业标准。

快照技术发明以来,人们进行了大量意义重大的改进。快照窗口不断缩小,从几秒到瞬间完成;几乎可以在任意时刻创建快照,粒度越来越细,数量不断增大;快照性能大幅提升,对主机、应用的影响降低至微;快照灵活性、可扩展性、可管理性不断增强。然而,人们对技术的进步要求从来都是没有止境的。针对当前的各种解决方案,在综合性能、灵活性、管理性方面,快照技术仍然存在很大的改进空间。存储厂商不断推出新的快照存储产品或新的版本,是最有力的证明。

近年来,存储技术的发展日新月异,面向对象存储、固态硬盘、存储虚拟化、重复数据删除,新的存储架构、技术和解决方案不断涌现。这些可能会对快照技术的变革产生更加深远的影响,为快照技术的发展创造更加宽广的空间。我们可以预测,未来快照技术在空间效率、快照对象粒度、虚拟化存储支持以及性能和用户体验方面有长足的进步,在数据复制和备份领域将有更加广泛的应用前景。

Snapshot.

http://www.snia.org/education/dictionary/s/#snapshot

Pointintimecopy.

http://www.snia.org.cn/dic.php?word=p

AlainAzagIIry,MichaelEFactor,JulianSatran.Point-in-timecopy,Yesterday,TodayandTomorrow.CollegePark,USA:the19thIEEESymposiumonMassStorageSystems.2002:259-270.

Snapshot.

http://www.ibm.com/developerworks/tivoli/library/t-snaptsm1/index.html

袁晓铭,林安.几种主流快照技术的分析比较.微处理机,2008年第1期.

王树鹏,云晓春,郭莉.持续数据保护(CDP)技术的发展综述.信息技术快报,2008年第6卷第6期.

EMCTimeFinder.

http://china.emc.com/products/detail/software/timefinder.htm

EMCTimeFinder.

http://china.emc.com/collateral/software/data-sheet/1700-timefinder.pdf

HDSShadowImage.

http://www.hds.com/cn/products/storage-software/shadowimage-in-system-replication.html

NetAppSnapshot.

http://www.netapp.com/us/products/platform-os/snapshot.html

VeritasSnapshot.

http://eval.symantec.com/mktginfo/enterprise/yellowbooks/using_local_copy_services_03_2006.en-us.pdf

——End——

标签:NAPHOTSHOSnapshotblockchainapphotcs币什么价格shoppingchai

比特币交易热门资讯
ETH:数据:「伦敦」升级后,以太坊挖掘者的收入受到影响?-ODAILY

当区块链达到1,265,000后,以太坊正式进行了EIP-1559升级,也称为了“伦敦升级”,至此,以太坊正式进入ETH2.0时代.

1900/1/1 0:00:00
区块链:区块链技术:为什么说波卡能加速区块链行业的发展?-ODAILY

“波卡知识图谱”是我们针对波卡从零到一的入门级文章,我们尝试从波卡最基础的部分讲起,为大家提供全方位了解波卡的内容,当然这是一项巨大的工程,也充满了挑战.

1900/1/1 0:00:00
区块链:福布斯解读区块链行业如何改变全球人才供给格局-ODAILY

链集市·让区块链落地更简单 《区块链行业观察》专栏·第33篇作者丨TracyLevine图片丨来源于网络编者注:本文作者为TracyLevine.

1900/1/1 0:00:00
NFT:NFT项目的投资规律-ODAILY

对新兴事物,关注的人总是一方面充满了期待和兴奋,另一方面也充满了焦虑和疑惑。对投资NFT领域,关注的投资者就有这样的情绪。最近国内越来越多的人也开始关注NFT代币了.

1900/1/1 0:00:00
NFT:头像类NFT崩盘在即?罪魁祸首竟是Loot | 烤仔创作者联盟-ODAILY

喜鹊报喜喳喳叫,Loot起飞持有者笑。近日,一个叫Loot的NFT项目忽然火了。在推出一周左右的时间内,铺天盖地的消息便迎面而来.

1900/1/1 0:00:00
POL:Kusama社区已在Statemine平行链上创建84个Assets | 波卡周报-ODAILY

加入PolkaWorld社区,共建Web3.0!Kusama在Kusama理事会投票之前,Statemine一直以有限的功能运行。经过绩效审查和审计,Kusama理事会提议升级以取消限制.

1900/1/1 0:00:00