Opendedup 3.0.1 发布,重复数据删除解决方案

2015年12月07日 22:28 105 次阅读 来源: 开源中国 作者: 路人甲
摘要 Opendedup,一个新的开源重复数据删除解决方案。作为针对Linux的重复数据删除文件系统(也成 为SDFS),Opendedup从设计上来说针对的是那些拥有虚拟环境并寻求高性能、可扩展和低成本重复数据删除解决方案的企业。根据开发者Sam Silverberg的说法,SDFS的设计目标是利用基于对象的文件系统的性能和可扩展性优点,通过重复数据删除优化存储。结果 是:OpendedupSDFS可...

        Opendedup,一个新的开源重复数据删除解决方案。作为针对Linux的重复数据删除文件系统(也成 为SDFS),Opendedup从设计上来说针对的是那些拥有虚拟环境并寻求高性能、可扩展和低成本重复数据删除解决方案的企业。


        根据开发者Sam Silverberg的说法,"SDFS的设计目标是利用基于对象的文件系统的性能和可扩展性优点,通过重复数据删除优化存储。"结果 是:"Opendedup/SDFS可以优化1PB以上的数据;在128K块大小的情况下,每GB记忆体支持3TB以上数据;在线重复数据删除的执行速度 达到290MB/秒;拥有很高的总I/O性能;支持VMware(以及Xen和KVM),并可以对4K的块进行重复数据删除操作。同时,它还是免费的。


Opendedup 3.0.1 发布,此版本更新内容如下:

BUG 修复:

* Fixed JNI hook to fuse referencing object after garbage collection. Now references a long
* Many fixes since this was a major update of the underlying storage layer and metadata system.


功能增强:

*This is a major new release of SDFS with a rewrite of the storage subsystem. This release includes enhancements to the following elements


云存储增强:

* In-Line deduplication to a Cloud Storage Backend - SDFS can send all of its data to AWS, AZURE, or Google.
* Performance Improvements - Compressed Multi-Threaded upload and download of data to the cloud
* Local Cache - SDFS will cache the most recently accessed data locally. This is configurable but set to 10 GB by Default
* Security - All data can be encrypted using AES-CBC 256 when sent to the cloud
* Throttling - Upload and download speeds can be throttled.
* Cloud Recovery/Replication - All local metadata is replicated to the cloud and can be recovered back to local volume.
* Glacier Support - Supports S3 Lifecycle policies and retrieving data from Glacier
* AWS Region Support - Supports all AWS Regions
* Amazon AIM Support


扩展性改进:

* Tested to over 100TB of backend storage.
* Requires only 400MB of memory per TB of unique storage
* Unlimited Snapshots
* No compaction necessary sing orphaned data physically removed from underlying filesystem after garbage collection.


常规改进:

* Mounts from fstab and using native linux mount commands (mount -t sdfs)
* Faster Volume Replication
* Local Encryption support - Uses AES-CBC 256
* Faster Garbage Collection - 300% improvement

        Silverberg表示,在标准的Linux系统上,Opendedup/SDFS的安装只需要大约20分钟时间,而且不需要编译。他表 示:"SDFS卷可以像Linux文件系统那样载入和创建。如果用户曾经在Linux系统上载过卷,那么他肯定对SDFS的命令也很熟悉。"此外,对那些 需要一些帮助的用户,SDFS还有一个快速开始指导,同时在Opendedup网站上还有详细的管理操作指导。那么,使用Linux系统的用户是否可以使 用Opendedup并从中获益呢?


        根据Silverberg的说法,SDFS的适用对象包括:所有大量利用虚拟化的组织("SDFS 可以跨共享的SDFS卷或在单独的SDFS卷上对数百个虚拟机进行重复数据删除.......而且可以加速新的虚拟机并快速复制现有的虚拟机"),或那些 寻求高存储效率和基于磁盘备份系统的组织("SDFS卷可以呈现给基于磁盘的备份,并带来存储节约和I/O提升的好处"),或那些需要归档大量数据的组织 ("SDFS卷可以当作NAS(网络附加存储)共享......同时非结构化数据可以复制并归档到作为第三层存储的SDFS卷")。


        不 过,Opendedup/SDFS真的可以作为专有解决方案的替代品么?


        Silverberg表示:"同许多专有解决方案相 比,SDFS在性能、可扩展性和成本上具有优势,不过我认为专有解决方案有一定的真正的技术上的优势。开源解决方案目前还不能提供远程复制功能、基于来源 端的重复数据删除和一周七天一天24小时的无间断的电话支持。"


        Silverberg表示,SDFS是一个文件系统,"这使得它可以很 容易作为一个存储设备来实施",不过"如果不契合到专有API(应用程序编程接口),它更难深入地整合到备份和虚拟机管理器等解决方案"。


不 过,他补充道:"如果用户希望获得的是来自文件系统的裸性能、可扩展性和重复数据删除功能,那么SDFS是个理想选择。"显然很多企业是这样的,因为就在 第一周,Opendedup.org就吸引了1.4万个独立访客的访问,其中许多人下载了软件。

还可以输入136 讨论区:
评 论