分享

Windows文件服务器启用了重复数据删除(Data Deduplication)经验分享

 曾淼Mark 2021-04-16

昨天发现公司的文件服务器(windows 2019 )上的磁盘空间快满了,2T的空间只有200多G了,于是删除了2020年12月31日前的所有文件,发现剩余空间居然一点都没改变!!

这个问题我曾在一个客户那边也出现过,客户使用的是存储,我理所当然的就把问题归咎于存储设备了,并要求客户找存储厂商解决,我也就没再跟进此事。

我自己的文件服务器并没有用存储,这是怎么回事呢?我用Diskginus 打开磁盘查看,发现System Volume Information\Dedup\ChunkStore下占用的空间与失去的空间一致,经研究,这是因为在该磁盘上启用了重复数据删除功能所致。

Data Deduplication是windows 2012开始增加的新功能,可以大大优化存储空间。不过在使用的时候需要注意,我已经经历了2起因为这个功能引发的小问题了。

如下所示,Datadisk1上激活了Deduplication的功能,硬盘本身1.9T,但是实际保存了近乎3.5T的内容,节省空间45%以上。

wKiom1P_uJDQi2obAABUL8Cq_jY676.png

需要注意的是,这个功能激活以后,存储文件的方式就和windows 2008 以前的方式不太一样了。每个文件把自己的内容分成了2个部分,自己所独有的,以及和其他文件相同的部分。每个文件自己仅仅保留独有的部分,比如名称,属性,创建时间等等,这些东西我们一般称为metadata,另外占据90%以上的“真正内容”,是保存在chunk store中,也就是每个磁盘对应的隐藏文件夹 System Volume Information Store里面 (你如果打开VSS,快照也是保存在这里面)

wKiom1P_uOWht1xTAAGK5TEdVEg326.png

比如说,查看一下其中一个文件的属性就可以看见,该文件的Size,也就是逻辑大小应该是21.6G,但是Size On Disk只有258K,这个其实仅仅是他的metadata的内容。如果我删掉这个文件夹,那么他仅仅会清空258K的文件!!我们还需要执行一个Garbae collection(垃圾回收)的操作,才能将该文件关联的内容从Chunk Store中删除。这就是为什么我最初删除了不用的文件,但是我的剩余空间并没有增加,因为我并没有删除对应的Chunk Data。

wKioL1P_ucrw5Py8AAA_LrIihEw236.png

知道了工作原理,那么我们来看看如何删除?

首先看看当前的状态,这个可以通过GUI查看,也可以通过命令行,不过命令行可以获取更多的信息,比如看看上一次的优化,垃圾回收,和自我修复是什么时候执行的?该磁盘总共多少个文件,有多少个已经优化了?这些具体的数据GUI里面都看不见的,所以Powershell的相关命令真的很重要。

wKioL1P_vdHTsxbOAAA8YzkqXmA300.png

也可以查看一下默认的schedule task是什么时候,可以跟上一个结果进行对比

wKiom1P_vWvALSC-AAAOY402Kl8084.png

这个计划任务也可以通过GUI查看

wKioL1P_vr-xAunpAABkHpgDuCs822.png

当我删除了一个文件以后,为了释放空间,我可以更改GarbeCollection schedule task的时间让他执行,也可以输入以下命令强制立刻执行磁盘清理

Start-DedupJob -Volume D: -Type GarbageCollection -full

总之,Data Deduplication是个很好的功能,他在windows传统的文件压缩功能上更进了一步,和VSS类似,是直接执行在Volume磁盘上,激活了Dedup的磁盘不能和文件压缩功能混用。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多