分享

固态硬盘寿命测试一年半 连写2500TB终于全挂

 木立 2015-03-13

固态硬盘可靠性测试:写入22TB数据之后……

SSD固态硬盘相比传统HDD机械硬盘的优点是性能强、体积小、无噪音,但是特殊的工作原理也让它的使用次数有限,而且这个次数还会随着制程工艺的升级而降低,编程/擦写循环次数从之前的5000+降低到3000次甚至1000次。

SSD使用寿命是个老生常谈的话题了,厂商一次次强调随着SSD容量的增加和主控技术的进步,SSD有限的写入次数对使用寿命来说并不是严重问题了,不过想打消消费者的疑惑还没这么容易。

此前Hardware.info网站以TLC闪存的三星840 SSD为例做了一次长期的SSD使用寿命测试,结果显示其可用写入次数是大大超过官方标准的,TLC闪存的可靠性也不是问题。

现在又有媒体来接力了,TechReport也做了SSD使用寿命的长期测试,不过他们采集的样本更多,使用了6款SSD,包括三星840 Pro、三星840、金士顿HyperX 3K(这个使用了两款,一个进行可压缩数据测试,一个进行不可压缩数据测试)、Intel 335及海盗船Neutron GTX,容量都是256GB或者240GB的。

固态硬盘可靠性测试:写入22TB数据之后……

他们使用了Anvil's Storage Utilities软件进行大规模数据写入,现在过去了两周多了,写入的数据已经达到了22TB,是时候检验一下这六款SSD的情况了。

固态硬盘可靠性测试:写入22TB数据之后……

第一个节点选择22TB是因为这个写入量是Intel公布的335 SSD正常使用寿命,官方称它可以在每天20GB的写入量情况下使用三年。此外,金士顿的HyperX 3K SSD官方公布的写入量是192TB,其他三款SSD就没有官方数据公布了。 

固态硬盘可靠性测试:写入22TB数据之后……

首先来看各个SSD的平均写入速度,但是上述数据并不具备可比性,因为为了加快测试进度,这6个SSD是安装到了两套平台上同步进行的,有的使用了SATA 6Gbps接口,有的使用了SATA 3Gbps接口。上面的平均写入速度只能用于评估各SSD写入22TB所用时间。

相比速度绝对值,他们更关注的是写入22TB数据之后的SSD性能的前后变化。这时候的测试结果是恢复到之前测试平台和系统上进行的,因此前后结果可以对比。

写入22TB数据后的随机、连续性能变化:

固态硬盘可靠性测试:写入22TB数据之后……
连续读取速度变化

固态硬盘可靠性测试:写入22TB数据之后……
连续写入速度变化

固态硬盘可靠性测试:写入22TB数据之后……
随机读取速度变化

固态硬盘可靠性测试:写入22TB数据之后……
随机写入速度变化

大部分测试中SSD前后性能变化都在1-2%左右,考虑到误差因素,可以说他们在写入22TB数据之后性能并没有什么变化。

让人吃惊的是金士顿HyperX 3K SSD的随机读取性能,不论是可压缩数据还是不可压缩数据,性能都提升了30%以上,Intel的335 SSD也小幅提高了8%,这二者使用的都是SF主控。

此外,SMART信息也会不断追踪SSD的坏块、写入数据量等信息,不过目前为止还没看到有坏块出现,这些SSD依然很健康。

测试中有2个型号的SSD都使用了SF主控,而且随机读取速度在写入22TB数据之后反而有46%的提升。另外,数据压缩测试中,不可压缩数据写入了22.8TB,而可压缩的那个只写入了15.5TB数据,节省了32%,还是有用处的。

再看下SSD的写入放大。两款HyperX 3K SSD的本机写入量都是21.6TB,实际写入数据一个是22.8TB,可压缩的则是15.5TB,写入放大率分别是1.05和0.72(注:这种持续写入数据的情况下写入放大率不会很大,接近1是很正常的)。

Intel的335 SSD的NAND写入量是22.9TB,主机写入量是21.6TB,写入放大跟金士顿HyeprX 3K差不多。至于其他SSD,因为追踪不到NAND写入量,所以无法计算写入放大。

以上就是写入22TB数据之后的基本情况,他们的下一个目标是100TB,估计还要等很长时间了


固态硬盘耐用性试验:200TB重压下的坏块

TechReport从今年八月底开始了一项固态硬盘耐用性试验,找来多款240/256GB的产品对它们持续进行写入,看看什么时候会挂掉,性能又会如何变化。

半个月后他们写入了22TB数据,相当于连续三年每天20GB,所有硬盘都应付得很好。

现在,数据写入量已经达到200TB,相当于连续五年每天100GB,终于有扛不住的了。 

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘耐用性试验:200TB重压下的坏块

其实在写入量超过100TB的时候,三星840就第一个出现了问题,S.M.A.R.T.属性中显示有11个重新分配的扇区,换句话说就是有了坏块(bad block)。三星840采用的是3bit TLC闪存,写入耐久性本来就比其它用2bit MLC的要差一些,这并不意外。

不过尽管如此,这块硬盘的性能、容量都没有丝毫变化,一切表现正常。

写入了200TB之后,三星840重新分配的扇区已有370个,金士顿HyperX 3K也有了四个坏块。值得一提的是,本次测试用了两块Hyper 3K,其中一块写入可压缩数据(46%),另一块则和其它一样用不可压缩数据,出问题的是后者。

这显然是SandForce主控的缘故,经过它压缩的前者实际只向闪存写入了143GB。

金士顿HyperX 3K的区块大小为4MB,所以损失的总容量为16MB。三星840的区块大小不详,三星也一直没有回应询问,从测试看应该是1.5MB,那么损失容量就达到了555MB。

不过由于损坏并替换的区块都位于冗余容量内,两块硬盘的实际可用量都没有变化,Windows下仍然分别是HyperX 3K 224GB、840 234GB。

三星SSD Magician工具显示840的健康状况依然是“良好”(good),但是用来获取S.M.A.R.T.属性数据的Hard Disk Sentinel却并不乐观:

在它看来,写入100TB数据后三星840的健康度就只剩下了66%,840 Pro也不过78%,另外Intel 335也损失了12%。

200TB写入后,三星840 19%的健康度看上去岌岌可危,840 Pro 51%也不怎么样,不过金士顿HyperX 3K(不可压缩数据)仍然有98%,写入可压缩数据的海盗船Neutron GTX都还是100%。

此外,海盗船的工具没有健康度显示,金士顿的不兼容测试平台。

固态硬盘耐用性试验:200TB重压下的坏块

尽管有损坏的区块,以及看起来很吓人的健康度指示,但不得不说这些固态硬盘都很好地经受了考验,迄今仍可正常使用,而且不要忘了,连续五年每天写入100GB在实际应用中几乎是不可能的。

那么,性能上都有了什么变化呢?

固态硬盘耐用性试验:200TB重压下的坏块
持续读取

固态硬盘耐用性试验:200TB重压下的坏块
持续写入

固态硬盘耐用性试验:200TB重压下的坏块
随机读取

固态硬盘耐用性试验:200TB重压下的坏块
随机写入

100TB、200TB写入后都对六块硬盘的持续、随机读写速度进行了测试,结果发现都和最初水准相差无几,200TB后也没有超过2%。

值得一提的是,金士顿HyperX 3K的性能在写入22TB后反而大大高于最初,100TB之后仍然更高,200TB后才降下来。

此外,测试人员还使用了Anvil的耐久性测试工具,安全擦除全盘后写入一系列随机大小的文件,直到预定的限制,然后在下次常规写入前删除它们,下边就是每轮写入的平均速度:

固态硬盘耐用性试验:200TB重压下的坏块

注意:六块硬盘连接在两套相同的系统上,但因为接口数量限制,两块HyperX使用的是SATA 3Gbps,其它都是SATA 6Gbps。这里我们对彼此性能差异没兴趣,只看各自性能随时间的变化。

金士顿、Intel都使用了SandForce的主控,峰值都出现在22TB、100TB写入后的安全擦除,这使得主控暂时恢复了活力。

三星840 Pro每次擦除后也会复活,但是性能飘忽不定、波动太大,不过从一开始就这样,可能和垃圾回收、内部管理机制有关,而不是闪存的问题。

三星840出现了最明显的性能滑坡,从超过100MB/s跌到了大约85MB/s,但这和坏块没什么关系。

海盗船的Neutron GTX反倒是越来越快了。

试验还在继续,等着看写入300TB之后又会如何吧。


固态硬盘连续写入300TB:Intel 335也“坏了”


TechReport坚持进行的固态硬盘耐用性马拉松试验再次达到关键节点,数据写入量已经走过300TB,现在各位参赛选手的情况又是如何呢?

背景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

最先出现问题的三星840 250GB情况正在持续恶化。100TB的写入后就出现了11个重新分配扇区,200TB后增至370个,300TB后则达到了833个。三星依然拒绝透露每个扇区的具体尺寸,如果按照1.5MB的猜测计算那就是1.2GB。

看上去不少,但幸运的是,因为冗余容量更多,用户实际可用的仍未发生变化。

840是唯一一个使用TLC闪存颗粒的,其耐久性存在天然缺陷,因此这一切都并不意外。

写入不可压缩数据的金士顿HyperX 240GB之前出现了4个重新分配扇区,但此后表现稳健,没有进一步增多。另一款写入的是可压缩数据,感谢SandForce主控的数据压缩,实际写入量仅有215TB。

除此之外,Intel SSD 335 240GB也加入了这一行列,出现了1个重新分配扇区。

固态硬盘连续写入300TB:Intel 335也“坏了”

健康度方面,S.M.A.R.T.属性显示840只有恐怖的1%,可谓岌岌可危,840 Pro 256GB也掉到了26%,不过三星自己的SSD Magician工具依然报告它们俩状态“良好”(Good)。

Intel SSD Toolbox也报告其SSD 335状态良好,尽管健康度指数已经跌至58%。

金士顿HyperX不可压缩版仍旧维持在98%,可压缩版和海盗船的Neutron GTX 240GB则坚挺在100%。

这里其实反映了一个很现实的问题,那就是固态硬盘缺乏统一的磨损、健康状态评判标准,每家都有自己的一套算法,有的甚至根本不理会S.M.A.R.T属性指标,而第三方工具也只是在估算。

固态硬盘连续写入300TB:Intel 335也“坏了”

那么,此时的性能又有了什么变化呢?

固态硬盘连续写入300TB:Intel 335也“坏了”
4MB持续读取

固态硬盘连续写入300TB:Intel 335也“坏了”
4MB持续写入

固态硬盘连续写入300TB:Intel 335也“坏了”
4KB持续读取

固态硬盘连续写入300TB:Intel 335也“坏了”
4KB持续写入

除了金士顿HyperX 4KB随机读取中的一些异常波动,所有硬盘都维持在了最初的水准上,即便是情况日益严重的840也变化非常小。

固态硬盘连续写入300TB:Intel 335也“坏了”

这是每一次写入循环(大约190GB)完成后记录的写入速度。200TB节点后,840 Pro又爆发了一下,随后回归往常的飘忽不定。其它的都几乎纹丝不动,840也是如此,只有Neutron GTX又在逆天地缓慢增加了,虽然幅度极小。

不停地写入300TB数据,相信这是绝大多数普通用户都不会碰到的,而如此残酷考验下固态硬盘们都坚持了下来,虽然有些扇区出现了损坏但都能及时自我修复,且丝毫不影响性能。这确实可以让我们对固态硬盘的长期可靠性大为放心了,尤其是TLC也没有很多人想象的那么糟糕。

测试还在继续,我们等下一个节点……

固态硬盘连续写入300TB:Intel 335也“坏了”


固态硬盘连写500TB:个个都是“猪坚强”


TechReport自去年八月开始的固态硬盘耐用性持久测试又跨过了一个关键点,持续写入的数量已经突破500TB。有没有谁被击垮呢?

前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

参测成员:

- 海盗船Neutron GTX 240GB

- Intel SSD 335 240GB

- 金士顿HyperX 3K 240GB(两块,分别写入可压缩、不可压缩数据)

- 三星840 250GB

- 三星840 Pro 256GB

固态硬盘连写500TB:个个都是“猪坚强”

重分配扇区数量趋势:

固态硬盘连写500TB:个个都是“猪坚强”

三星840是惟一一个采用TLC闪存颗粒的,其天然属性决定了耐用性相对较差,也毫不意外地第一个出现了坏块,100TB之后就有了11个重新分配的扇区,200TB之后增至370个,300TB之后达到了833个,如今则是1722个。

其它硬盘仍然只有寥寥几个坏区,影响微乎其微,Neutron GTX、Hyper 3K(可压缩版)则是唯一两个至今完好无损的

三星依然不肯披露840的扇区规格,但基本可以确定为1.5MB,那就是已经损失了大约2.5GB,但是因为冗余容量足够,这对实际可用容量仍无影响。

840虽然明显是最糟的,但不能因此就说TLC闪存不靠谱。算一下你就知道,500TB相当于在十年的时间里每天写入140GB,平常谁能做到这一点?

在这样的重压之下,840的确有些吃力,好几次都没能通过重建测试中的HASH校验。虽然最终还是过去了,但是查看SMART属性可以看到大量的不可恢复错误,实际应用中这很容易导致数据丢失,甚至系统崩溃。

但奇怪的是,三星自家工具Magician依然认为840很健康,它能访问SMART数据但主界面上依然说健康程度良好。840 Pro终于也有了两个重新分配扇区,没有不可恢复的错误,健康度也是良好。

第三方工具的结果就差异太大了,HD Sentinel就把840、840 Pro的健康度都列为了1%,照它看来这俩硬盘都废了。

接下来看看各块固态硬盘的性能变化趋势:

固态硬盘连写500TB:个个都是“猪坚强”
4MB持续读取

固态硬盘连写500TB:个个都是“猪坚强”
4MB持续写入

固态硬盘连写500TB:个个都是“猪坚强”
4KB随机读取

固态硬盘连写500TB:个个都是“猪坚强”
4KB随机写入

虽然有一些波动,但是总体而言,经过了这小半年的折磨,大家的性能基本都还维持了原样,这下子大家可以彻底放心了。

不过,840 Pro的持续写入最近开始有所下滑,从大幅领先变成了接近Neutron GTX,后续要重点观察。

此外,Intel、金士顿的随机读取速度初期反常地偏高,至今原因不明,可能和它们使用的SandForce主控有关。

再看平均写入速度:

固态硬盘连写500TB:个个都是“猪坚强”

840 Pro从一开始就飘忽不定,至今仍是这个样子,不过似乎有衰退的趋势,最高、最低值都不如早前了。

总的来说,大家的表现都很稳健,没有出现重大变故,Neutron甚至还在逆天地缓慢增长中。

那些突起可以忽略,每次到达关键点后对所有硬盘进行安全擦除的缘故。

最后是个小插曲:测试进行到300-400TB之间的时候,三星840/840 Pro、金士顿HyperX 3K(可压缩版)突然系统崩溃,没有任何预先警告,当时系统也一切正常。系统日志中出现了系统盘突然断开的条目,可能就是罪魁祸首。

测试使用的系统盘是海盗船Force GT 60GB,寿命才两年,数据写入量不过几个TB,按理说不应该有什么问题,SMART属性里也没有错误,不过它的主控是SandForce,闹个脾气也很正常。

为了避免类似问题重现,系统盘换成了Intel SSD 510,此后也确实一切顺利。

测试仍在继续,下一站:600TB。

固态硬盘连写500TB:个个都是“猪坚强”

固态硬盘连写500TB:个个都是“猪坚强”


固态硬盘连写600TB:这都弄不死你们

TechReport发起的固态硬盘耐久性测试已经进行了整整半年的时间,数据写入量也突破了600TB,那么参赛选手们的最新状况如何?

照例前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

固态硬盘连写500TB:个个都是“猪坚强”

参测成员:

- 海盗船Neutron GTX 240GB

- Intel SSD 335 240GB

- 金士顿HyperX 3K 240GB(两块,分别写入可压缩、不可压缩数据)

- 三星840 250GB

- 三星840 Pro 256GB

首先是个小八卦:你可能注意到了,500TB之后经过一个半月才有600TB的报告,明显比以往的节奏慢。这倒不是测试硬盘们出了问题,而是TechReport的评测人员跑去泰国海边度了两个星期的假(恨……),所以才拖到现在。

固态硬盘连写600TB:这都弄不死你们

固态硬盘连写600TB:这都弄不死你们

好了回归正题,先来看重分配扇区的最新趋势。

固态硬盘连写600TB:这都弄不死你们

840在写入100TB之后第一个出事儿了,开始出现坏块并被重新分配,之后一直稳定增加,现在已经达到了2192个,远远超过其他硬盘,TLC NAND闪存的天然缺陷暴露无遗。

不过即便这样也只损失了大约3GB的容量,而硬盘的冗余容量有23GB,所以仍然不是回事儿,可用容量还是完整的。照目前这种线性增加的趋势,要向耗尽这些冗余容量可得不少时日。

其他硬盘都是MLC闪存的,情况好得多,坏块在慢慢增加但基本可以忽略不计:HyperX 3K(不可压缩数据版)的从4个增至10个,840 Pro则从2个增至28个。

Intel 335仍然是只有1个,而海盗船的Neutron GTX堪称逆天,至今仍无任何损失。

另一块HyperX 3K因为写入的是可压缩数据,主控压缩后的实际写入量小得多,也安然无恙。

那么性能呢?

固态硬盘连写600TB:这都弄不死你们
4MB持续读取

固态硬盘连写600TB:这都弄不死你们
4MB持续写入

固态硬盘连写600TB:这都弄不死你们
4KB随机读取

固态硬盘连写600TB:这都弄不死你们
4KB随机写入

真没什么好说的,不管坏块多寡,各个硬盘的性能都始终极其稳定,除了偶尔莫名其妙的起伏之外根本没受到任何影响。

固态硬盘连写600TB:这都弄不死你们

擦除后的平均写入速度也波澜不惊。840开始阶段明显下滑了一些,之后就稳住了。海盗船Neutron GTX又一次逆天,竟然还在缓慢增长!

600TB是个什么概念?即便是每天写入300GB,足够你用五年半。这就是说,就算是840这样看似不靠谱的TLC固态硬盘,也足够任何普通用户折腾的,这种连续写入的测试也不知道什么时候才能弄死它。

TechReport最后表示,如果未来一段时间没有太明显的变化,700TB、800TB、900TB阶段可能就不出来单独报告了,直接等1PB(1000TB)。

固态硬盘连写600TB:这都弄不死你们

固态硬盘连写600TB:这都弄不死你们


固态硬盘连续写入1000TB:终于弄死三个!

TechReport的固态硬盘连续写入耐久性试验仍在继续。将近四个月前,他们公布了600TB节点的情况,所有固态硬盘依然工作正常、性能稳定,只是三星840在以稳定的频率损耗TLC闪存单元,部分MLC闪存的也出现了坏块。

对于这些顽强的家伙,测试人员表示有些“厌倦”了,不打算每100TB公布一次报告,而是直接等1PB,也就是1000TB。

现在,这一里程碑终于达成了,想看热闹的绝对不要走开哟。

还是再次回顾一下参测的固态硬盘吧:

- 海盗船Neutron GTX 240GB

- Intel SSD 335 240GB

- 金士顿HyperX 3K 240GB(两块,分别写入可压缩、不可压缩数据)

- 三星840 250GB

- 三星840 Pro 256GB

前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

固态硬盘连写500TB:个个都是“猪坚强”

固态硬盘连写600TB:这都弄不死你们

迄今为止,已经有三块最终倒下了,占总量的一半,而且死去的方式各不相同。

固态硬盘连续写入1000TB:终于弄死三个!

【第一个牺牲品:金士顿HyperX 3K】

这一款其实有两块,分别测试可压缩、不可压缩数据。你应该能想到,失败的是不可压缩那块。

它最后的写入量是728TB,而可压缩那块只写入了501TB。

第一次出现警告信息是700TB的时候,忽视它继续,725TB时再次报错,而这次来自系统:“Windows检测到一个硬盘错误。立即备份你的数据,以免信息丢失。”

不管它接着继续,又出现了几次警告,只过了3TB就不行了,Anvil开始报错。硬盘还能访问,但是在导出最后一批SMART数据之后就变砖了。

固态硬盘连续写入1000TB:终于弄死三个!

事实上,真正指示寿命的并非闪存颗粒完整性,而是损耗指数(MWI),大部分第一方和第三方工具都以它为基准,指示固态硬盘的剩余寿命。

该指数在出厂时为100,一经使用就开始逐渐降低,最终为0的时候耗尽寿命(理论上仍然可以继续使用一段时间),而它和重新分配的扇区数量是完全无关的。

查看可知,700TB的时候降到了10,728TB时变为零。

再来看看错误趋势:

固态硬盘连续写入1000TB:终于弄死三个!

其实过了上一次的门槛600TB,各种错误就开始迅速增加了,到最后有986个重分配扇区(600TB时仅有10个)、111个编程错误、381个擦除错误。这意味着,失效的扇区里有一半是因为ECC错误校验失败。

HyperX 3K设定了一定比例的冗余容量,但用途是内部管理功能和RAISE(SandForce的冗余技术),能用来重新分配的很少,因此很快就会耗尽。

金士顿表示,寿命到期后硬盘就会拒绝加载,自然就检测不到了。

【第二个牺牲品:Intel SSD 335】

写入量同样达到700TB的时候,SMART信息就发出了失败警告,但是使用起来仍然一切正常,闪存单元也几乎都是完整的,只有一个重分配扇区,还是写入300TB时候出现的。

于是继续写入,但仅仅又过了50TB,也就是到达750TB,最终就崩溃了。负责持续写入的Anvil Storage Utilities工具里出现了写入错误,程序本身也失去了响应。幸运的是,再次启动软件成功了,至少能提取出日志(稍后分析),但不能再继续写入了。

固态硬盘连续写入1000TB:终于弄死三个!

SSD 335写入了700TB之后,WMI指数就已经归零,标志着闪存不再可靠,不能继续使用了。

奇怪的是,写入报错后,SMART也不再返回任何信息,任何工具都无法访问,证明SMART技术已经挂掉。

重启系统,Intel SSD Toolbox里又出现了这块硬盘,仍然检测为存储设备,但容量是0GB,无法访问。

Intel表示,这种结果完全符合预期,写入错误意味着硬盘进入了只读模式,并触发一种自毁模式,让硬盘不再响应。永别了……

固态硬盘连续写入1000TB:终于弄死三个!

【第三个牺牲品:三星840】

TLC闪存的它并不是率先倒下的,仅此一点就可以让大家放心了。它坚持超过了900TB。

其实,刚过200TB她就出现了重分配扇区,之后不断增加,最后有接近3500个,但因为可用的冗余空间较多,所以坚持得比较久一些。

写入量达到900TB的时候,840仍然看起来很正常,三星自己的SSD Magician工具也报告还有不少剩余寿命,但是突然之间,它就挂了,Anvil崩溃,系统和工具都检测不到,只有Intel存储驱动报告了一个未知的三星SATA设备,也只能看看而已。

由于没有任何事先警告,死的又很彻底,最后一段时间的SMART数据就丢失了,无法得知最后确切写入了多少,状态分析也只能截止到900TB。

固态硬盘连续写入1000TB:终于弄死三个!

损耗指数在300TB的时候就变成了零,但是三星自己的工具仍然报告状态健康,继续使用也没问题。

再看可使用的保留空间,一直在稳定减少,但是最后死亡的时候仍有大约40%,理论上还能坚持。由于SMART日志丢失,无法得知死亡的确切原因,可能是突然就坚持不住了。

固态硬盘连续写入1000TB:终于弄死三个!

再看另一个重要参数:不可修复错误。它是在写入300TB时候出现的,有176个,当时用来校验数据完整性的200GB文件确实Hash失败了好几次,不得不重新拷贝,但此后不可修复错误一直没有增加。

在800-900TB之间的某个时刻,不可修复错误数量突然增加了119个,总量达到295个。虽然这时候Anvil没有报错,但这应该就是死亡元凶。

三星表示,840用户最终是应该能看到错误提示的,比如说兼容性错误、蓝屏死机等。至于这里为何突然死亡,还在进一步调查。

固态硬盘连续写入1000TB:终于弄死三个!

【1PB俱乐部:三位坚强斗士】

海盗船Neutron GTX、三星840 Pro、金士顿HyperX 3K(可压缩数据)都挺过了1PB,真是奇迹,因为它们标称的终身写入量没一个超过200TB。

固态硬盘连续写入1000TB:终于弄死三个!

固态硬盘连续写入1000TB:终于弄死三个!

HyperX 3K因为对付的是压缩数据,实际写入闪存的其实只有716TB,节省了几乎三成。

寿命指数最后只剩下了10,不过重分配扇区只有2个,没有编程和擦写错误(不可压缩的有上千错误),闪存状态良好。

它能坚持到何时还不好预测,估计还能使用很长一段时间,就看重分配扇区何时突增了。

固态硬盘连续写入1000TB:终于弄死三个!

三星840 Pro的寿命指数在400TB时就很低了,500TB后为零,700TB后开始大量使用冗余容量,但最后也只用了20%。

SSD Magician显示目前一切良好,但是不敢保证何时会突然死亡。

固态硬盘连续写入1000TB:终于弄死三个!

重分配扇区在600TB之后持续大幅增加,如今已有1836个。每扇区1.5MB,那就是2.7GB,理论上还有很多冗余可用。

固态硬盘连续写入1000TB:终于弄死三个!

海盗船Neutron GTX仍然牛逼得一塌糊涂,寿命指数竟然至今还接近80!重分配扇区至今还是0!真是一个逆天的存在。照这样的趋势下去,至少能坚持到4PB。

坐等海盗船解释……

【性能测试】

再来看看各款固态硬盘的性能趋势,包括那些死去的。

固态硬盘连续写入1000TB:终于弄死三个!
4MB持续读取

固态硬盘连续写入1000TB:终于弄死三个!
4MB持续写入

固态硬盘连续写入1000TB:终于弄死三个!
4KB随机读取

固态硬盘连续写入1000TB:终于弄死三个!
4KB随机写入

大多数都始终如一。HyperX 3K最初曾有明显的随机读取暴涨,但此后基本稳定。

海盗船Neutron GTX一直是最稳健的,不过最后一次持续读取测试出现了大幅度下降,反复测试五次都是如此。原因不明,等到1.1PB的时候再看看。

三星840最后一次随机读取速度有所下滑,可能和将死有关。

固态硬盘连续写入1000TB:终于弄死三个!

平均写入速度也都波澜不惊。840 Pro还在高低跳跃,Neutron GTX还在缓慢增加,真是无语了。

那些突起峰值不用理会,都是每100TB安全擦除后的干净状态。

固态硬盘连续写入1000TB:终于弄死三个!

不妨再看看死去三款固态硬盘最后时刻的表现,很明显都出现了波动,Intel、金士顿的还很轻微,三星840的就激烈多了,只可惜没有死亡前的数据。

【结语:死得其所】

1PB是个里程碑。那些通过了的固态硬盘可喜可贺,没有达成的也不用沮丧,你们同样证明了自己的价值,并且提供了很多宝贵经验。

直到最后时刻,失败的固态硬盘才出现些许性能波动,这证明一款固态硬盘完全可以在整个生命周期内维持良好的性能。

不过,不同设备最后终结的方式略有不同。Intel SSD 335预先设定好了界限,一旦越过就“自杀”,金士顿HyperX 3K则力图压榨出最后一丝潜力。

三星840一直是焦点,最终虽然死的很突然,很蹊跷,但再一次证明TLC闪存也可以很耐用。虽然这是以大量重分配扇区为代价的,但对容量的影响很微小。

尽管测试的样品不多,但完全可以拍着胸脯告诉大家:即便你在固态硬盘上每天不停地写入,只要不是人品太差,700TB也是毫无问题的!

接下来,剩余的三名斗士将继续接受考验……

固态硬盘连续写入1000TB:终于弄死三个!


固态硬盘连写1500TB:最神奇的莫名完蛋了!

TechReport进行的固态硬盘持续写入试验在不久前跨过了1.5PB的大关,换用大家更熟悉的计量单位就是1500TB。都说闪存很脆弱,但是消费级产品能够坚持到PB级别,相信绝大多数人都没有想到吧。

当然了,毕竟是消费级产品,毕竟不是专为超大数据量持久写入而设计的,参与测试的六块固态硬盘陆陆续续出现了各种问题。1PB就干掉了其中的三块,现在又牺牲了一个,而且是最没想到的一个。

前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

固态硬盘连写500TB:个个都是“猪坚强”

固态硬盘连写600TB:这都弄不死你们

固态硬盘连写1000TB:终于弄死三个!

参测固态硬盘:

- 海盗船Neutron GTX 240GB

- Intel SSD 335 240GB (已死)

- 金士顿HyperX 3K 240GB(可压缩)

- 金士顿HyperX 3K 240GB(不可压缩数据) (已死)

- 三星840 250GB (已死)

- 三星840 Pro 256GB 

固态硬盘连写1500TB:最神奇的莫名完蛋了!

其中海盗船之前一直表现稳健,没有任何错误,没有任何性能下滑,事实上性能反而在持续缓慢上升,实在难以理解。

但同样难以理解的,是它的突然死亡。

写入约1.1PB之时,Neutron GTX出现了三个重分配区块,按说不多,S.M.A.R.T.警告却很快就出现了,说原始读取错误率超过了阈值。

即便如此,仍然看似风平浪静地坚持到了1.2PB,但检测发现重分配区块数量暴涨,已经超过了3400个。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

然后就完蛋了。准备进入下一个阶段的时候,系统无法启动,而之前几块固态硬盘就是这么死的。热插拔也无效,能检测到硬盘,但是访问的时候磁盘管理器失去响应。

这根本不科学啊。固态硬盘挂掉之前,理应有一段缓冲期,尤其是应该进入一段只读状态,方便用户转移、保存数据,但是Neutron GTX突然就彻底无法访问了。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

Neutron GTX S.M.A.R.T.属性里的参数还是很丰富的,但都比较奇怪。重分配扇区指标就有俩,一个从0开始,一个从256倒数,其中后者到死都没有归零。

剩余寿命也在一直稳定递减,但到最后也还有很多。

刚才说的原始读取错误率最后显示为零,但并不完全准确。1108TB之后它就已经到了最低值,也就是错误最初开始出现的时候。

Neutron GTX的死因仍待进一步调查,海盗船也未提供扇区尺寸、冗余替换比例等指标。

【最后两位勇士】

三星840 Pro、金士顿HyperX 3K(可压缩数据)都突破了1.5PB,还都完成了另外一次不加电存留测试。1.5PB写入后,二者都载入200GB测试文件,然后断电拔开,闲置一个星期,再次加电启动,MD5 Hash测试顺利通过,说明数据都完好无损。

Anvil Storage Utilities工具对720MB小文件进行的Hash检测同样没有任何错误。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

840 Pro的出错速度在降低,但也有了3400多个重分配扇区(跟海盗船死前的差不多),每个1.5MB那就是损失了大约5GB。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

损耗均衡指数早在500TB前后的时候就彻底归零了,到现在又写入了1PB,但用掉的冗余空间比例还是不到40%,仍然有很大的余地。

三星SSD Magician工具显示健康度仍然是良好(good),不过别忘了,840死前也是给的这个评级呢,看来很不靠谱。

HyperX 3K使用的SandForce主控支持压缩写入技术DuraWrite,这是第二块坚持至今的一大功臣。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

主控写入1.5PB,而得益于压缩,实际写入闪存的之后大约1.07PB,也就是节省了三分之一。另一块写入不可压缩数据的,因为写入放大的存在,实际写入一直略高于主控写入。

如果压缩是维持其生存的唯一原因,那么在1.1PB左右就应该支撑不住了,不可压缩版就是这时候挂掉的,内置的健康指数也在那时候报警了。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

但是,1.5PB写入完成后,这货仍然只有区区12个重分配扇区!不知道是不是这块盘的体质特别好,这种差异在半导体产品上是极为正常的,不过至少两块盘是同时抵达的,测试方法也完全相同。

再细挖S.M.A.R.T.数据,又发现了一些有趣的地方。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

900-1000TB之间出现了2个不可恢复错误,恰恰就是头两个重分配扇区出现的时候,不知道是否巧合。无论如何,不可恢复错误是很致命的,它们会损坏数据、崩溃程序,甚至搞死整个系统。

编程与擦写错误分别有2个、3个,但它们都不致命,能够将其中的数据转移到其他完好区块上。性能可能会略有影响,但关系不大。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

【现在性能咋样?】

好了,来看看读写性能的历史变化吧。当然到最后就俩了。

固态硬盘连写1500TB:最神奇的莫名完蛋了!
持续读取

固态硬盘连写1500TB:最神奇的莫名完蛋了!
持续写入

固态硬盘连写1500TB:最神奇的莫名完蛋了!
随机读取

固态硬盘连写1500TB:最神奇的莫名完蛋了!
随机写入

尽管有一些波动,但几乎所有固态硬盘自始自终性能都很平稳。

海盗船Neutron GTX在到达1PB的时候,持续读取出现了大幅度下滑,但在1.1PB节点恢复正常,可惜死之前又下去了。

三星840 Pro的持续写入有些反复,其他很稳定。

金士顿HyperX 3K虽然性能相对较低,但也表现稳健。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

安全擦除后的性能,840 Pro依然频繁跳跃,HyperX 3K还是稳定但周期性来个峰值。

Neutron GTX之前一直在缓慢爬升,不可思议,不过到最后,很突然地,它就完蛋了。

固态硬盘连写1500TB:最神奇的莫名完蛋了!

再放大看最后一段。发现没?其他固态硬盘失效之前都出现了微弱的下滑,唯有海盗船,升着升着,就走了。

【下一个目标:2PB!】

虽然只剩下了两位,但是TechReport表示试验仍将继续进行下去,而获得的那么多宝贵经验是以前从来没有过的。

最关键的是,现代消费级固态硬盘的可靠性远远超出了一般想象,应付典型的日常使用实在是绰绰有余。全部六个试验品都毫无问题地写入了几百TB数据,后期虽然有各种各样的小毛病,但继续使用仍然影响不大。

另一方面,固态硬盘在到达预期寿命之后,问题和失效现象各有不同。大多数都能预先给出警告,甚至包括海盗船Neutron GTX,但也有说死就死的,因此在使用了很久之后,备份很重要。

840 Pro作为三星的旗舰产品,表现着实不俗(当年夸

固态硬盘连写1500TB:最神奇的莫名完蛋了!

它完美还真不亏),而且至今看起来很健康,还能继续坚持下去。

金士顿HyperX 3K虽然凭借数据压缩坚持至今,但也出现了一些致命错误,下一步很可能会倒下。

因此,840 Pro已经成了事实上的赢家。

截至目前,这两块盘都已经写入了1.6PB,而不把它们弄死,这个试验就不会结束!

2PB见……如果你们能坚持到的话……

固态硬盘连写1500TB:最神奇的莫名完蛋了!


固态硬盘连写2000TB:这俩货还不死!

2013年8月份,TechReport发起了一项固态硬盘耐久性试验,找来六块盘进行持续的数据写入,看看它们能坚持多久。结果是惊人的,这些消费级产品标称的寿命都不是很长,但最终都大大超出了理论值。

上一次检查截止到1500TB写入数据,三星840 250GB、Intel SSD 335 240GB、金士顿HyperX 3K 240GB(不可压缩)、海盗船Neutron GTX 240GB先后光荣地倒下了(具体过程参见此前的文章),只剩下了金士顿HyperX 3K 240GB(可压缩)、三星840 Pro 256GB。

近日,2000TB(2PB)节点也达成了,后边这两个竟然还在顽强地坚持着,都没什么问题,第五次不断电数据完整性测试也顺利通过。

前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

固态硬盘连写500TB:个个都是“猪坚强”

固态硬盘连写600TB:这都弄不死你们

固态硬盘连写1000TB:终于弄死三个!

固态硬盘连写1500TB:最神奇的莫名完蛋了!

固态硬盘连写2000TB:这俩货还不死!

固态硬盘连写2000TB:这俩货还不死!

【三星840 Pro:近乎完美的表现】

固态硬盘连写2000TB:这俩货还不死!

不愧是三星的招牌产品,本次测试中基本找不到什么毛病,不可恢复错误至今为零,只有一些重分配扇区,写入600TB的时候开始出现,此后一直缓慢增长,如今已有5591个。

这相当于大约8GB的容量,看起来不少,但只占256GB总容量的3%。

固态硬盘连写2000TB:这俩货还不死!

SMART属性显示,目前已经消耗了61%的冗余容量

损耗均衡指数在500TB左右的时候就归零了,再次证明这个参数并不等于寿命。

三星的监控软件里仍然将健康状态标注为“良好”,不过别忘了,三星840在挂掉之前也一直是良好状态,所以并不足为信。

从目前的情况看,840 Pro坚持到3PB基本不会有啥问题。

【金士顿HyperX 3K:主控算法立大功】

金士顿本次贡献了两块盘,分别写入可压缩、不可压缩数据。SandForce主控支持DuraWrite技术,可以对数据进行压缩再写入,减轻闪存负担,并加速性能,坚持至今的就是可压缩版本。

不过它写入的也不是纯粹的可压缩数据,还有46%是不可压缩的连续数据。其他盘都是100%不可压缩数据。

固态硬盘连写2000TB:这俩货还不死!

闪存实际写入了1.4PB多点,节省了将近600TB,不过这显然不是它一直活着的唯一原因,SMART参数里还有秘密。 

固态硬盘连写2000TB:这俩货还不死!

标称寿命也早就到期了,但重分配扇区都极少,至今仅仅31个,也就是相当于124MB。比上次检查时的12个多了一些,但依然太少了!

固态硬盘连写2000TB:这俩货还不死!

不可恢复错误还是最早出现的那2个,没再增加,多出来的都是编程或者擦写错误,它们都是可以恢复的,不会导致数据丢失。

继续下去,这块盘似乎远未到终点,但是死亡随时可能突然降临。另一块金士顿的盘在最后128TB写入中,重分配扇区就从10个突然猛增到了1000个,然后就挂了。

【这时候的性能咋样?840 Pro有些“跳”】

所有盘都在测试开始前记录了原始性能,然后每隔100TB重新测试一次,观察变化趋势。

固态硬盘连写2000TB:这俩货还不死!
持续读取

固态硬盘连写2000TB:这俩货还不死!
持续写入

固态硬盘连写2000TB:这俩货还不死!
随机读取

固态硬盘连写2000TB:这俩货还不死!
随机写入

840 Pro的持续写入性能在1.2PB之后开始有了一些上下波动,但在接近2PB时似乎又稳定下来了。

HyperX 3K的随机读取也有轻微的起伏,但一直都是如此,影响很小。

除此之外,两块盘都很平稳,并没有明显下滑。

固态硬盘连写2000TB:这俩货还不死!

平均写入性能变化,二者都延续了此前的趋势,不够可以看出,840 Pro的确有些变慢了。峰值都是安全擦除后的。

【终点在哪里?】

如果有人在测试开始前告诉我,普通的固态硬盘也能写入2PB数据,我是不会相信的,但没想到真做到了。

2PB啊,也就是2000TB。就算你每天写入1TB,也能使用5年半。这已经超出了99.99%用户的日常需求。

事实上,六块参测硬盘都毫无问题地写入了几百TB,均超过了预期寿命。

虽然测试样品并不够多,测试方法也比较单一,产品的个体差异也经常会很明显,并不能就此断然地下结论,说固态硬盘是多么多么牢固,但至少我们可以打包票地说,对于几乎任何普通消费者来说,绝对没必要担心固态硬盘的可靠性,TLC都绰绰有余。

固态硬盘连写2000TB:这俩货还不死!

接下来,三星840 Pro、金士顿HyperX 3K仍将继续孤独地前行,但是谁也不知道终点在哪里,看上去3PB将会小菜一碟。

840 Pro的重分配扇区数量比较多,写入性能也有所下滑,但没有致命错误。

HyperX 3K虽有两个不可恢复错误,但没再增加,重分配扇区也不是很多,而且有主控压缩算法的保护,如果没有什么突然意外有望成为最终的胜利者。当然了,即便如此,排除数据压缩因素后,840 Pro是最值得骄傲的。 

固态硬盘连写2000TB:这俩货还不死!


固态硬盘连写2500TB:终于……全死了!

固态硬盘已经是现在装机的必备选项了,超快的速度都有点让人再也不想用机械硬盘了,但围绕着固态硬盘,挥之不去的是寿命问题,特别是随着闪存工艺的进步,颗粒耐久性反而一路滑坡,还有廉价但更“短命”、引发诸多非议的TLC,更加深了很多用户的忧虑。

那么,消费级固态硬盘的可靠性究竟有多高?如果连续不停地写入数据,能坚持多久?一年半多之前,TechReport就决心找出一个答案来,于是装上六块固态硬盘,开始了前所未有的残酷折磨。

固态硬盘连写2500TB:终于……全死了!

前景回顾:

固态硬盘可靠性测试:写入22TB数据之后……

固态硬盘耐用性试验:200TB重压下的坏块

固态硬盘连续写入300TB:Intel 335也“坏了”

固态硬盘连写500TB:个个都是“猪坚强”

固态硬盘连写600TB:这都弄不死你们

固态硬盘连写1000TB:终于弄死三个

固态硬盘连写1500TB:最神奇的莫名完蛋了

固态硬盘连写2000TB:这俩货还不死

三星840 250GB、Intel SSD 335 240GB、金士顿HyperX 3K 240GB(不可压缩)、海盗船Neutron GTX 240GB先后在1500TB节点前不幸挂掉,但这也大大超出了它们的预期寿命,而且各自的“临终”表现都截然不同,最关键的指标重分配扇区也差异很大。

具体情况这里就不再赘述了,可参考上述之前的一系列文章。

固态硬盘连写2500TB:终于……全死了!

金士顿HyperX 3K 240GB(可压缩)、三星840 Pro 256GB则继续坚持着,一路走过了2000TB,不过很可惜,都没能达到2500TB。

【金士顿HyperX 3K 240GB(可压缩)】

固态硬盘连写2500TB:终于……全死了!

SandForce主控支持写入压缩,可大大减轻闪存颗粒的写入压力,为此测试中使用了两款HyperX 3K,分别写入不可呀搜和可压缩数据(压缩率46%)。

固态硬盘连写2500TB:终于……全死了!

前者在写入728TB的时候就挂了,比从主控得到的数据略多一点,符合预期。

可压缩版的实际闪存写入量则少了28%,因此直到1100TB的时候,才和它的兄弟齐平,最终一直坚持到2100TB才倒下。

固态硬盘连写2500TB:终于……全死了!

看这张图就知道它多能坚持了。剩余寿命指数是考虑了数据压缩因素的,因此这么耐操并不仅仅是SandForce主控的贡献。看看重分配扇区数量,直到最后都不到50个,这显然说明金士顿使用的闪存颗粒素质是过硬的,当然也有可能测试的这块尤其突出,不排除幸运因素。

固态硬盘连写2500TB:终于……全死了!

写入到900-1000TB的时候,这块盘才开始出现重分配扇区,并且出现了两个严重的不可纠正错误,但在此之后并未增加,只是多了一些编程和擦写错误。

其实在最后,这块盘的倒下是有些冤的,属于“非正常死亡”。去年圣诞期间,测试人员放假离开了实验室,期间断了一次电。回来后重新启动,系统很正常,但访问这块HyperX 3K的时候就锁死了,再次重启就检测不到了,SMART信息也无法访问。

所以说如果没有这次意外的话,它还有希望继续坚持一段时间,理论上能撑到把冗余容量给耗尽。

同时也说明,固态硬盘很怕掉电,尤其是生命的后期阶段,一定要小心。

【三星840 Pro】

固态硬盘连写2500TB:终于……全死了!

三星这款旗舰产品虽然也有一些不足之处,但总体来说堪称一块完美的固态硬盘,性能优异,可靠性也是极佳。

进入2015年,整个测试平台就剩下它屹立不倒了。2月底,测试人员要去休假一周,临走的时候还想着不会有事儿,结果遭遇乌鸦嘴。

回来后重新加载测试软件Anvil Storage Utilities,结果没有响应了,用于检测SMART数据的HD Sentinel同样如此,二者界面都是一片空白。

Windows资源管理器中访问840 Pro,立即崩溃。Intel SATA驱动则提示说,硬盘与系统失去连接。

和TLC闪存的840一样,它死之前也没有任何警告,但不知道和这次长达一周的休息是否有关。

固态硬盘连写2500TB:终于……全死了!

重分配扇区在600TB后出现,此后数量一直在增加,但很稳定。最终它写入了2400TB,重分配扇区超过了7000个,相当于消耗了10.7GB的闪存容量,但是还有大约1/5的余量。

更关键的是,它一生都没有出现不可纠正错误。

固态硬盘连写2500TB:终于……全死了!

损耗均衡指数其实在500TB前后就归零了,相当于此后一直在超期服役。

【最后的性能分析】

好了,最后一次,看看它们各自整个生命历程中的读写性能变化吧。

固态硬盘连写2500TB:终于……全死了!

4MB持续读取:HyperX 3K、840 Pro始终都平静如水。

固态硬盘连写2500TB:终于……全死了!

4MB持续写入:HyperX 3K一直很淡定,840 Pro则曾经有些跳动,1900TB之后稳定了些,但过了2200TB又开始下滑了,没再过来。

固态硬盘连写2500TB:终于……全死了!

4KB随机读取:HyperX 3K最后反而有所上扬,此前也有较大起伏。 

固态硬盘连写2500TB:终于……全死了!

4KB随机写入:所有硬盘都没有明显波动。840 Pro各项指标一直都是最好的,完美不是吹的。

固态硬盘连写2500TB:终于……全死了!

平均写入速度:因为测试方法的缘故,这个统计不能用来对比各块硬盘,但也能反映出各自的变化趋势。除了一些峰值,各块盘总体上还是比较稳定的,除了海盗船最后突然就掉下来了。

【还怕会写坏固态硬盘吗?】

TechReport说这是他们做过的耗时最长,也最累的评测了,但一切都是值得的,完全可以消除大家对固态硬盘的担心了。

要知道,即便是大家最不放心的TLC闪存三星840,也毫无任何问题地写入了300TB,而且直到超过700TB才写死一个,还不是840。

840 Pro最终达到了2400TB,也就是2.4PB,这是惊人的,很多企业级固态硬盘都不会标称这么多的终身写入量。如果一位用户每天写入1TB,那也要六年半之后才能搞死它。

固态硬盘连写2500TB:终于……全死了!

当然了,这里测试的硬盘有些偏少,而且产品体质往往会有差异,但这并不影响我们的结论。

只不过不同品牌的固态硬盘,最终失败的表现很不一样。Intel、海盗船、金士顿都发出了SMART警告提示,让用户有所准备,只是有些太早了,其实完全可以再用很久。

另外从HyperX 3K、840 Pro等最后的结局看,固态硬盘对掉电是很敏感的,比机械硬盘更敏感,而除了极少数产品之外,消费级固态硬盘都不支持掉电保护,所以一定要尽量确保供电的稳定性,而且系统不要闲置太久,时不时得热热身。

还有不少玩家质疑本次测试中简单粗暴的连续写入并不符合实际使用情况。确实如此,但任何理论测试都只能尽量去模拟,而不可能完全重现真实应用。诚然,想考察固态硬盘的可靠性还有更多、更好的方法,但这样连续写入其实也不失为一个简单有效的途径。

简而言之一句话:消费级的固态硬盘就放心用吧,不会轻易写坏的! 

固态硬盘连写2500TB:终于……全死了!


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多