SSD和冷数据问题,修复软件DiskFresh,来自2016年的国外讨论帖

flames ツ-avatar

flames ツ

2020-12-07T01:22:45+00:00

[url]https://hardforum.com/threads/diskfresh.1905993/[/url]
背景:
这个帖子的时间与三星以固件升级方式解决冷数据问题很接近,因此有一些讨论是基于当时最新的状况

隔壁[url]https://bbs.nga.cn/read.php?tid=24527561[/url]帖子也提到了这个软件:DiskFresh

这个软件是2013年就有的了。有用户声称,三星以固件更新方式解决冷数据问题之前,一些三星客服向用户推荐过这个软件。
没有发现厂商正面回应过这个问题。
镁光申请过一些看上去和这个问题相关的专利。
三星没有申请专利,但是那个帖子在三星冷数据门之后,因此猜测三星技术已经有了,只是不想把商业秘密申请专利。

中间有个回帖列举了很多信息,值得一看。(括号内为原帖没有的内容,是我补充的)
[quote]
1. Windows的磁盘查错无法解决这个问题。
2. 镜像复制太耗时间,碎片整理意义不大,且部分常用软件必须在操作系统启动前进行操作。
3. Samsung Magician跟这个问题无关(实际上我们知道,这主要是固件的作用,而不是前端管理软件)。
4. 它解决了一个现在已经没人提起的问题。然而,说不定硬盘厂商就是故意不修复这种问题呢?(结果WD这次又被人发现问题了)
5. 我不讲5的。(原文:well I'm going to take the fifth.)
6. 对于机械硬盘,磁盘碎片整理工具无用,因为冷数据一般都是已经就位很久的、非碎片状态的数据,平时只读不写,因此不会产生碎片,磁盘整理工具也就不会移动它们。
7. 读不会降低SSD寿命。写会。(楼下有人指出:读也会)
8. 在宣称以固件方式解决了问题的850Pro上,对数据进行刷新仍然能提升性能。
[/quote]另一个回帖指出
[quote]
(指出楼上7的错误)SSD写入会导致数据损失。
SSD上的数据损耗速度比很多人认知的要快。
大部分磁盘检测软件只检查写入错误,而不检查静止数据错误,所以不会主动刷新数据。
SMART不会检测相关问题。读取最频繁的区块,比如整个磁盘最前面的几个簇,寿命更短,这可能会导致磁盘分区信息损坏。作者自己就碰到了这个问题,并动手解决了。(作者是个80年代参与编写run length limited标准的大佬)
[/quote]以及引用的文献的一张图
[img]https://img.nga.178.com/attachments/mon_202012/08/9aQ5-e8h6KzToS8c-54.png[/img]
erixkzzuez-avatar

erixkzzuez

感谢科普[img]http://img.nga.178.com/attachments/mon_201209/14/-47218_5052bca81a77f.png[/img]
Inso-avatar

Inso

第四条翻译很不到位

楼上有人说了“DiskFresh是个好软件。但真正的问题是他揭示了一个没人问的问题”
4. “但真正的问题是他揭了一个没人问的问题”-这句话过于真实。硬盘厂商本可以自行集成这项功能,事实上一些高端商用硬盘就有此类功能。
但是一旦具有了这项功能,寿命就会更长,就没人会去买新的。
Leba-avatar

Leba

[s:ac:呆]我个人还是不信冷数据这个说法。因为很多人放出来的截图全都是小文件几MB/s的读取速度,这个再正常不过了。拉到下面大文件基本都正常。
下面是我的WD 2D蓝盘SATA 240G。你没看错,这是2D版/老版/sb版的,当时穷买不起贵的。25TB写入。我手上还有一块儿镁光MX500 500GB,数据也差不多。不过那块盘的系统是数据迁移的,买了一年多倒是有5年前的数据,不像这块儿西数直接装的系统,啥玩意儿都是“新”的。
点击展开 ...
[img]https://img.nga.178.com/attachments/mon_202012/09/9aQ5-hghcZgT3cSsg-kj.jpg[/img]

小文件看着速度吓人,拉到下面就快很多了。
[img]https://img.nga.178.com/attachments/mon_202012/09/9aQ5-fbryKoT1kS9o-bj.jpg[/img]

高亮的文件还是西数自带的SSD管理工具,我还真没用过,真正的冷数据从没动过。
我还有一块儿装游戏的现代(杂牌?)1TB。这个盘我拷GTA5进来的时候就不太行,拷贝的时候就90MB-20MB来回掉的。同样的拉到大文件,读取速度一点问题都没有。里面好久没玩的东西多了,天国拯救没动半年了。洛奇英雄传没动一年半了。
点击展开 ...
[img]https://img.nga.178.com/attachments/mon_202012/09/9aQ5-fggmZgT3cSsg-kh.jpg[/img]
当然我没资格跟卡内基梅隆的Yu Cai放屁,毕竟他博士论文就是SSD,而我是个废物。他把冷数据这玩意儿又炒了一遍,关于漏电和重写这块儿是这篇。
[url]https://users.ece.cmu.edu/~omutlu/pub/flash-error-analysis-and-management_itj13.pdf[/url]
但是他的说法吧:
首先是他针对长时间不通电的漏电掉电压症状,导致数据丢失bitrot的情况。当然了我不是专家,但是我寻思硬盘通电但是不访问数据,还是跟不通电有点差距吧。我毕竟通了电了,电压还是能保住的。
再是他的图其实数据并没有那么可怕。
[img]https://img.nga.178.com/attachments/mon_202012/09/9aQ5-2sirK2dT3cSsg-jz.jpg[/img]

这是比特读取错误RBER vs 擦写循环。真正的错误,不可挽回比特读取错误UBER跟RBER的关系:
[url]https://arxiv.org/pdf/1808.04016.pdf[/url]
[img]https://img.nga.178.com/attachments/mon_202012/09/9aQ5-d1wzK1vT3cSsg-go.jpg[/img]

图三个线是纠错ECC方案,没啥关系。还是那句话,看起来可怕,但是真正大量RBER导致10^-6级别(1比特UBER/MiB)的UBER需要,我拿眼睛估算5000(10^3级)擦写循环,一般TLC能撑2000循环已经不容易了。
其次是SSD标准组织JEDEC的标准。
[url]https://www.jedec.org/sites/default/files/Alvin_Cox%20%5BCompatibility%20Mode%5D_0.pdf[/url]
这个标准很吹牛逼,消费级要在30摄氏度1年不通电的情况下保持<=10^-15的UBER,也就是说1PiBit允许一个比特错误,或者125TiB有一个比特错误。当然了这个数儿大的不靠谱,跟机械硬盘厂商的150万小时平均崩溃时间MTBF一个把戏,我测他150万个硬盘1小时结果坏了一个,乘起来可不就是150万小时平均时间崩溃。虽然这个标准不靠谱,但是怎么说也比150万小时大多了。硬盘崩溃又有多常见呢。
最后是重写COPYBACK这个事儿。
这玩意儿并不是啥新鲜东西,本身SSD主控为了均衡SSD读写寿命自己就做重写COPYBACK,当然了也用来做纠错ECC的时候改正错误。那么问题来了,希捷西数三星的工程师又不是傻逼,ECC也不是啥近两年的天顶星科技,我想问如果你是ECC,你纠出一个错,你就默默地改对、不会汇报给主控,深藏功与名?主控在发现错误的时候就会重写,而不是放着错误不管,下次访问的时候再让ECC瞎几把算。
好,我们再假设西数的工程师就是智障。Yu Cai提及过错误会累加,最终导致本可修正的错误变成不可修正。这很符合逻辑,大家也很好理解。那么我们假设西数的工程师傻逼,ECC纠错也不汇报主控就继续错,错了半年又错半年直到ECC和操作系统的纠错都出错变成了不可修正UBER,你们现在不应该是出现读取速度降低的问题还在悠哉游哉的复制粘贴,而是应该算MD5检查数据完整性!

我知道SSD没有寻址时间一说。但是我看网上有哥们儿自己重置了SN750搞得所有小文件都变成2000MB/s的读取速度沾沾自喜,我很怀疑这种重置是某种特别的访问逻辑,让本应该近似4k随机读取的速度变成接近连续读取,导致看上去所有文件访问速度特快的假象。正常小文件没有理由这么快。
至于那位西数玩游戏特卡、一重置就好的朋友,你更可能是盘坏了,跟冷数据没什么关系。其他人恕我直言,我看都是云加速的。
DDVader1-avatar

DDVader1

[quote][pid=475008783,24533934,1]Reply[/pid] Post by [uid=38460730]王胡桃[/uid] (2020-12-09 08:46):
[s:ac:呆]我个人还是不信冷数据这个说法。因为很多人放出来的截图全都是小文件几MB/s的读取速度,这个再正常不过了。拉到下面大文件基本都正常。
下面是我的WD 2D蓝盘SATA 240G......[/quote]通篇都是你自己的想象:
硬盘通电和电压保持毫无关系;
正常固态硬盘的4K速度都接近百兆每秒,而很多人的小文件速度都掉到十兆去了;
大文件速度很多人都掉到了百兆每秒;
慢速读取很明显属于可修复错误,和UBER完全不同。
Local Pints-avatar

Local Pints

有人试了吗 [s:ac:羡慕]
SirKibble-avatar

SirKibble

一句话,我blue 3D SATA 1T的盘,辐射4切换场景等半天,剪切走,剪切回去,基本上转两圈就好
Ðoor-avatar

Ðoor

这个楼主太搞笑了
能写超过一个屏幕的伪科学也是牛皮了。
qlc tlc mlc slc的时间线性误码率是不一样的
你去看看论文时间再来叨叨。
Allanker-avatar

Allanker

[quote][pid=475024318,24533934,1]Reply[/pid] Post by [uid=1263807]foxpat[/uid] (2020-12-09 09:42):

一句话,我blue 3D SATA 1T的盘,辐射4切换场景等半天,剪切走,剪切回去,基本上转两圈就好[/quote]我是星际2和风暴,魔兽世界这么卡,解决方法和你一样

只不过爆出冷数据之前,都当作游戏/系统渣优化了。

然后上面还有人在凭臆想甩锅。

然后居然还有图,居然还排版得挺正规,不是收钱的,真的这么“专业”吗?
SirKibble-avatar

SirKibble

Reply to [pid=475027992,24533934,1]Reply[/pid] Post by [uid=1269569]乌鸦z[/uid] (2020-12-09 09:54)

不甩不行啊,认栽的话,WD这基本是全产品线都崩了

也不知道WD都他妈找了一群什么傻屌工程师,三丧多少年前的坑还能掉进去
Allanker-avatar

Allanker

[quote][pid=475029061,24533934,1]Reply[/pid] Post by [uid=1263807]foxpat[/uid] (2020-12-09 09:57):

不甩不行啊,认栽的话,WD这基本是全产品线都崩了

也不知道WD都他妈找了一群什么傻屌工程师,三丧多少年前的坑还能掉进去[/quote]难道也是图便宜找的阿三工程师?


这么看,三棒还凑合啊。
Ðoor-avatar

Ðoor

[quote][pid=475029061,24533934,1]Reply[/pid] Post by [uid=1263807]foxpat[/uid] (2020-12-09 09:57):

不甩不行啊,认栽的话,WD这基本是全产品线都崩了

也不知道WD都他妈找了一群什么傻屌工程师,三丧多少年前的坑还能掉进去[/quote]也许人家知道 但是颗粒寿命摆在那里,平时复写损失太大
Streasy-avatar

Streasy

之前有水友说是东芝颗粒的锅。昨天看了kc2000也有冷数据问题,那玩意貌似也是东芝96tlc,但是我用了一年左右的紫光c2kp没事,同2262en主控。
SG Watermelon Seed-avatar

SG Watermelon Seed

[s:ac:委屈]有点困惑西数的冷数据只有西数闪迪有吗,除了三星外其他牌子都没有吗?大家也只说三星解决了,没说其他固态咋样啊
sammohana-avatar

sammohana

泥潭是个很神奇的地方,一段时间死命的推荐某个产品,一段时候后又死命的喷那个产品[s:ac:茶]
IamGorgon-avatar

IamGorgon

[quote][pid=475033592,24533934,1]Reply[/pid] Post by [uid=9648964]sak2000[/uid] (2020-12-09 10:11):

泥潭是个很神奇的地方,一段时间死命的推荐某个产品,一段时候后又死命的喷那个产品[s:ac:茶][/quote]泥潭反买,别墅靠海
Allanker-avatar

Allanker

[quote][pid=475032690,24533934,1]Reply[/pid] Post by [uid=40730103]lacksheep[/uid] (2020-12-09 10:09):

[s:ac:委屈]有点困惑西数的冷数据只有西数闪迪有吗,除了三星外其他牌子都没有吗?大家也只说三星解决了,没说其他固态咋样啊[/quote]都讨论够了啊,INTEL的大多都没有,和西数采用同一主控的各种牌子应该都有。
musti-avatar

musti

好家伙,还有当鸵鸟的啊,自己的没问题就认为别人出问题的都是假的?那俺寻思当年也不是每一台三星NOTE7都爆炸了啊[s:ac:赞同]
SirKibble-avatar

SirKibble

Reply to [pid=475030686,24533934,1]Reply[/pid] Post by [uid=33644]Smallthing[/uid] (2020-12-09 10:03)

保守起见三个月全盘写一遍,拿我1T的盘来说,一年4TBW,算写入放大了不起10TBW,用5年,50TBW,什么洋垃圾颗粒这么牛逼50都不敢给
father_frag-avatar

father_frag

[quote][pid=475008783,24533934,1]Reply[/pid] Post by [uid=38460730]王胡桃[/uid] (2020-12-09 08:46):
[s:ac:呆]我个人还是不信冷数据这个说法。因为很多人放出来的截图全都是小文件几MB/s的读取速度,这个再正常不过了。拉到下面大文件基本都正常。
下面是我的WD 2D蓝盘SATA 240G......[/quote]一本证明的扯淡还能写这么多也是种本领