个人对U.2固态连接方式和pcie switch、三模卡的经验小记

qx-avatar

qx

2024-01-26T00:22:56+00:00

省流版:只要没有高硬盘读写且容量需求超大的人,没事不要瞎折磨什么U.2硬盘什么HBA/Raid什么plx/pex,消费级m.2够用了,谁真的用得到1000K的4k iops和dwpd单位的理论寿命还有大几十T的容量。

众所周知,诸如SN640之类的3.0时代的老U.2硬盘在前两年还有新制造的产品,各家代理也堆积了海量的古董,所以总能看到大量16xx的7.68T“大船”,至于这些大船有多好,我一个手上摸过的硬盘数比风扇数还少的杂鱼就不学风扇先辈搞什么硬盘锐评了,反正现在库存也清了不少,也有各种各样的由头涨价,真要买一两块“大船”想必也不会特别在意什么性能什么寿命,如果便宜大碗不够吸引人了想必也不会有那么多人去买颗粒来路不明的小厂固态不是(

所以对于U.2硬盘,就不去讨论什么性能什么1DWPD 3DWPD什么OP比例这类“中文什么的看不懂啦”之类的复杂话题,依照我的个人经验,简单聊一聊坛里哪位富哥真买了好几块甚至十来块U.2硬盘,要怎么在不影响m.2插槽的情况下给自己最爱的旗舰消费级cpu+旗舰消费级显卡上怎么尽可能的连接上自己买来的“大船”。

至于最简单的连接方式,自然是通过支持NVMe协议的m.2插槽转各种SFF接口再转接到SFF-8639连接U.2硬盘的方式(至于SFF是什么,SFF-8639又是什么,请往下阅读),毕竟物理接口再怎么奇奇怪怪,只要大家都是PCIe总线下的不同物理形态,理论上都是互相兼容的。
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-fmvoX12ZalT3cS340-2c0.jpg.medium.jpg[/img]
像这两根就是最大路货的傲腾900P里附赠的m.2直转sff-8639和m.2转sff-8643再转sff-8639数据线,当然硬盘侧的连接线上还带有sata的供电接口,毕竟99.99%的U.2硬盘最大功耗大于等于20w,让最大功耗输出不超过9w的m.2接口提供U.2硬盘是绝对不现实的,曾经流行的企业级mlc因为功耗太高烧掉的笔记本接口没十个也有九个了,m.2那弱小的pin脚又怎能抵挡容量更大功耗更高的U.2硬盘了?

而900P/905P自带的这种直转线,在淘宝上能买到的基本上都是从原本傲腾的盒子里取出来的,兼容性基本上仅限于intel自家的U.2硬盘,网上对于这线不兼容的报告太多了,基本上没有考虑的必要,但由于是不转成其他物理接口再转SFF-8639的方式,所以这是理论上高度最低的转接方案,基本上不会有之一。
(各种接口介绍,不想看的可以直接看下面一段) ...
在讲解其他方案之前,先介绍一点关于SFF接口的小知识,当然也不会从SFF的历史缘由讲起(太麻烦了网上有得是介绍),直接简要介绍一般情况下各位富哥可能遇到的三种接口,SFF-8643、SFF-8611(8612)、SFF-8654。(当然m.2也是一种SFF接口,暂且不论)
首先是上面绿色pcb板上的方形接口,SFF-8643:
别称MiniSAS HD,在PCIe 3.0时代出现做为替代SFF-8087(淘宝上那些几十块一百块的垃圾raid卡上的接口,只能接sata和SAS硬盘)接口出现,从此时开始sata接口的演化和升级也走入末路,也是一个接口能接三种不同数据协议的时代开始(当然也可以理解为SCSI和PCIe两种协议),一个SFF-8643接口可以等价理解成PCIe x4的带宽,也对应着一个SFF-8643接口可以连接四个SATA/SAS硬盘或者一个U.2硬盘。
当然实际支持需要看另一端是主板的m.2接口还是三模HBA/Raid卡,只有在三模卡下才能做到一线通。(至于三模卡,下面的内容会介绍)
虽然说是3.0时代的产物,但是上文也说到,这只是协议的物理接口形态,不代表通过4.0 m.2接口转出来的SFF-8643接口不支持4.0速率,上面照片里的那个就支持4.0速率。

其次是SFF-8654:
手上没图也不想把电脑里的线拔出来所以我们看官方文档的图吧。
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-5opsZ1qT3cS194-1d2.png.medium.jpg[/img]
别称SlimSAS,PCIe 4.0时代的产物,一般来说有直头和弯头两种,可是戴尔的企业级产品里会用SlimSAS LP这种不知所谓的接口,不管是公头还是母头都和正常的SFF-8654不一样,也不知道线序是不是一样,这也是为什么戴尔那些用了更高主控的Raid卡售价跟烂大街的HBA一个档次。
顺便眼尖的同学会看到上面弯头和直头的宽度似乎并不相同,因为SFF-8654提供两种PCIe带宽,x4和x8,而不像一个SFF-8643接口只能提供x4的带宽,所以淘宝上的SFF-8654 8i接口另一侧是两个SFF-8639,且大部分提供给你的SFF-8654接口都是x8,很少见到x4的接口,基本上只会在工作站主板上用来提供sata接口,毕竟大部分主板上提供的8个sata接口有4个是和主板上的PCIe x4接口共同的,这一代W790和WRX50的主板上都能看到SFF-8654 4i的接口,消费级现在就装机猿那个H770背插主板用上了。

最后是我觉得最不知所谓的SFF-8611(8612):
同样没图,所以也拿官方文档的图来看。
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-55amZyT3cS14i-v5.png.medium.jpg[/img]
这个接口应该是最熟悉的一集了,又称oCulink,消费级上已经广泛用于转接显卡。
至于为什么说这byd接口最不知所谓呢,是因为这个接口是在SFF-8643和SFF-8654之间泛用的一种接口,不管是3.0还是4.0时期都有相当多的应用,而因为SFF-8643的历史惯性,我也不知道是不是历史惯性,反正大量企业级应用全都是TM的4i接口,不管是intel自家的switch卡还是AMD超微的switch/retimer卡都tm是只提供x4带宽的4i接口,导致两头超多的接口,线乱的复杂程度比我机箱里的那坨SFF-8654转SFF-8611多十倍甚至九倍(毕竟我才接两根,再接两根感觉风道都堵上了
而x8带宽的接口则算是消费级捡企业级不要的垃圾吃,华硕幻X和rog ally掌机连接XG Mobile的接口就是SFF-8611+全功能Type-C的融合体,而联想就更不知所谓的编了个ThinkBook Graphics eXtension的名字,可我寻思你这不就是SFF-8611 8i?华硕这好歹还是二创,您这是啥?建议做个九宫格(
而至于SFF-8611为什么又有SFF-8612的称呼,干脆就当作一个是3.0一个是4.0罢,不想考证,这个我也觉得不知所谓。

上诉三种接口本质上都是没多大插拔需求的,所以理论插拔次数其实非常低,实际插拔次数能到三位数可能都很不错了,而真正提供热插拔的,是硬盘侧的SFF-8639,只是突然想不到怎么介绍了,我谢罪。
简而言之把SAS当做sata4的话,U.2接口就是sata5,SAS在sata接口中间空出来的地方增加了一面触点,而U.2则在另一面也增加了触点,算是这个物理接口的极限,也是向下兼容的极限,未来则要逐步转变为E.1L/S E.3L/S插槽。
5.0时代取代SFF-8654的接口是SFF-TA-1016(MCIO),不过现在没什么参考意义,5.0的硬盘都买不到几块想弄洋垃圾就更难了,而且就消费级可怜的5.0通道数也没啥好想的。

在初步了解了那些莫名其妙的接口之后,如果在消费级主板上想连接更多的u.2硬盘,且不影响用显卡的前提下(当然不插显卡的可以选择AMD能拆分4x4的主板,不过这也就4块U.2),如何使用PCIe Switch或者HBA/Raid卡的方式连接硬盘。
PCIe Switch篇 ...
众所周知消费级的主板PCIe通道数只有可怜的十几二十根,AMD在phx2的cpu上给你砍的甚至不剩几根了,而南桥周边设备又多,实际上也只有x8带宽,网络USB还有从南桥上分出来的m.2插槽,想再弄点PCIe通道出来基本上已经不可能了。
而4090在4.0 x8的带宽下和4.0 x16基本上没多大性能差异,如果我们把剩下的x8也做一个南桥出来呢?
这个时候就可以用上PCIe Switch芯片了,这东西本质上就可以理解为南桥,能把16条PCIe通道拆分成32条甚至96条(5.0的芯片甚至最大支持拆分到144条),当然实际总带宽跟着接口得到的带宽数来,并且向下兼容,4.0 x8的带宽连3.0 x16的设备是能提供全满速的,前提是能拆出来16条PCIe通道。
且大多数情况下是预先按照一份x4拆好的,我手上没有把两个拆出来的x4合并成一个x8的设备。
而提供PCIe Switch芯片的厂商现今只剩下博通(broadcom)和微芯(Microchip),淘宝上能便宜购买到的基本上全是收购了PLX的博通产品,所以微芯的产品暂且不提,我也只见浪潮做过,现在大改已经绝迹惹。
和硬盘一样,现在能买到的Switch芯片基本上都是3.0时代的老东西,淘宝上那些SFF-8643接口的拆分卡不是PLX 8747就是PLX 8748,当然也有人画了PLX 8796转八个8654 8i的板子,但是得自己拿BOM单采购打板(
这种东西最大的好处是即插即用,驱动早就在系统自带的驱动里了,坏处同样是即插即用,因为它只能即插即用,这些固件不知道什么版本,驱动全靠系统里的itsas3.sys运行的东西出了问题完全无法解决,至于最新版本的固件和驱动?博通才不会给你呢。
不过比起可能会出现的bug,对于富哥来说最大的问题还是“我都买了这么多4.0的U.2硬盘你让我用3.0协议的PCIe Switch?”
介于pex880xx的板子没人会画的前提下,要么去淘宝上花大价钱去买Highpoint的7580系列,要么去海淘一张博通自己的p411w-32p,反正这俩都是用的pex88048,也就一个主动散热一个被动散热的区别,当然我强烈建议有主动散热,
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-465pZeT3cS1ie-t6.png.medium.jpg[/img]
这是没上PCIe风扇架的温度
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-1yhkZdT3cS1ie-t6.png.medium.jpg[/img]
这是上了PCIe风扇架的温度,而且还是俩9225的猫头鹰,非常能缓解散热焦虑(

而如果购买了这张PCIe Switch卡,还在用win11的用户,则必须在系统装好之后在C盘删除所有 itsas35i.sys 的文件再装上P16版本的驱动,固件版本需要控制在最高4.1.2.1的版本,操作的方法可以去B站看 前进的四火 的视频,截图讲解也太麻烦了。
至于理由是什么,下面讲HBA/Raid卡的时候可以再看,反正都是博通作妖。
(当然这卡还有个名字,1611-8p,联想这只贴名字固件都可以直接刷回博通版的操作是真的好,不像某个用特殊接口的厂商x)
HBA/Raid卡篇 ...
如果觉得4.0 Switch卡太贵,甚至还想要有大缓存和独立电池组Raid的人来说,你可算是大冤种了,奉劝最好立刻马上打消这个想法。
如果真的软raid不能满足需要,那么购买的raid卡最低要是支持三模(Tri-Mode)的博通94xx系列,当然更烂大街性能更好的是95xx系列,而鉴于这些东西本质上是不对消费级发售的,所以这东西就拥有着无数且不可理喻的,兼容性问题。
HBA卡真的不需要考虑一点,直接放弃,完全不提供smart信息不提,96xx的hba卡在我认识的朋友手上甚至出线了只认特定盘的情况,而95xx我的体验则是极大的性能损耗,连续读写最轻对半折最终打骨折,要这样还不如用3.0的Switch卡呢(
而Raid卡,如上文所说最便宜的是用SFF-8654 LP的戴尔H755,94xx感觉还是算了,和H755同芯片的9560-16i价格基本上在H755的一倍及以上,只要不是接硬盘背板而是像sata硬盘一样直接塞机箱里H755绝对是最好的选择,当然这东西和9500-16i一样掉速,我试过。
最大的问题则是在晦涩难懂的storcli命令和固件驱动上了,95xx和96xx的storcli命令不一样,在用之前一定要看文档。
驱动什么的就更吓人了,从p411w-32p用的itsas35.sys到95xx用的itsas35i.sys再到96xx用的mpi2ses.sys,这三个不同名字的驱动会去抢同一个设备,最后的结果就是蓝屏重启。
不光固件和驱动要对的上号,windows更新还会给你安装新版本的驱动导致和旧版本固件冲突最后蓝屏重启。
简直就是折磨中的折磨,p411w-32p这东西更是横跨了这仨驱动,后续驱动的文件和96xx一样不认硬盘,所以能用的只有刚刚说的早期版本,而至于哪个版本能用哪个版本好用就只能一个个去试了(悲)。

至于背板就是最简单的了,完全没有什么要讲的,只是背板一定要搭配PCIe Switch/HBA/Raid卡, 不然热插拔的功能算是浪费了,顺便记得上个风扇吹吹,硬盘多了还是会烫的。

虽然完全不觉得真的会有富哥自己折腾这种东西,但是毕竟也是我从前年装台式机之后的惨痛经验,姑且写个快4000字记一下得了(
最后放个p411w-32p(1611-8p)镇楼
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-l1ofZwT3cS1hc-140.jpg.medium.jpg[/img]
Bless-avatar

Bless

Reply to [pid=740360803,39133372,1]Reply[/pid] Post by [uid=42341365]青光123[/uid] (2024-01-29 09:26)也是,除了hedt,上转接卡的基本都是单盘,应该没有富哥会买带plx的多盘位转接卡接msdt上吧[s:ac:哭笑]
bazookers-avatar

bazookers

学习了[s:ac:羡慕]毕竟很多人都考虑过22110或U.2的大船 还有傲腾的执念
Gyudon-avatar

Gyudon

asmedia也还在卖pcie switch芯片吧,虽然大概不太打得进企业级市场
17000bees-avatar

17000bees

Reply to [pid=740354981,39133372,1]Reply[/pid] Post by [uid=42286505]willzen2017[/uid] (2024-01-29 08:50)
祥硕就算了,别说企业级,淘宝都只拿它转接m.2,而且也不比8747方案便宜几块,在这4.0时代的尾声都没见过用ASM2480B的,说不定就华硕自己的服务器上过
Bless-avatar

Bless

看完发现没有讲pcie转u2的转接卡,是考虑到现在的显卡厚度基本都会把2槽挡住吗[s:ac:哭笑]
17000bees-avatar

17000bees

Reply to [pid=740360256,39133372,1]Reply[/pid] Post by [uid=64351766]凯旋幻影[/uid] (2024-01-29 09:23)
是我忘了(土下座)
不过转念一想这个更没啥讲的了,直接转PCIe证明不会买多块,不买多快随便买个转接卡就够了,这东西没有任何芯片不讲任何技术只需要关心以下协议是4.0还是3.0
17000bees-avatar

17000bees

[quote][pid=740362804,39133372,1]Reply[/pid] Post by [uid=64351766]凯旋幻影[/uid] (2024-01-29 09:37):

也是,除了hedt,上转接卡的基本都是单盘,应该没有富哥会买带plx的多盘位转接卡接msdt上吧[s:ac:哭笑][/quote]像我这般魔怔的人可以说没有了(
最主要还是现在hedt太贵,2400和wrx50都比我折腾这点东西贵太多了,msdt+switch算是最满足all in boom的了,又要臭打游戏又要大容量还要水冷(
Lyo-avatar

Lyo

给大家告诫一下,u2的线超硬,小心不要把插槽弄坏了。
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-q3vZgT3cSsg-lc.jpg[/img]
𝐆𝐮𝐜𝐜𝐢-avatar

𝐆𝐮𝐜𝐜𝐢

好早以前买了张pcie转双u2的卡,结果设置内存参数的时候一直重启电脑把转接卡搞物理冒火了[s:a2:哭]
[img]https://img.nga.178.com/attachments/mon_202401/29/9aQ2t-5ahkK1zT3cSu0-e3.jpg.medium.jpg[/img]
Scrubs-avatar

Scrubs

消费级上两块PCIE转U.2足够了,我现在包括M.2插了7个固态(新平台7800X3D+X670E)
Lyo-avatar

Lyo

[quote][pid=740374963,39133372,1]Reply[/pid] Post by [uid=37203011]剑帝莱維[/uid] (2024-01-29 10:37):

消费级上两块PCIE转U.2足够了,我现在包括M.2插了7个固态(新平台7800X3D+X670E)[/quote]差这么多pcie设备,会不会很慢
Chronic-avatar

Chronic

现在u2也跟着暴涨了,很烦。只能等不知道有没有的下一个周期[s:ac:汗]
SouthernLGND-avatar

SouthernLGND

SN640比起去年上半年暴涨了差不多差不多100%让我暂时放弃列装这么多SSD的想法了

反正真需要SSD性能的要求现在主力机的合计5T的SSD又不是不够用,大容量存储还是老老实实NAS上的机械盘
RileyS-avatar

RileyS

[img]https://img.nga.178.com/attachments/mon_201209/14/-47218_5052bc587c6f9.png[/img]我就想知道有没有便宜大碗的u2/u3背板4u机箱,其他我都可以diy,就這背板鬧麻了
Lutfi-avatar

Lutfi

900p点赞,做系统盘有提升(大概[s:a2:doge]
ilyVoss-avatar

ilyVoss

intel和supermicro的3.0拆分卡就是microchip的
反正我是没看到需要什么特殊的驱动
silvrry-avatar

silvrry

本来想弄两块 U2 放 nas 里当高速素材区用的…后来发现光连接兼容就很费劲,放弃了
dixneuf-avatar

dixneuf

Reply to [pid=740362804,39133372,1]Reply[/pid] Post by [uid=64351766]凯旋幻影[/uid] (2024-01-29 09:37)
以前我用B550时是这么用的[s:ac:哭笑]拆成8+8然后下面的8插显卡
最近网卡便宜/嫌机箱线太多/epyc没业务了/换Z690就配成nvmeof,本地只留了一块U.2
dixneuf-avatar

dixneuf

Reply to [pid=740403273,39133372,1]Reply[/pid] Post by [uid=16298052]BarkTS[/uid] (2024-01-29 12:46)

我是觉得如果不是图一个插拔优雅大可不必最求热插拔背板...X16拆4X4就行,转接次数少,对信号要求低些。而且这样我觉得散热还方便处理,除了凯侠那些一定要吹洞洞的