一直对DELL以及HPE家的U。2的多盘位热拔插笼子垂涎已久,但是又狠不下心去买一台他们的服务器工作站,因为我本人有一些存储测试的需求,确实U。2的热插拔笼子会大幅提升工作效率,于是在市场上兜兜转转,发现了一款企业级的U。2四盘位DOCK产品:ICYDOCKToughArmorMB699VPBV2。 这是一款标准的PCIe4。0产品,也满足我的需求,所以就买回来一探究竟。购买之前我扒了一下这家公司的背景。 艾西达克(ICYDOCK)隶中铵艾科科技(深圳)有限公司,品牌创立于1994年,专注于专业硬盘及数位存储周边硬体解决方案,提供企业及专业用户高硬盘密度,易维护,省系统空间及高稳定度的内外接硬盘盒。艾西达克位于美国加州的研发团队,依据一级企业客户需求导向设计,坚持不断优化创新,掌握多项专利技术,并通过国际一级企业严格的测试验证与使用,持续为客户创造长期价值。艾西达克全球据点提供客户即时的技术支援跟售后服务,产品广受欧美一级企业,工控计算机大厂,以及政府及军方采用,范围涵盖数位监控,医疗系统,高速绘图,影音编辑,生产自动化,大数据,AI人工智慧,云端存储,军规系统数位搜证等。 ICYDOCKToughArmorMB699VPBV2是发展到第二代的产品,其雏形是基于2015年和HP合作推出的OEMODM产品,在此基础上做出改良,定位更加亲和大众DIY市场。可以说是基于企业级定位的定制版改良后推出的产品。 从合作客户来看,该公司是一家深耕ODMOEM市场的资源配套东西,为各家的整机工作站服务器提供硬盘存储机构的定制服务,完整自我生态链之后逐渐迈入零售市场。 这个官网有趣的地方在于提供了DELLHP等主流服务器工作站对自己产品的兼容列表, 比如我们选择HPZ8工作站,网站会直接提供适配Z8的各种产品供你选择。这等于在应用层面给出了可靠性证明,你可以不用购买HPE高昂的附件而转向ICYDOCK相对廉价的产品序列。 针对MAC产品,ICKDOCK也给出了升级购买指南。 比如我们选择MACPRO5。1,网站会给出适配的产品系列供选择。 这种高度嵌入品牌工作站服务器的指南提供了更多的适配性保障,目前在同类的产品中尚属少见。因为消费者尤其是品牌机消费者很关心就是买回家能不能正常兼容适配,这里ICYDOCK官网给出了有效的兼容性证明。开箱 包装正面 包装背面 包装侧面 开箱 ICYDOCKToughArmorMB699VPBV2本体正面 ICYDOCKToughArmorMB699VPBV2本体背面 ICYDOCK产品大部分都采用的是TRAYBODY全金属设计,本款产品也不例外,钢构机体坚固度提升,不容易损毁,毕竟他们产品的对标客户都是企业级客户,坚固的机体可以有效降低RMA成本,提升用户的使用可靠性,这是系统集成商以及企业级用户的刚需。 想象一下,如果今年的预算已经用完在购买设备上,结果隔年产品出了问题,结果没有特别留下经费去做维护保固,客户要再去向上层申请维修经费,公司内部也要跑很多流程,此举会给客户添很多不必要麻烦,然而他们的上层也会对他有不好的印象。所以产品能不出事,对于他们会是一个很大痛点,尤其对大客户,集成商。高品质产品,回应快的的维修团队,都可帮助客户在这痛点上解除问题。 风扇是采用Coolingfan出品的4020规格风扇,型号为DFB402012H,参数为DC12V0。15A,标准的3PIN接口。 当然官网有一个标准的替换风扇的验证型号供给替换参考 DOCK上内置了三档的手动风扇转速调节器,分别是关闭,低速和高速模式 供电部分是用了两组SATA供电接口 数据接口部分使用了四组SFF8012接口输入,也是我们常说的OCulink接口 DOCK侧面可以使用螺丝固定在机箱的5。25寸光驱位,只占用一个光驱位可以容纳4颗U。2SSD。 下面说一下SSD的安装 按下DOCK上的盘位弹出按钮,可以弹出盘架 四个盘架完全弹出 附件很简单只有几颗螺丝和一个盘标 盘标是一个这样的塑料物件, 取下盘标可以安装在盘位对每个SSD进行标识。测试平台 测试这个DOCK接驳SSD的性能损耗,需要一块PCIe4。0x4的U。2SSD 我选择的是SKhynixPE80103。84TBU。2PCIeGen4X4SSD 溯源自StorageReview提供的参数,SKhynixPE80103。84TB的性能参数如上 SKhynixPE80103。84TBU。2PCIeGen4X4SSD本体正面 SKhynixPE80103。84TBU。2PCIeGen4X4SSD本体背面 标准的U。2接口,我们标准的叫法是SFF8639。 我选择了最常见的U。2SSD接驳方式,将M。2转SFF8643的转接卡接驳SFF4843转SFF8639的线材,然后直连U。2SSD,这种是大家最常用的接驳方式, UMC8643(PCIeGen4X4M。2toSFF8643) 京东 NFHKM。2转U。2SFF8639转接卡 AmphenolRHS367304CableREV:AX3(SFF8643toSFF8639) 于是 UMC8643(PCIeGen4X4M。2toSFF8643) AmphenolRHS367304CableREV:AX3(SFF8643toSFF8639) 这个组合就成为第1组我们测试的对象,我们命名为A组 然后就是测试B组,B组里面最关键的就是PCIe通道卡以及线材。 我们先来看ICYDOCK测试的兼容性设备列举的附加卡 HighPointSSD7850A 这是一张标准的PCIExpress4。0x16支持8个U。2NVMeSSD的RAID卡 SupermicroAOCSLG44E4T 这是一张标准的PCIExpress4。0x16支持4个U。2NVMeSSD的Retimer卡 很可惜,这两张我都没有,所以我选择了一个略微廉价一些的替代方案LinkrealLRNV9F24 LinkrealLRNV9F24(PCIe4。0X16toSFF8654X2) 天猫精选 LinkrealPCIe4。0U。2NVMe扩展卡 这张卡从某个角度上是SupermicroAOCSLG44E4T的同类型产品,是标准的PCIExpress4。0x16支持4个U。2NVMeSSD的Retimer卡。 线材选择的是最稳定的AmphenolRSL746658Cable(SFF8654to2SFF8611) 于是 LinkrealLRNV9F24(PCIe4。0X16toSFF8654X2) AmphenolRSL746658Cable(SFF8654to2SFF8611) ICYDOCKToughArmorMB699VPBV2 这个组合就成为第2组我们测试的对象,我们命名为B组 这里我们采用AB组两种测试方案以评估DOCK的性能损失。以获得较为可靠的结果。测试平台 【CPU】:AMDRyzen75800X 【主板】:ASRockX570SPGRiptide 【内存】:MicronMTA29ASF4G72AZ3G2BZTGECC32GBX4 【显卡】:AMDFireProW2100 【散热】:ThermalrightForzenMagic240ARGB 【机箱】:SilverStoneRM42502 【电源】:SeasonicFocusGX1000 【扩展】:SSUSUSA3034A(ASM1064toSATAX4) 【扩展】:ICYDOCKToughArmorMB998SPB(SATAX8) 【硬盘】:SKhynixPE80103。84TBU。2PCIeGen4X4SSD测试A组 【扩展】:UMC8643(PCIeGen4X4M。2toSFF8643) 【线材】:AmphenolRHS367304CableREV:AX3(SFF8643toSFF8639)测试B组 【扩展】:LinkrealLRNV9F24(PCIe4。0X16toSFF8654X2) 【线材】:AmphenolRSL746658Cable(SFF8654to2SFF8611)X2 【扩展】:ICYDOCKToughArmorMB699VPBV2(SFF8611toU。2X4) 可以说这是一套我组装的服务器测试系统 京东 银欣(SilverStone)4U服务器多硬盘工控机箱 DOCK安装在5。25光驱位 方便热插拔 BIOS里将第一条PCIex16设置拆分4X4 第一条PCIex16带宽指定Gen4 至此设置完毕SNIAPTS标准化测试 因为我们要评估的是整体稳定状态下的性能损耗指标,所以当然不能用CDM或者ASSSDBENCHMARK这种短时测试来获取数据,这里使用SNIAPTS评估验证! 全球网络存储工业协会(StorageNetworkingIndustryAssociation,SNIA)是成立时间比较早的存储厂家中立的行业协会组织,宗旨是领导全世界范围的存储行业开发、推广标准、技术和培训服务,增强组织的信息管理能力。作为一家非盈利的行业组织,拥有420多家来自世界各地的公司成员以及7100多位个人成员,遍及整个存储行业。它的成员包括不同的厂商和用户,有投票权的核心成员有Dell、IBM、NetApp、EMC、Intel、Oracle、FUJITSU、JUNIPER、QLOGIC、HP、LSI、SYMANTEC、HITACHI、Microsoft、VMware、HuaweiSymantec十五家,其他成员有近百以上,从成员的组成可以看出,核心成员来自核心的存储厂商,所以SNIA就是存储行业的领导组织。在全球范围SNIA已经拥有七家分支机构:欧洲、加拿大、日本、中国、南亚、印度以及澳洲新西兰。 SolidStateStoragePerformanceTestSpecificationEnterprisev1。0是SNIA于2011年给EnterpriseSSD都制定了PerformanceTest(性能测试)的规范,可以到其网站www。snia。org下载。 这个测试会将一切的外部加成全部忽略掉,将其打落到NAND本质的速度,进行严格的稳定态测试,如果性能浮动太大的话,可能永远无法达到稳定态直到测试中断,或者如果EARSE机制偶发性失效出现问题,这个测试也会中断,所以不是什么盘都能得到最终的测试结果,很多盘没跑完测试就已经被强制中断测试了,所以我很想知道这个盘以何种姿态通过测试或者不通过。 在SNIA组织定义的规范中,规范了如何测试闪存设备或固态存储。业界希望有一种来比较SSD的科学方法,这也是需要SNIA测试规范的原因。SSD的写入性能在很大程度上取决于NAND的写入历史。SSD一般有三个写阶段: 1、FOB(全新从盒子里拿出来的状态) 2、Transition(过渡) 3、SteadyState(稳定状态) 以上图例来自SINAPTS1。1测试规范 Transition(过渡)过渡是FOB和稳态的良好表现之间的阶段。大多数情况下,性能会随着时间的推移而持续下降,直到达到稳定状态为止。SNIAPTS1。1的测试规范则很严格的监控了FOB到稳定态的每一个阶段,以及评估标准帮你去确认你的企业级SSD确实达到了稳定态,所以根据以上溯源我们有了如下的操作: 软件系统及设置操作系统:Ubuntu19。04DiscoDingo(developmentbranch) 内核版本:5。0。011generic 测试软件:fio3。12 Numberofjobs:2 NumberofoutstandingIOs(iodepth):32测试A组 【CPU】:AMDRyzen75800X 【主板】:ASRockX570SPGRiptide 【内存】:MicronMTA29ASF4G72AZ3G2BZTGECC32GBX4 【显卡】:AMDFireProW2100 【散热】:ThermalrightForzenMagic240ARGB 【机箱】:SilverStoneRM42502 【电源】:SeasonicFocusGX1000 【SSD】:SamsungSM9611TBPCIeGen3X4SSD 【SSD】:SKhynixPE80103。84TBU。2PCIeGen4X4SSD 【扩展】:UMC8643(PCIeGen4X4M。2toSFF8643) 【线材】:AmphenolRHS367304Cable(SFF8643toSFF8639)1、IOPS测试(IOPS) 测试方法进行SecureErase安全擦除 预处理:128K持续写入双倍SSD容量 每一轮测试包含。512B,4K,8K,16K,32K,64K,128K,以及1MB数据块大小,每个数据块在100,95,65,50,35,5和0运行读写混合测试,各为一分钟。试验由25回合(Round)组成(一个循环需要56分钟,25回合1400分钟) 使用4K随机写入的IOPS作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准。 IOPS稳态收敛图QD32 显示相关变量如何试图收敛到稳定状态的过程 IOPS稳定态验证图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔0,1,2,3,4〕) Valuesinstdymeasurementwindow: deque(〔121009,115038,119551,116373,119035〕) Averageinstdymeasurementwindow: 118201。2 数据显示(0,1,2,3,4)回合直接进入了稳态,稳定态窗口的4KQD32T2RandomWrite平均速度为118201。2IOPS。 IOPS测试2D图QD32 IOPS测试3D图QD322、带宽测试(TP) 测试方法进行SecureErase安全擦除 对于〔1024k,64k,8k,4k,512〕数据块大小进行持续读写60秒为一回合(Round) 使用1024K持续写入的吞吐量作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准 带宽稳态收敛图QD32显示相关变量如何收敛到稳定状态的过程 带宽稳定态验证图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔0,1,2,3,4〕) Valuesinstdymeasurementwindow: deque(〔2357968,2382640,2393341,2365358,2523392〕) Averageinstdymeasurementwindow: 2404539。8 显示(0,1,2,3,4)回合直接进入了稳态,稳定态窗口的平均速度SEQ1MQD32T2为2404539。8KB2404。5398MBs 读写带宽测试2D图QD32 我们可以看到稳定态下持续读写各个数据块下的平均表现力,1M数据块下持续读平均带宽6145。699MBs,持续写平均带宽2348。183MBs。3、延迟测试(LAT) 测试方法进行SecureErase安全擦除 预处理:128K持续写入双倍SSD容量 对于〔8k,4k,512〕数据块大小进行100读,65读35写,100写的随机读写测试,测量最大最小以及平均的延迟,60秒为一个回合(Round) 使用4K随机写入的平均延迟作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准 延迟稳定态收敛图QD32显示相关变量如何收敛到稳定状态的过程 延迟稳定态确认图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔1,2,3,4,5〕) Valuesinstdymeasurementwindow: deque(〔15。891805,14。890339,15。015807,14。205237,14。64398〕) Averageinstdymeasurementwindow: 14。929433600000001 显示在(1、2、3、4、5)回合达到了稳定态,稳定态窗口在4KQD32T2随机写入过程中平均延迟为14。93微秒 平均延迟在所有进程中的表现在0。08毫秒以内。 最大延迟在所有进程中的表现在2。75毫秒以内。 平均和最大延迟3D图QD32以及汇总数据。4、写饱和度测试(WRITESAT) 测试方法进行SecureErase安全擦除 执行4K随机写入1分钟为一回合(Round),写入4倍全盘容量或者24h,以先达到者为准 计算各个回合的平均IOPS(AvgIOPS) 测试结果:IOPS:646490 TotWriteIO:155160320 Latencies:0。098 WriteSatrounds:96 写饱和平均IOPS图QD32 这个测试实际96轮写满4倍全盘容量,平均写入速度6446490IOPS附近。 写饱和平均延迟图QD32 平均延迟跑在0。098毫秒以内一直到测试结束。测试B组 【CPU】:AMDRyzen75800X 【主板】:ASRockX570SPGRiptide 【内存】:MicronMTA29ASF4G72AZ3G2BZTGECC32GBX4 【显卡】:AMDFireProW2100 【散热】:ThermalrightForzenMagic240ARGB 【机箱】:SilverStoneRM42502 【电源】:SeasonicFocusGX1000 【SSD】:SamsungSM9611TBPCIeGen3X4SSD 【SSD】:SKhynixPE80103。84TBU。2PCIeGen4X4SSD 【扩展】:LinkrealLRNV9F24(PCIeGen4X16to2SFF8654) 【线材】:AmphenolRSL746658Cable(SFF8654to2SFF8611) 【扩展】:ICYDOCKToughArmorMB699VPBV2(4SFF8611to4U。2)1、IOPS测试(IOPS) 测试方法进行SecureErase安全擦除 预处理:128K持续写入双倍SSD容量 每一轮测试包含。512B,4K,8K,16K,32K,64K,128K,以及1MB数据块大小,每个数据块在100,95,65,50,35,5和0运行读写混合测试,各为一分钟。试验由25回合(Round)组成(一个循环需要56分钟,25回合1400分钟) 使用4K随机写入的IOPS作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准。 IOPS稳态收敛图QD32 显示相关变量如何试图收敛到稳定状态的过程 IOPS稳定态验证图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔0,1,2,3,4〕) Valuesinstdymeasurementwindow: deque(〔119552,115655,115563,116206,117980〕) Averageinstdymeasurementwindow: 116991。2 数据显示(0,1,2,3,4)回合直接进入了稳态,稳定态窗口的4KQD32T2RandomWrite平均速度为116991。2IOPS。 IOPS测试2D图QD32 IOPS测试3D图QD322、带宽测试 测试方法进行SecureErase安全擦除 对于〔1024k,64k,8k,4k,512〕数据块大小进行持续读写60秒为一回合(Round) 使用1024K持续写入的吞吐量作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准 带宽稳态收敛图QD32显示相关变量如何收敛到稳定状态的过程 带宽稳定态验证图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔0,1,2,3,4〕) Valuesinstdymeasurementwindow: deque(〔2293312,2317178,2301889,2284353,2569178〕) Averageinstdymeasurementwindow: 2353182。0 显示(0,1,2,3,4)回合直接进入了稳态,稳定态窗口的1MQD32T2SEQWrite平均速度为2353182KB2353。182MBs 读写带宽测试2D图QD32 我们可以看到稳定态下持续读写各个数据块下的平均表现力,1M数据块下持续读平均带宽7018。873MBs,持续写平均带宽6398。546MBs。3、延迟测试(LAT) 测试方法进行SecureErase安全擦除 预处理:128K持续写入双倍SSD容量 对于〔8k,4k,512〕数据块大小进行100读,65读35写,100写的随机读写测试,测量最大最小以及平均的延迟,60秒为一个回合(Round) 使用4K随机写入的平均延迟作为测试目标,写入振幅20平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准 延迟稳定态收敛图QD32显示相关变量如何收敛到稳定状态的过程 延迟稳定态确认图QD32 测试结果:SteadyStateInformation SteadyStatehasbeenreached: True SteadyStatehasbeenreachedinrounds: deque(〔0,1,2,3,4〕) Valuesinstdymeasurementwindow: deque(〔16。168718,14。945567,15。604841,15。522477,14。929844〕) Averageinstdymeasurementwindow: 15。4342894 测试结果显示在(0、1、2、3、4)回合达到了稳定态,稳定态窗口在4KQD32T2随机写入过程中平均延迟为15。43微秒 平均延迟在所有进程中的表现在0。07毫秒以内。 最大延迟在所有进程中的表现在4。0毫秒以内。 平均和最大延迟3D图QD32以及汇总数据。4、写饱和度测试(WRITESAT) 测试方法进行SecureErase安全擦除 执行4K随机写入1分钟为一回合(Round),写入4倍全盘容量或者24h,以先达到者为准 计算各个回合的平均IOPS(AvgIOPS) 测试结果:IOPS:621464 TotWriteIO:149154060 Latencies:0。101 WriteSatrounds:100 写饱和平均IOPS图QD32 这个测试实际100轮写满4倍全盘容量,写入速度平均在6214464OPS附近。 写饱和平均延迟图QD32 平均跑在0。101毫秒以内一直到测试结束。A组VSB组 设定蓝色为A组,绿色为B组使用以上的AB组测试得出的数据进行对比 IOPS测试(越高越好) Read: A组533245IOPS B组532848IOPS B组是A组性能的99。93 R50W50: A组365213IOPS B组359646IOPS B组是A组性能的98。48 Write: A组325460IOPS B组333472IOPS B组是A组性能的102。46 TP测试(越高越好) 1MRead: A组6145。699MBs B组6165。475MBs B组是A组性能的100。32 1MWrite A组2348。183MBs B组2298。029MBs B组是A组性能的97。86 64KRead: A组6189。590MBs B组6130。055MBs B组是A组性能的99。04 64KWrite: A组2649。665MBs B组2631。769MBs B组是A组性能的99。32 8KRead: A组3413。915MBs B组3435。539MBs B组是A组性能的100。63 8KWrite: A组2691。607MBs B组2673。216MBs B组是A组性能的99。32 LAT测试(越低越好) Read: A组0。069ms B组0。066ms B组平均延迟是A组的95。65 R65W35: A组0。049ms B组0。047ms B组平均延迟是A组的95。91 Write: A组0。012ms B组0。012ms AB组平均延迟一致 WriteSAT测试(越高越好) A组646490IOPS B组621464IOPS B组是A组性能的96。12 测试来说,我觉得AB两组之间互有胜负,其中最大性能偏差低于4。35,说明B组组合 【扩展】:LinkrealLRNV9F24(PCIe4。0X16toSFF8654X2) 【线材】:AmphenolRSL746658Cable(SFF8654to2SFF8611)X2 【扩展】:ICYDOCKToughArmorMB699VPBV2(SFF8611toU。2X4) 是可以达到可用要求标准的。推荐使用!结论 1、从产品的质量而言,钢构机体的使用可靠性是我比较关注的部分,TRAYBODY全金属设计是整个产品的点睛之笔。 2、英文官网给出的产品推荐指南是我见过最全面最复杂最专业的选品系统,涵盖了大部分DELLHPAPPLE的工作站服务器型号,也许这几家的官网关于存储设备的介绍都没有此网站全面,然后测试SSD列表,通道卡,线材列表也比较全面,甚至连风扇的替换型号都做了详尽的测试与推荐,这些资讯需要专业的态度去审视,对于专业的采购具有较全面的指导性意见。这类产品购买的拦路虎不是价格而是不懂如何搭配使用,不知道能否使用,官网指南精准的解决了这个问题。 3、解决了机体坚固度问题以及购买指南之后,就是产品的性能损耗问题,经过专业的SNIAPTS测试,对比性能偏差,损耗在可接受范围之内,令我意外的是竟然还有正向的性能收益。二重转接到DOCK的性能部分优于一重直连,这是我没有想到的情况,这一点和我过去测试过的INTELU。2背板笼子模块所得到的全面性能衰减的结果完全没有可比性,这是这个产品给我的惊喜所在。