经过几年的积攒,服务器的硬盘位终于塞满了。于是再扩展硬盘位就变成了一个问题。
之前一直靠 USB 3.0 外置硬盘盒,但是每个硬盘位都需要至少 $20 扩展成本(买硬盘盒)。而且连接速度和稳定性也不够理想,在将外置硬盘加入存储池时也会遇到各种各样的问题。
直到发现 HP SAS Expander 这块扩展卡之后,这个问题终于能得到比较可靠的解决方法了。(关于扩展卡,详见我之前的文章《家用服务器之存储篇:大规模存储背后的简单实现》)
因为自己拼装一个硬盘架需要各种零件,各个订单的到货时间也都不一样,这将会是一个持续得比较久的工程,所以本文将尝试采用更新记录的方式,边做边更新,看看需要花费多长时间,进行多少尝试,才能完成这么一个硬盘架。
设想
一天,我萌生了一个想法:为什么不利用 SAS 系统的特性,直接做一个 SAS 外置硬盘盒呢?正好我放网络交换机的机架上还有空位,干脆把硬盘盒装到机架上,只需要供电和 SAS 电缆,便可以扩展出很多盘位。
由于机架深度只有 11 英寸,所以只能使用短机箱。
施工
2019/05/14 - 2019/05/15
eBay 正好有个 8% 返点优惠,于是下订单买了
- iStarUSA D-118V2-ITX 1U Rackmount 机箱 - $62.14
- 2x HP SAS Expander - 共 $31.95
- Amphenol Mini-SAS Cable 2M Rev. A12 (038-003-787) 数据线 - $25.98
- PCIe x16 Riser,用来给 HP SAS Expander 供电 - $10.79
- PCIe kickstand,用来固定 HP SAS Expander 卡 - $29.00
- 12V 迷你供电板(接 5.5/2.5 柱状电源) - $23.17
- ATX 电源开关,用来启动电源供电 - $7.61
然后又去亚马逊买了
- 2x Kingwin Multifunction HDD Rack - 5.25" 尺寸,分为 3.5" 和 2.5" 两个硬盘抽屉 - $46 x 2 + tax = $103.96
设想是将机箱前面板拆下来,摆上两个 Kingwin 硬盘抽屉,剩余空间放置 HP SAS Expander 和电源。
2019/05/16
机箱和硬盘抽屉到货,等其他配件
2019/05/22
正好看见 eBay 上卖二手服务器,直接下单
- HP StorageWorks D2D4004fc,2U,12 x 3.5" 盘位 - $148.57
2019/05/28
HP 服务器 和 HP SAS Expander 到货。
挂在服务器上把 HP SAS Expander 升级到最新的 2.10 固件。
然后把服务器的硬盘架拆下来。
这个服务器的硬盘架特别简单,只需要接两个 10 针的电源线和一个 SFF-8484 接口的 SAS 数据线就行。不需要额外接主板信息线。
更新一下外置硬盘架的设计,1U 机箱里面还是放电源和 SAS Expander 卡,上面再加个 2U 硬盘架。这样的话,Kingwin 的硬盘抽屉就无所谓了,可有可无。
2019/05/30
研究了一下服务器硬盘架的电源插头。
按照颜色区分,黄色是 +12V,红色是 +5V,黑色接地,没有 +3.3V,这一点非常好。几个网站上都看了一下,没有找到同样接线方式的电源线,看来只能自制了。
于是去 eBay 买了
- 20x 10-Pin 5557 插头外壳 - $8.88
- 200x 5557 插头接线针 - $11.86
2019/06/01
开始安装 SAS Expander 卡和电源了。
把各个零件简单在机箱里排了一下,发现 Kingwin 硬盘抽屉根本放不下。索性不放了,1U 机箱只用来提供电源和数据转接。
2019/06/02
又把 1U 机箱的前面板装上了。既然前面板留出了两个 3.5mm 风扇的位置,那当然要装上风扇了。
加上 SAS Expander 卡和 PCIe Riser 供电板之后,发现悬空,下面还多出大概 1.5cm 的空间。于是拼了一排乐高积木把下面的空间填上了。
考虑了一下硬盘的散热问题。在服务器机箱里,散热是靠硬盘架后面的一排风扇。所以就算硬盘架脱离服务器机箱使用,也还要再加一排风扇。
然后发现之前买的这个迷你 ATX 供电板根本不行,家里最大的 12V 变压器只能提供 150W 电源,而且体积巨大。
去 eBay 刚好看到有 FlexATX 300W 电源清仓,买了。
考虑到 1U 机箱和 HP 服务器硬盘架上面的电源键都是按钮的,所以又去买了一个按钮开关对应的信号板,用来产生持续的开机信号。
今日 eBay 下单
- 5x PCI slot 80mm 风扇架 - $21.60
- 4x 3.5mm 风扇 - $10.83
- Athena Power 300 Watt FlexATX (AP-MFATX30) Power Supply - $37.88
- 5V Bistable Relay Switch - $14.34
2019/06/03
本来在亚马逊看好 Arctic F8 80mm 风扇,但是今天突然卖光了。没办法,继续 eBay 下单。
- 10x 80mm 风扇 - $32.31
因为 Kingwin 的那个硬盘抽屉实在太单薄,放到服务器上也没法用,干脆去给退货了(-$103.96)。
2019/06/05
既然 1U 服务器机箱和硬盘架上面都有 USB 2.0 接口,不能浪费了,于是加了一个集线器。
这次零件都是从亚马逊来的。
- SAS SFF-8087 to SFF-8484 连接线 50cm - $12.99
- Panel mount USB 2.0 B-to-B 1ft - $8.61
- 机箱内置 9-pin USB 2.0 集线器 - $9.99
因为那一条 panel mount USB 线是 USB B 工头转母头,所以拿到手自己改装了一下,中间剪断加上四个 2.54mm DuPont 插头,然后插到内置 USB 集线器上面。
顺便记录一下 USB 2.0 的接线。
50cm 的 SAS 连接线有点短,可能需要换线。
2019/06/14
好长时间没更新了,这几天都在等各种零件。现在可算大部分零件都到货了。
首先,先自制了一个 Molex 4-pin (IDE) to HP 10-pin 电源线。
然后,选了一块硬盘装在硬盘托盘上。Toshiba 1TB HDD,已经忘了是哪里来的了。
下面要测试 HP 的硬盘架到底能不能在非 HP 环境下正常工作。如果无法工作的话,就前功尽弃了。
于是用 SAS SFF-8087 to SFF-8484 将硬盘架直连到家用服务器的 SAS 存储控制卡上,接上电源。将硬盘插进去。
开机进 Ubuntu 测试环境,查看 SAS 拓扑结构。
成功了!硬盘架可以正常使用!这一个月以来的努力没有白费!
好了,接下来要继续折腾这个 1U 机箱了,毕竟最终目标是将外置硬盘整体上机架。
考虑到 HP SAS Expander 卡发热量挺大,所以打算在前面放上三个风扇,增加机箱内部空气流动。
好了,今天先到这里,接下来还要再研究一下硬盘架的风扇怎么弄。
2019/06/15
加了个开关电路板。因为开关按钮按下之后,只会给出一个瞬间信号,并不会保持信号,而供电电源需要一个持续信号。这就需要用继电器来维持这个开关机信号。
2019/06/18
把 1U 机箱的前面板装上看了一下,之前加的三个风扇正好被挡住了,面板上对应的位置并没有开口,于是就决定把三个风扇移到机箱里面。这就需要再做一个风扇架,架住三个风扇。
3D 打印我不会,那么怎么做风扇架呢?小块可拼接的乐高积木是最好的选择。
这里很奢侈地用了一个 10 风扇配电板,因为它便宜嘛。
从前面看的效果是这样的。前面板背后的的这个槽会形成一个风道,空气会从这个风道流入扩展卡区域,给 SAS Expander 卡降温。
前置风扇需要 12V 电源,于是又手工制作了一个机箱电源配电板。把常用的 5V 和 12V 引出来,这样可以方便风扇等等设备直接取电。
而且顺便把电源开关也做上了。插好线之后大概是这样的。
2019/06/23
电源装上了。这电源配的线有点多啊,把 1U 机箱塞满了。然后把各个电源都连好之后,就可以试车了。
整体效果(临时)。
这是继上一次部分测试(验证硬盘架)之后,第一次进行系统测试。这次测试需要验证服务器和外置硬盘架之间可以使用一条 Mini SAS SFF-8088 线缆连接。
这次用来测试的是这块 Kingston SSD。
结果很成功,系统可以检测到硬盘。而且确认了从服务器主机到外置硬盘架之间的数据连接带宽是 4 x 6Gbps = 24Gbps.
2019/07/20
查了一下,硬盘架的固件版本是 1.12,目前最高版本已经到 2.02,所以决定自己手工升级。过程参照之前给 HP SAS Expander 的升级步骤,居然成功了。
之前的 1.12 版本只能建立 1.5Gb/s(SATA I)连接(SATA I 速度),更新到 2.02 之后可以建立 3Gb/s(SATA II)连接了。
2020/01/20
在无风扇运行半年之后,我终于下定决心放弃了外置硬盘架这个方案,改为复活 HP StorageWorks 服务器并将其升级为全功能网络存储服务器。
插眼。乐高太猛了。