|
本帖最后由 Amefs 于 2017-3-23 04:37 编辑 去年年底我曾经写过一篇“我的数据仓库-Gen8从开箱到使用”记录了我使用Gen8 microserver打造NAS的方案。由于某些理由这台机器已经转手给他人使用，因此我开始了再次DIY的计划。 明确目标 选择平台之前，最需要的就是知道自己要用来做什么。很多人可能在DIY之前不知道自己想干什么，只是想到啥就堆料堆上去，但是这并不妥。 比如说，办公的PC，那么就应该以性价比为主，尽可能在较低的报价下，找到可靠的PC；再比如游戏PC，那么就应该以资金允许为前提，尽可能选择优质的配件，同时需要考虑游戏侧重的CPU与GPU的比例，以此为依据选择合适的核心硬件；再比如工作站，那么就需要考虑行业软件的兼容，以及超高的性能，甚至在面对多核心优化较好的软件使用核心更多，频率更低的“洋垃圾”CPU等。 对于我这次希望DIY的Server来说，首先我的用途并不仅仅是Web Server或者仅仅是NAS，上述Server类型往往可以考虑低频低功耗低噪音的平台，例如Xeon 1220L这一类的平台，甚至可以考虑一些Atom或者Xeon D之类的嵌入式平台方案。不可否认，Xeon D有一些性能不错的方案，但是不论价格还是扩展性不能令我满意。我希望通过Intel的虚拟化技术，将自己的Server虚拟为多个系统，辅以大量内存，搭建集NAS、Winserver、Linux测试环境于一体的Server平台。那么这就是我目前希望达到的核心目标；除开这个功能方面的目标，由于我需要把Server放在房间，因此机架式机箱等方案并不适合我，一是空间问题，二是噪音问题，因此，我也需要对机箱以及风扇等元素进行详细的筛选。 选料： 因为我目前在德国，很多硬件不方便购买或者说价格不合适，因此很多选择与国内装机大相径庭，此方案的硬件价格也普遍偏高。此外，本次DIY重点还是尽可能使用Server的材料，与通常的办公用PC以及游戏PC的考虑方向有所不同。 CPU： 由于是计划搭建一个server平台，因此CPU选择的是Xeon系列。志强处理器相比酷睿系列增加了一些server特性，同时由于不具备超频能力，相比同代的酷睿系列对于主板供电要求并不算高，散热也非常容易解决。由于是在德国市场购入CPU，无法考虑诸如2683v3这类的“洋垃圾”，同时C612主板价格仍然会高出一些，因此我决定使用最新的Xeon E3 v5系列。在比较了一番参数以后发现有1230 v5 1240L v5 1240 v5 1260L v5等价格和性能是比较适中的。同时由于Skylake总体功耗不高，这些Xeon的TDP都不会高于80W，在散热方面没有什么后顾之忧。根据Cinebench PassMark CPU Mark等成绩最后我决定使用一颗1240 v5。 基本参数如下
情怀满满的Intel原装CPU散热，这也算我第一次买盒装Intel，值得纪念一下。 主板： 主板上我依然考虑Server主板，自然SuperMicro的主板就非常值得一看。首先我去超微官网搜索Socket 1151系列的主板。这个接口的主板种类也是非常丰富的，我的考虑是主板在尽可能小的前提下，拥有IPMI远控，1-2口千兆，4根内存插槽。X11SS系列大多数能够满足这个要求。一开始我看的是X11SSH-F其报价一般是250€+，我在网上搜索了一下发现还有很多人使用X11SSM-F比较以上两种主板后，我发现他们的区别是X11SSH-F中有一条PCIe 3.0 x2的NGFF插槽(M.2)而在X11SSM这个型号中，NGFF插槽被换成了一根PCI-E 3.0 x4 (in x8 slot)的接口，由于我考虑成本不准备使用NGFF+NVMe的SSD，因此这条NGFF反而有点多余了。同时X11SSM的价格仅220€，多方考虑之后我购买了一块X11SSM-F-O（注：仅-F的型号才提供IPMI，-O为Retailed渠道，-B为散装）尽管这片主板在供电方面其实很一般，但是仍然可以非常好的服务1240 v5。 这块主板是Micro-ATX版型，带有4根DIMM内存插槽，同时支持最大64GB的Unbuffered ECC UDIMM内存，它还拥有1 条 PCI-E 3.0 x8 (in x16 slot)1 条 PCI-E 3.0 x8以及2 条 PCI-E 3.0 x4 (in x8 slot)，未来加装阵列卡或者网卡都没有问题，应该说还是很不错的服务器版型（虽然有可能有人说C612支持的通道数更多，但是MATX的C612的PCI-E插槽数量也并不比这款C236多，而作为这种用途的服务器来说也没有那么高的扩展需求）。 
再次吐槽一下SuperMicro家这个low的要命的菜市场盒装。。。。 RAM： 由于此芯片组的特点，我必须购买DDR4 ECC的RAM。这类RAM普遍价格较高，而且并不是非常方便购买。首先，根据超微提供的Tested Memory List我筛选了几种内存。Micron的 MTA18ASF2G72AZ-2G1A1以及MTA9ASF1G72AZ-2G3A1，Samsung M391A2K43BB1-CPB以及M391A2K43BB1-CRC，考虑到如果使用16G单条内存则可以拥有更好的后期扩展性，于是我准备选择16G单条内存，价格上Micron的报价高达167€，而Samsung则超过170€(德国的电商报价)，我不得不考虑在国内收两根内存。刚好看到高总装机选用了两根16G纯ecc正好是我可以使用的型号，于是拜托Pufer帮我收购了两根同款，然而今年Q1开始内存条价格也是水涨船高，我收购的时候价格已经上调了，但是内存总是要用的，况且德国的市场价格更是直接涨了15€，一咬牙就买下两根总计32G的Samsung M391A2K43BB1-CRC内存条。经过Pufer验证确认内存无误。关于ECC内存，这里主要是可以提供更好的数据稳定性，由于这种纠错内存的存在，内存能够容许错误，并可以将错误自动更正，使系统得以正常的操作，不致因错误而中断。 
电源： 电源对于一台Server来说也是非常重要的，我也不敢马虎，选择了海盗船RM650i，这款电源高效，高可靠，低噪音，非常适合打造这样的微型服务器。 根据网上给出的拆解，这块电源的用料比较厚道，单做工(焊工)来说的话一般，有一些比较毛糙的感觉，但是并不影响它作为一颗好电源。  机箱： 由于使用过Gen8这种microserver我就很希望找到类似的微塔式机箱，但是这些机箱确实难找，搜索一番以后我相中了海盗船Air 240。它是的设计师两个主仓，一面较大的是安放主板的，另一个方向安放电源以及硬盘。它的尺寸是397mm x 260mm x 320mm，可以安放一块Mini-ITX或者MicroATX，正好可以满足我的需求。而由于这种立方体设计，整个机箱的空间就比较大，水冷，双GPU都不是问题，当然这里由于Server的关系，我既没有准备水冷，也没有准备GPU。为了满足NAS需求，我准备安装2块3.5寸的机械硬盘组成软件RAID0，并且定期对冷数据手动备份，因此这款机箱的3*3.5寸HDD+3*2.5寸SSD仓位的设计并不会成为空间的瓶颈。同时这个机箱是可以多方向放置的，我打算让这个机箱的侧透挡板向上放置，也就是说整个主板横置。这算一款外观上比较有工业范的机箱，四四方方，有效空间比较大，内部风道设计也比较合理，配合猫扇就能够在低噪音的条件下保持良好的散热，真正做好内外兼修。 CPU风扇：虽然说其实作为一片Xeon E3 v5的CPU，对于散热的要求很低，我仍然想尝试一次传说中的猫扇，作为静音高效的代名词，猫头鹰风扇在PC DIY领域还是非常出名的，这次我选择了noctua NH-L12。这款风扇设计高度是93mm，小于Air 240的120mm限高因此安装不会有什么困难，同时如果拆除散热器上120mm风扇，则高度更是降低到66mm，同时这款风扇在设计之初就考虑到了内存条遮挡问题，因此，散热鳍片为内存留出了不小的空间。 HDD： NAS很重要的一点就是作为存储空间的HDD，根据backblaze提供的年度报表来看，其实这两年西部数据的硬盘总体质量有所下滑，以“NAS专用硬盘”著称的西数红盘损坏率也是居高不下，在去年年底也曾经出现大量京东货源的4TB红盘坏盘事件，因此我还是希望考虑一下企业级硬盘，尽管在启动时这类硬盘噪音很大，但实际运行情况下，噪音还是可以接受的。根据我的估计4TB*2的容量恰巧可以满足我自己需求，而且根据报表来看4TB的硬盘普遍损坏率较低，我就认为选择一款4TB企业盘是个不错的选择。我首先看的是WD4000FYYZ，也就是常说的西数DC金盘，但是这款硬盘总体价格相当高，偶然看到有店家出售HGST企业盘，查了一下型号是HGST UltraStar 7K6000系列，从官方给出的参数来看非常不错，同时这款硬盘就是WD4000FYYZ同级别，MTBF也是同样的2Mhours。 
SSD： 继续从Gen8拆走intel 535使用 交换机： 由于作为主路由的AC68u仅能提供4个LAN口，而我的网络设备比较多，因此我考虑使用交换机啊，最早考虑的是一款老的HP洋垃圾交换机，结果发现最近价格不容乐观，偶然间看到牛牛在兜售他家的GS108T v2，看了一下参数，对我来说已经足够，同时也是简单网管交换机，国内均价大约800，看了一下德亚发现日常售价为61,87€，同时还有闪电特惠。3月9日恰好有一个闪电特惠，最后以52,57€购入一台，合人名币385.42，确实相当核算了。
组装： 由于前期购买先后用了2周，同时还要从国内弄来RAM和硬盘，组装直到三月下旬才开始进行。 
由于德国比较干燥，这样的防静电手套还是备一双比较好 3月17日，我到达德国，晚上稍作调整就开始了安装。
我首先是安装一下cpu内存等做一下亮机测试
装上散热器，这个猫扇的大小正好，对于这样的服务器内存条完全不会有遮挡的风险。但是马甲条的话最好不要尝试这款
亮机总体来说没什么问题，通过ipmi能够非常容易的监视到所有的信息。 接下去我就把所有的硬件部署到机箱中，由于我没有做定制模组线，走线不太美观，就不放走线图了。
目前机器就这样放在桌底。 系统测试： 下面是重点，这台机器的性能到底如何，这是我非常关心的问题。 CPU测试 这里的测试选用的是Win10平台。 IPDT 对于这种盒装的CPU，这种测试不大可能出现问题，结果也完全在意料之中
HWINFO
Cinemabench R15 老牌的测试软件，这里主要测试了一下多核心处理能力，总体来说这个分数是与i7 6700非超频版本持平，性能也算不弱了
国际象棋测试
RAR benchmark WinRAR自带的基准测试
7-zip benchmark 7zip自带的基准测试
CPU-z 从这个分数对比来看，对于这样的Server来说CPU性能足够
RAM 这款主板仅支持双通道内存，同时这个内存实际运行于2133MHz下
CPU Press 可以很清楚的看到，这样一个平台的温度控制表现非常好。
系统待机功耗：
系统满载功耗：
关于硬件调试 在使用过程中我遇到了一个问题：风扇速度很有规律的在300RPM-1500RPM之间变化，但是考虑到这套系统的温度相当低，因此我认为这个问题应该是由于服务器的报警机制造成。查看系统日志后发现，日志中出现大量如下的错误信息。 FANA Fan Lower Critical - Going Low - Assertion FANA Fan Lower Non-Recoverable - Going Low - Assertion 根据网络上的信息，可以发现，这种规律的变化正是因为风扇转速太低造成的风扇低速报警，在产生报警后，风扇会以满速运行一段时间，只到测速发现一切正常，再次降低转速，并最终导致这种规律的报警。我在网络上搜索一番以后发现解决方法很简单。 方法一是直接屏蔽测速，让风扇直接满速运行，同时使用减速线。 方法二是使用IPMI调节转速，使得全速时pwm并非100，则即使全速也不会有太大噪音。 方法三则是使用IPMI重新设定风扇下限阈值。 权衡再三后我选择了方法三，理由很简单，这种方法能够彻底阻止这种问题复发，同时保留系统的pwm风扇调速功能。由于连续几日的断网，我几经周折创建好一个带有ipmi工具的linux系统，使用它调节IPMI:
不难发现，超微默认的风扇下限阈值是300 500 700，而猫扇则是在130-1500RPM之间运行的，也就是说猫扇在低负载情况下很有可能会使用很低的转速，那么触发警报就在所难免了。 使用以下命令。调节阈值：
再次测试，则发现风扇速度已经变慢，系统中也不再出现相关错误日志了。 正式安装系统： 解决完大部分硬件问题后，就可以安装底层系统了。这次安装的底层系统仍然是ESXI，不过直接使用最新的6.5.0版本，使用intel的虚拟化技术。Intel 的定向虚拟化技术更加可以直通显卡阵列卡等硬件设备，对后期扩展服务器功能有很大的作用。这次安装我使用iKVM远程挂载iso安装
ESXI的安装总体来说非常简单，网络上官方以及第三方资料非常齐全
NAS服务安装： NAS服务方面我主要使用FTP/Samba而SAN来说iSCSI确实也很有用，至于一些多媒体的功能我实际用的很少。那么我就不选择群晖等系统而是寻求更加高效稳定的NAS专用系统了。我这里选择Open-E（这是某heart君强力推荐的），我直接使用里面免费的DSS v7 SOHO版本，自带的4T加上推荐好友得到的8T空间完全可以满足我的需求。 从上次部署Gen8的经验来看这些企业级系统确实有独到之处，稳定性以及速度都是普通的系统无法比拟的。 总结一下我了解的一些NAS系统 从易用性上DSM（群晖）> Open-E > FreeNAS=OMV 速写速度优化Open-E ≈ FreeNAS > DSM > OMV 应用扩展性OMV > DSM > FreeNAS > Open-E 系统许可情况： FreeNAS - BSD base 开源 免费 OMV - Debian base 开源 免费 DSM - linux base 闭源 硬件同捆 Open-E - linux base 闭源 收费系统 综合来说就是根据不同的需求不同人适合不同的系统。 Open-E简单来说就是非常标准的企业级系统，没有什么多余功能，很简单的只保留NAS+SAN，类似这种系统的还有nexenta(Solaris base)，这个系统在Pufer之前的帖子中曾经展示过，同样是收费系统，也同样有一些免费版本可以给个人或者小规模团队使用。在满足它硬件的条件下，这种系统有着极其良好的稳定性，以及企业级的数据保护能力。配合ECC内存，Intel虚拟化，系统性能可以发挥的淋漓尽致。
注：这里我系统选择的是DSS的7.0u56，选择此系统的理由是这个版本没有限制RAID卡的使用（VM默认的SCSI虚拟卡会被当做阵列卡，从而无法正常建立分区） 根据系统自带的quick start文档很快就可以建立好NAS/SAN，初始化完成后我开始进行下一个系统的安装。我需要一个系统做一些综合性的处理，包括一些网盘同步，以及充当Encode测试平台，因此我选择了Windows Server 2016，在之前的使用过程中，我发现这个系统的稳定性很不错，兼容性也还能够满足我的要求。
系统激活方面，由于大多数国外学校都提供有Microsoft Imagine服务(也曾经叫做Dreamspark)，我直接使用系统提供的密匙激活，这个方法大家也可以自己尝试申请使用。
NAS性能测试： 安装好两个作业系统后就是最终的系统测试了。 SMB测试 第一项测试是持续读写（通过千兆交换机）
扣除一些系统损耗，效率上来说还是很不错的 第二项测试依然是连续读写（通过vSwitch,通过VM内置的虚拟交换机可以使用10G网络，更好的测试极限速度）
可以发现，这里的瓶颈主要是硬盘读写速度，双盘阵列基本能达到的速度就是这样的。 第三项 SMB的DiskMark 由于SMB的缓存关系，这项测试数据并不算太准确
ISCSI测试 第四项 ISCSI的DiskMark 通过千兆交换测试ISCSI性能
通过vSwitch测试ISCSI性能
通过测试可以很清楚的看出，ISCSI在这里的表现基本与硬盘性能持平。 简单总结 在漫长的一个月时间里，这台DIY Server终于正式上线了，不得不感叹一下这些企业级以及准企业级的硬件软件的独到之处。不论是怎样的电脑设备，只有符合它使用环境以及自己喜好的才是最出色的系统，在DIY过程中各种直面问题，解决问题的经历才是Do it yourself的精髓所在。 题外话： 感谢一下nemo为我设计的新头像。 新版的FreeNAS貌似不论界面还是硬件兼容方面都又有了进步，有条件的话我会考虑尝试一下。 |
|
|
