原标题：#开放新基建#：整机柜服务器的应用与未来
“开放新基建”系列讨论是E企研究院的信息基础设施实践者社群活动，第一期请来国内服务器、存储领域的三位资深产品专家，从后疫情时代的计算与存储、新一代计算平台、功耗与冷却挑战、整机柜发展的新动向等几个角度展开探讨。
由于涉及内容太多，视频回放与文字记录分为四期连载，之前三期已经相继发表：
1，后直播时代的计算与存储
2，CPU、内存通道及PCIe 4.0的升级挑战
3，直播回放：走向液冷时代的服务器散热设计
本篇为最后一部分，从液冷延伸到整机柜服务器的应用与未来发展。
张广彬：很多整机柜标准都进入到了3.0的时代，包括Open Rack V3，天蝎（Project Scorpio）也是3.0，京东也在弄新的整机柜交付的标准。其实大家在这里面都考虑了不同的液冷方式的适配性，比如说进水管、出水管的布置，大家都有了一个设计，这是我看到的一个方面。
参考阅读：兼收并蓄整机柜，开放合流OAI
但是另一方面，刚才咱们也谈到了定制就是大家都很不一样，但是这个都很不一样以后就提高了整个行业的成本，我们也可以看到现在不同的机柜标准之间也越来越（兼容），因为这种兼容度也有提高的趋势，所以简单来说站在你的角度，你从业这么多年了，丁煜，你怎么看待整机柜服务器这个行业，还有你怎么看我刚才说的这个标准，以及对液冷这些适配的方面？
支持48V供电和（冷板式）液冷方案是V3一代整机柜服务器的普遍做法
丁煜：这也是个很大的问题。怎么说呢？谈一些我的想法。首先在整机柜设计这方面，当我们说整机柜的时候，实际上可能里面包含的产品形态是有很多种的，比如说它会有一种完全，我们姑且叫设备节点和它的承载柜体彻底重新设计，甚至它的柜体的长宽高都和咱们传统看到的这种机柜是不一样的。这是一种方案。这种方案现在看当然是越来越少了，因为它会要求你的基础设施、你的建筑都要做很多的调整。它更多的可能会用在一些研究机构，包括有很多超算的专用的设备上它会采用这种设计。我认为这不会是未来一个非常主流的方向。
另外一个，类似于咱们之前的天蝎也好，Open Rack也好，它实际上是在尽量保持机柜的外尺寸和机房支撑不变的情况下，通过重新去布局和利用机柜内空间，让里面的设备具备更多的可塑性，具备更高的承载能力。这种方案一度会是整机柜，大家一说到整机柜好像脑子里面第一个想到的是这个东西，因为他们确实是比较早出现的。但是这些设备它又存在一个什么问题？就像您刚才说的，它有很多的标准，这些标准之间其实他们的互兼容性是比较差的。比如说Open Rack和我们的天蝎和(Project) Olympus，它的节点是一定不会互用的，无法互用的，所以这个对于这些一线的大客户来说不是个问题，因为它本来就需要定制，本来买的就是自己设计的。
张广彬：只要有量就行。
Open Rack V3采用轧辊成形设计
丁煜：对对，但是对于其他一些客户，这是一个阻碍其他客户跟进的一个很大的点。到底我选择什么样的方案可能会是一个能够保证我相对长时间内投资是安全的，然后能够持续升级的？所以我觉得这是为什么有很多的客户当他在看整机柜的时候开始犹豫和退缩。
张广彬：这种完全重新设计的整机柜，有可能仍然还是局限在这些超大型的客户里面。
丁煜：其实我们还有一个方案，我们也许可以尽量多地运用标准相对来说比较传统的，比如说设备设计，但是我们可以让它实现整机柜交付，我们可以把刚才说到的这些Open Rack、Olympus里面用的比较好的一些设计要素给移植过来，放到我们这个设备里面去，从而使它具备一定的先进性和承载力，更好地面向大规模数据中心。
前一部分讨论过的水冷后门（Rear Door Heat Exchanger）与机柜标准自然非常密切
我觉得这实际上有可能会是一个很有意思的地方，因为它也能实现整机柜交付的便捷性，它也充分地利用了现在这些我们叫开放的计算标准，带来的一些生态的建设。它也能实现有限的创新和优化，就相对于最传统的机架式服务器来说它也有很多的变化。所以我觉得这个领域有可能是一个未来会比较有意思、有作为的地方。
张广彬：我觉得丁煜这个总结基本上把关键的点都讲到了。其实不管是完全定制化的，还是仅仅作为一种交付方式。因为很多时候站在数据中心的角度，快速交付就可以了，我不管你里面的东西是怎么连的。但是确实还是在于很多定制化的场景。
10～20kW的机柜将越来越常见，整机柜服务器会配备机柜级电池
刚才丁煜提到了天蝎，我觉得天蝎里面比较成功的一个产品是JBOD（Just a Bunch of Disk），因为它机柜的特性不一样，所以它跟传统的所谓企业存储市场上的JBOD差别还是比较大的，而且我觉得还是挺有特色的。
但是相对来说基本上没有JBOF（Just a Bunch of Flash）这个东西，在天蝎的体系里面，但是在OCP，在Open Rack，不管是Facebook的Open Rack路线，还是微软的Project Olympus路线，它都有JBOF的产品，全都是闪存做的。其实这里也有U.2的方案，也有全用M.2的方案，甚至E1.L或者E1.S，在这种定制的里面JBOF可能是不同的form factor，从这个角度来说，从整机柜的层面来说，郑宇你怎么看？你比较喜欢谈form factor前景性的东西？
郑宇：整个OCP里面一个比较大的话题是硬盘在NMVe协议上的一个靠齐，我觉得这是很有意思的一个话题，好像从未来整体的协议上如果能一致化，我相信对用户会带来很大的便利。当然也挑战系统设计。
另外一个，在整个使用上，一个是方向的新的点是在新的NVMe盘上增加网络接口，这也是一个很有意思的话题，有些公司做过一些尝试，我觉得未来也许真的在整个基础架构，在网络上更加强健的时候是一个好的选择。
剩下两个话题就是JBOF，刚才广彬问form factor对JBOF的影响？我觉得这里有很大的灵活度，第一是系统内和系统外使用的存储相对于整系统的设计在通用的面上影响就小了，它专门用在专用的存储领域，所以自由度就相对大。另外，在整个设计上，它可能应用负担相对低，更多是完成专门的存储任务，其实从E1.S的角度我认为是一个很好的场景。
微软的JBOF：Project Olympus FX16，支持16个PCIe x16的SSD模块，这些模块开始由4个M.2 22110规格的SSD组成，后来升级为E1.L
从应用上讲，现在国内实际上在整个云的基础设施上大家已经在存储上充分地用分布式的方式做了实现，所以这样单一机箱比较集中的方式在这些超大型客户上应用的机会相对来说少了。但是对于企业级用户，现在我们看到NVMe其实提供了非常好的IOPS和性能，包括非常低的延时。其实对于企业的关键应用我认为在扩容和升级上JBOF应该是个很好的途径。
现在一个核心的点就是NVMe over Fabric（NVMeoF）的路径到底通过什么方式来实现，真正能够和系统更好地去融合起来，这个也有待其中在整个布局上看计算，偏存储的计算它的offload（卸载）是通过什么架构来比较合理地搭配的。我现在看是两种方向，一个是跟host端能够对介质进行更直接的管理，多种混合介质的灵活调度，这应该是一个对用户应用体验非常丰富的一个场景。
另外一个就是在offload计算端有机会能够对一定的计算和分布产生一定的优化。这时候从用户端虽然选择少了一点，但是需要做应用端的调整或者开发的部分工作量就低了。其实都是好的途径。
我们现在来看，两个方案都有人在做，我们在两个方案上也居然都有幸和用户做了一些尝试，现在主要取决于用户自身在使用的硬件架构上有多大的投入能力，我觉得如果它的应用更强，其实是可以做更适合自己的一些性能方案。如果要是软件很强，可以相对更好的通过上层来直接调用。
其实现在从应用上，我认为JBOF是很有潜力的在企业应用中能够得到成长的点。
张广彬：我认为郑宇讲的OCP存储部分的总结，顺手做的一个总结，我觉得挺好。因为我们不光是搞基础设施建设的，但实际上软件、硬件是密不可分的，缺了谁，哪条腿短都不行。当然我们有的时候，我觉得咱们搞基础设施的人还是比较谦虚的，就像刚才Harry（农天使）讲的软件定义一切，我们就是软件提出要求我们怎么去满足就行了。包括像JBOF这个东西，不是说光顾着把它做在一起，还要考虑在软件上怎么把分散的聚合在一起，或者把它聚合在一起再分散，总而言之，就是满足应用的需求。
JDCloud Rack集中体现了整机柜服务器的发展方向
所以其实我们今天谈论的话题有定制化，也有标准产品，但是定制和标准本来就是一个相对的概念。以前的定制也许是以后的标准。但是我觉得咱们核心的思想是不变的，就是开放。另外一个就是脚踏实地。
我们请来的这几个位专家都是在第一线做实践的。所以我们也很希望咱们本期的开放新基建的话题只是这一个系列的开端，我也希望以后还请两位包括Harry一起从别的角度继续探讨开放新基建的话题。
责任编辑：