分享

HPC+ 摆脱架构束缚 释放创新动力

 罗超Pro 2022-11-12

在不久前结束的2022亚马逊云科技中国峰会上,亚马逊云科技大中华区战略业务发展部总经理顾凡发表主题演讲,为我们深入阐述下一代云基础架构。顾凡表示,亚马逊云科技一直在探索云基础架构如何充分释放 Every Application 的力量,以满足客户当下及未来的应用需求。顾凡指出,HPC 高性能运算被运用在很多行业去解决最难的问题,而亚马逊云科技云上部署  HPC 可以解决本地数据中心资源有限、大量的采购及测试新硬件时间导致硬件技术无法保持更新,研究算法后需要调整算法去迁就过时的硬件架构等问题,具有便捷、弹性和成本灵活等优势。技术分论坛中,亚马逊云科技大中华区高性能计算产品总监耿煜和四川集思数源信息技术有限公司副总经理陈竹,分别介绍了亚马逊云科技在 HPC 产业的思考和实践,以及在 “HPC+” 时代,亚马逊云科技如何与高精尖技术行业的发展齐头并进,帮助他们加速创新。

HPC 拓展全新领域,更加丰富应用场景

耿煜首先指出,本地高性能计算基础设施已经限制了工程师、科学家和研究人员及时获得结果和洞察。他引用 Hyperion Research 的市场调研数据:2022年底将有18.8%的 HPC 在云端运行,而这个数据在2021年只有12.3%。

耿煜判断这在未来几年还将成为加速增长的态势,因为云可以赋予 HPC 丰富的“弹性”和更多、更广的选择能力,包括资源的扩展性、敏捷性等,还可以大幅降低运维的复杂度,以及使计价模式更加灵活。

随后,耿煜列举了十余种典型场景,包括天气及气候预测、计算机辅助工程、计算流体力学、金融量化交易等,这些需要高性能计算的场景已经从传统方式拓展到全新领域。而一些新兴产业,如量子计算、元宇宙等,也在高性能计算的支持下得以加速落地。可见 HPC 所适用的应用领域已经无处不在,探究其背后的原因,离不开亚马逊云科技作为整个云行业的领先企业,提供了丰富且实用的解决方案作为支撑。

Nitro基础架构,打造最佳 HPC 云平台

耿煜表示,亚马逊云科技云上 HPC 屡获大奖的原因包括基础架构的核心 Nitro,从2013年至今近十年时间,Nitro 已经演进到了第五代,作为独立专业硬件系统,Nitro 深植在每一套物理机里面控制网络、存储,以及其他系统,结合其他VPC的环境、管理、安全的控制,以及监控的系统、虚拟化层,最终将计算力交付给客户。

Nitro 不仅能够将最新的硬件技术充分发挥,其网络能力还能实现非常低的延时和高度稳定性,并且优化了成本。Nitro 作为模块化系统可以独立发展,这样灵活的结构和紧密的配合方式可以满足所有硬件的需要,两者将相辅相成,使能力得到进一步提升。

底部的基础层涵盖算力资源、高速网络和存储,构成整个体系的基石。亚马逊云科技500+不同类型的服务器组合满足各类复杂场景需求,提供100G以上带宽吞吐、支持MPI的EFA网卡使网络不再是高性能计算的瓶颈,支撑高性能计算且在云端实现多级的文件存储策略,进一步帮助客户提升资源利用效率。

HPC+ 催生场景化创新

以前定义 HPC 工作负载的方法,通常是根据高性能计算任务是松耦合型还是紧耦合型,更看重网络带宽和延迟需求,同时会从 HPC 任务涉及的数据规模来考量。

但随着硬件技术的创新,以及人工智能的迅猛发展,亚马逊云科技发现越来越多的 HPC 任务和AI、ML、DL相结合。这就要求为客户提供相对应的方案,也由此催生出 HPC+ 的概念——从更广泛的维度,包括加速计算、机器学习、深度学习等多方面去设计服务和构建方案。

伴随 HPC 的重量级伙伴逐渐增多,围绕 HPC+ 的场景化创新正纷至沓来,亚马逊云科技在其间扮演着举足轻重的角色。耿煜例举了影视特效渲染、辅助创新药物和疫苗研发、自动驾驶和流体仿真等场景的成功案例。

助力影视特效行业转型,是 HPC+ 展示身手的新舞台。亚马逊云科技从2020年开始为 Weta Digital 《阿凡达2》的视效渲染提供了大规模渲染集群、云上工作室方案、机器学习堆栈等服务支撑,显著提升制作效率与渲染效果。这部巨作不日将与公众见面。

辅助创新药物和疫苗研发,也是 HPC+ 擅长的领域。靶点的选择和确认、化合物的发现与优化、临床研究、真实世界分析等都离不开各方的协同发力。亚马逊云科技和药明康德在用药机理上合作,借助图神经网络技术将建模时间缩短5倍;与晶泰科技在分析发现上也取得突破,不仅计算出最稳定的晶体结构,而且得到其全景图,为后续药物研发筑牢根基。

此外,在自动驾驶、流体仿真等场景,HPC+ 同样显现出不可或缺的作用,在海量数据存储与分析、从仿真结果中提取复杂关系等方面成果显著。据了解,亚马逊云科技已为国内外主流商用车、乘用车厂商提供与自动驾驶相关的服务支撑,在F1赛车、帆船竞技等流体仿真应用前沿亦屡有斩获。

HPC+ML 云上业务加速新能源创新

随后,四川集思数源信息技术有限公司(以下简称“集思数源”)副总经理陈竹登台介绍了与亚马逊云科技 HPC+ 紧密协作,对原有线下部署的光伏电站设计方案进行 SaaS 化改造迁移上云,化解光伏电站设计中的痛点难题的过程。

“集思数源”作为光伏电站设计的参与者之一。它的核心业务之一是新能源与电力领域的信息化产品研发及应用,目前主要围绕新能源全生命周期数字化解决方案,帮助央企、国企新能源公司、头部电力设计院、新能源上市企业、智慧综合能源公司及交通建筑工业用能企业,开发推广数字化、智能化业务平台产品,满足“双碳”需求。

集思数源选择了亚马逊云科技,并成为亚马逊云科技的行业ISV合作伙伴,共同打造面向新能源与光伏领域的云上创新方案。集思数源于2021年9月开始正式基于亚马逊云平台和超算服务构建的光伏电站规划设计SaaS化应用方案,并在3周内完成了设计平台的迁移和适配,并快速投入到实际项目应用中,获得了诸多成效。

亚马逊云科技提供的Amazon Elastic Compute Cloud(Amazon EC2)实例基于与英特尔十多年的工程合作关系所构建,能够良好地契合光伏电站设计中的多样化需求。配合使用 Amazon Batch 服务、Amazon Elastic Container Registry(Amazon ECR),能够实现地形仿真数据的高效处理,简化SaaS工作负载的部署过程。

由亚马逊云科技提供的弹性可扩展计算能力,让集思数源可以更好地应对复杂地形场景的评估,发电量评估准确性提高3%,电缆使用量减少20KM。多方案选优让项目成本评估准确性提高15%,总体成本降低3%。在项目实践中,光伏电站装机容量从18MW提高到20MW,相当于平均每年节约标准煤626吨,减少二氧化碳排放1738吨。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多