|
在Gartner发布的《2021年重要战略科技趋势》中，“AI工程化”毫无意外地被列为了2021年九大重要战略科技趋势之一。半个世纪以来，AI技术从概念性地提出到蜻蜓点水般在千行百业中应用，人工智能产业正经历前所未有的发展高峰期。但谈及真正意义上的“落地”，“工程化”仍是绕不过的一项关键难题。 在今年10月举办的云栖大会上，“阿里灵杰”横空出世，犹如石投静水，激起千层涟漪，引发了行业内外的热议。12月3日，“阿里灵杰AI工程化峰会暨英特尔创新大师杯颁奖典礼”于线上成功举办。在本次峰会上，阿里云面向开发者聚焦阿里灵杰平台层的能力，从多维角度进行了深度解析。 AI开发者的奇幻漂流：人工智能下半场，来自开发者的呼声 阿里巴巴集团副总裁、阿里云计算平台事业部负责人、达摩院AI平台负责人贾扬清为参会者讲述了他作为一个AI开发者在人工智能技术起起伏伏发展历程中的所闻、所感与所想。在少年派的奇幻漂流故事中，我们见证了大自然的波澜壮阔与信仰的力量；而在贾扬清的描述中，我们领略到一个AI老兵，虽不那么“奇幻”，但足够精彩的开发故事。 阿里巴巴集团副总裁、阿里云计算平台负责人、达摩院AI平台负责人贾扬清 在人工智能上半场中，AI开发者其实更多的扮演了一个拓荒者的角色，他们身兼数职的同时不断尝试将AI算法与应用逐渐落地下去。从算法研究员到软件工程师，从数据工程师再到系统工程师，AI老兵们不断重复扮演着不同的角色，通过人拉肩扛的方式试图解决AI落地过程中产生的全链路问题。 但是，在如今这个时代，这样的方式还是否适用？ 答案是否定的。 在AI应用愈发复杂的大趋势下，今天的开发者需要应对来自数据、软件、模型三方面的挑战。数据层面，需要解决从模型标注到AI应用数据回流全周期的数据问题；软件层面，依然还有很多AI框架在不断重复着设计语言、搭建开发环境等基础性工作；模型层面，无论是学术界的modelhub、工业界提供的各类AI服务、亦或是开发者本身拥有的各类模型，都会面临部署、连接以及结合应用的功能实现问题。因此，AI开发者迫切地需要一个统一的空间来拉通算法迭代、数据管理、模型训练以及项目上线，以便更好地管理资源，实现更加高效地开发。 面对这些痛点，当下开发者与企业在推动AI项目落地中对于平台的需求也逐渐明了： 最底层基于云的基础设施有更灵活弹性的资源调配能力 大数据与AI平台相互鱼水交融，有机结合的能力 在开发层面完成对AI开发者开发效率的提升 在工程平台上完成对AI算法的创新 阿里灵杰：平台层基于AI三大要素打造核心价值 目前为止，阿里灵杰围绕AI开发过程中不同类型的需求，提供一系列拳头产品和方案，开发者可以按需取用。包括大数据+AI平台类产品（云原生大数据计算服务MaxCompute、实时数仓Hologres、大数据开发治理平台DataWorks、开源大数据平台EMR、实时计算Flink版、数据检索分析Elasticsearch，数据湖构建DLF、机器学习平台PAI），AI开放服务类产品（视觉智能、智能语音交互、自然语言处理、智能增长等领域丰富的AI原子能力），以及丰富的场景化解决方案（城市大脑、工业大脑、AIEarth、数字人等）。 在大数据+AI平台层，据阿里云机器学习PAI平台和大数据平台技术负责人林伟介绍，阿里灵杰基于数据、算力、算法的人工智能三要素，打造了独一无二的技术核心竞争力。 阿里云智能研究员、机器学习PAI平台和大数据平台技术负责人林伟 数据质量决定模型高度 通过湖仓一体化、数据分析引擎和AI一体化以及基于DataWorks打造的数据质量监控体系，灵杰围绕数据层面建立了完善的全链路体系以支持开发者进行AI模型的开发。 算法开发迭代速度是重要生产力 阿里灵杰基于云原生打造了极具开放性的弹性算力，为用户提供快速迭代算法的基础能力。同时为了帮助客户实现算法模型的落地，阿里灵杰提供了针对模型编译以及部署等流程的优化能力，为大模型提供了从训练到落地的一体化服务。 AI系统能力是核心能力 围绕超大规模稀疏模型训练及服务、超大规模多模态预训练模型、自动编译、大规模集群调度与MLOps能力，阿里灵杰针对工程领域打造了从开发到部署的端到端AI系统能力。 PAI为基底，向上支撑，AI工程化愿景初成 在本次峰会上，阿里云机器学习PAI平台产品负责人黄博远带来了PAI-AI工作空间、PAI-iTAG智能标注、PAI-Designer、PAI-DSW、PAI-DLC等一系列全新产品的介绍，并针对M6大模型的生态体系与开发平台进行了深入解读。 阿里云机器学习PAI平台产品负责人黄博远 PAI-AI工作空间 AI项目开发过程中，涉及到大量关于算力、存储的资源对接访问。PAI-AI工作空间能为开发者及团队提供了基于PAI-DLC、MaxCompute、Flink-VVP等资源进行分布式训练的对接能力。同时采用基于角色的访问控制方式，可保障空间内工作协同的高效与安全。 针对现有的AI资产，工作空间内部采用了细粒度的管理模式，数据集、模型、镜像、代码等AI生产资料均可进行管理沉淀及跨模块复用。此外，为了支撑AI开发端到端流程一体化需求，PAI-AI工作空间配备了一站式工作台，支持产品模块向导式链路流转与实例实施快速共享写作。 PAI-iTAG 智能标注 数据是AI三要素中的重要一环，如何高效获取高质量的数据是每一位AI开发者必须研究的课题。PAI-iTAG智能标注围绕三大能力层构建了全场景、智能化的标注服务。其中，工具能力层为用户提供了基于AI能力打造的智能标注、预标注能力，并基于阿里云最新的数字安全传输技术极大保障了标注数据的安全性。管理能力层则带来了任务分发验收与人员权限管理能力，在提升人员、任务管理能力的同时保障标注数据的高质量交付。最后一层是二手服务能力层，对于企业及个人所需的专业全托管数据标注服务，在PAI-iTAG智能标注平台上也能够得到满足。 PAI-Designer PAI-Designer是一款依托PAI Flow的云原生工作流设计器，开发者可以通过该产品自定义灵活串联自身所需的Python训练。同时PAI-Designer还提供了面向行业场景的Easy系列深度学习套件以及Alink端到端传统机器学习套件。开发者可以通过托拉拽的方式构建机器学习PAIPlan，并支持实验对照组功能，此外可视化大屏与开放OpenAPI集成功能够帮助AI开发者打造“所见即所得”的开发体验。 PAI-DSW 对于AI开发者而言，基于云原生的交互式建模工具能够为开发工作带来极大的便捷，所以一直以来对于此类工具的呼声一直很高。此次推出的PAI-DSW便是一款全托管式云上的开发环境，通过云的能力为开发者提供了实例环境的持久化能力。同时基于云的特性，PAI-DSW能够提供灵活的环境以及多数据集的支持能力。在开发流程上，DSW做到了全生命周期的实例管理与实例权限控制。同时和上文中提到的PAI-Designer一样，PAI-DSW也开放了OpenAPI集成能力。 PAI-DLC PAI-DLC云原生基础平台一站式解决了AI模型训练过程中的问题，该平台基于云原生的Kubernetes架构开发而成，同时支持公共资源与专有资源，并为开发者提供了灵活的开发环境，支持预设、自定义镜像与挂在多个数据集。此外在管理层面该平台支持全生命周期任务管理与实例权限控制，并支持OpenAPI集成能力。该平台的出现能够极大帮助开发者与企业用户迅速跨过大规模、分布式等难关。 除了上述新产品的发布，黄博远在会上还带来了PAI集成NNI的全新功能发布，NNI是微软亚洲研究院发布的时下最热门的自动机器学习（AutoML）开源项目之一。PAI的DSW工具完美集成了NNI，以jupyter插件的方式使得开发者可以便利地使用AutoML能力，此外开发者可以通过DLC分布式训练集群进行NNIHPO分布式训练。 在演讲的最后，黄博远以阿里云十万亿大模型M6为例，展示了通过PAI机器学习平台构建此类超大规模多模态预训练模型，通过机器学习平台PAI对大模型进行打磨并实现最终部署的成果全过程成果展示。通过PAI机器学习平台所提供的坚实基础能力，开发者与企业能够真正做到将AI带进千家万户。 |
|
|
来自： 新用户0175WbuX > 《待分类》
