|
2021 KubeCon + CloudNativeCon + Open Source Summit China，中国线上峰会于 12 月 9 日 - 10 日成功举办，反响热烈。本次峰会剖析云原生技术，呈现前沿技术革新与最新的落地实践。 专题论坛覆盖云基础设施、人工智能与数据、CI/CD、存储、定制和扩展 Kubernetes、服务网格、无服务器、Linux 系统等 21 个云原生与开源技术细分领域，为开发者们带来了近百场云原生技术干货分享。
此次，「DaoCloud 道客」携手合作伙伴，聚焦热门的云原生前沿技术与 CNCF 沙盒孵化项目，分享了有关 Kubernetes、KubeEdge 等主题技术演讲，下面让我一起走进这场云原生之旅，听听来自不同行业的声音。生态银行的
数据云原生近年来浦发银行高度重视数字化转型工作，2020 年就提出开放银行 2.0 全景银行，明确未来银行的发展目标，要面向全用户，贯穿全时域，提供全服务，实现全智联。作为中国首家加入云原生基金会的银行，浦发银行推动实体金融体系嫁接数字科技赋能产业转型的新发展，标志着中国金融科技水平与云原生生态两股潮流的完美结合。浦发银行围绕数字化时代最核心的数据要素，建设新一代银行核心系统构架，云原生技术逐渐成为其核心系统架构的基石技术。在传统银行向全景银行的转变过程中，多样化的业务形态和庞大的数据体量，给银行的传统信息系统架构，带来了巨大的挑战。银行需要将信息系统架构改造，以适配互联网模式的业务逻辑和设计理念，应对高并发、高流量的场景需求，具备弹性扩展的处理能力，提升开发和运维团队的工作效率。面对这样的挑战，云原生技术网络访问、远端部署、可扩展弹性伸缩、共享、敏捷，按需使用自助服务、高可用、可远程监控，标准化交付，这些特点恰好满足对架构改造的需求，云原生技术将彻底改变国内金融机构的发展趋势。- 云原生落地：2017 年前借助双 11 支付链路优化的契机，完成了云原生技术在浦发银行，由 0~1 的里程碑式的落地。行内 cos 平台上现有云原生容器超过 1 万个，云原生的技术应用也超过 100 个，实际混合处理能力超过了 9 万个 TPS。
- 孵化开源项目：2021 年 7 月，在世界人工智能大会上，云原生计算基金会正式接纳，Piraeus 数据存储项目作为沙盒项目。该项目由浦发银行、上海道客网络科技有限公司以及 LINBIT 共同发起。
- 体系建设：规划构建了整个数据驱动模式下的数据服务体系建设，以云原生架构式为重点的基础建设，实现大规模的数据存储能力和高效的数据计算能力。
- 数据平台：当前浦发银行已经构建了 PB 级的一湖两库多地多集群的基础数据平台，部署超过了 500 个人工智能模型，发布了超过 400 个数据服务，年调用量上百亿次，其中 50% 以上的数据服务和数据模型是基于容器化部署，实现稳态和敏态的强支撑。
浦发银行也通过与多地的政府大数据合作，充分发挥银行平台和数据服务能力，实现合作共赢。与此同时，浦发银行自主研发的 Harrier 数据调度产品已经在 Github 上开源。02证券数字化的
云原生落地王玲，华泰证券 华泰证券作为一家科技驱动的金融集团公司，重视科技研发投入，把科技创新作为核心竞争力，在金融科技领域处于领先地位。华泰近十年的科技历程主要经历了，移动互联网、全面自主研发、全面数字化转型的进阶。然而，全面数字化转型带来了巨大的科技侧的需求压力，反而桎梏了企业和业务的发展，为突破这一困境，华泰提出了下一代技术的基础设施建设，即打造以云原生为核心引擎的一体化研发平台，贯穿应用开发全生命周期，横向打通系统边界、纵向整合资源，提升应用开发效率，赋能企业数字化转型。传统的交易架构是两地三中心的模式，启动时间是分钟级别的，这对券商来说是不可能接受的，因为华泰未来的交易是全球性的，只有云原生技术提供的多地多中心的架构，才能满足多节点、高并发、大容量的交易需求。同时，保障交易的稳定性和连续性是至关重要的，端到端的观测性和实时的故障自愈和自处理能力，是券商梦寐以求的，云原生可观测性完美达成这一需求。此外，通过拥抱云原生技术，华泰收获了更多深层次效益。首先，在云原生技术加持下，华泰实现了能力解耦，通过能力复用、产品创新，加速创新转型。第二，系统的韧性和弹性得到大大的加强，实现了系统的全天候连续性、稳定可靠、弹性且可观测。第三，增强了对研发侧的管理，赋能研发、灵活调度、降低风险。最后，云原生技术也极大地节省了 IT 资源的能耗，是非常节能的。云原生技术本身是一种科技的迭代，但是科技进步带来的，不仅是社会企业和组织行为模式的转变，也有人的改变，因为开源社区文化让我们更加开放。金融行业出于对安全性的考量，往往采取相对保守的策略，但今天华泰在积极地拥抱开源，这是时代的趋势。03
优雅的节点关闭
Kubernetes 开发者初学之旅张世明，「DaoCloud 道客」当前 kubernetes (k8s) 在企业的使用程度越来越普及，其各种不完善之处也都一点点的被完善, 优雅节点关机就是其中的一点。作为新入门 k8s 的开发者，张世明从熟悉了解社区开发环境入手，参与了优雅节点关闭功能的开发，通过分享自己的亲身经历希望给更多参与 k8s 的新人一些启发。与公司内部集中式的项目开发模式不同，几乎所有的开源社区都是一个分布式的松散的组织。k8s 同样如此，为此 k8s 建立了一套完备的社区治理制度，协作上主要围绕着 issue 和 PR 展开。从处理需求出发：调研 Kubernetes 节点优雅关闭的特性时，发现了一行警告，接着通过提 issue、补 SIG label、查找代码定位问题、提 PR 修复 issue、代码 Review、成功合并。至此，完成了在社区的第一个 PR。张世明后续也一直深耕这个方向，并提交了很多相关的 PR，成为了社区的 Reviewer。由于在优雅节点关闭方向的长期贡献，被社区大佬关注，然后带着一起做了优雅节点关闭相关的新需求。值得注意的是，代码合并是一个严谨且漫长的过程。特别是当 PR 出现修改时，这个战线就会持续拉长。在社区里，成员的身份根据声望值、贡献度、活跃度分为5个等级：- Non-Member , 主要对应的是未加入 Kubernetes 组织的人
- Reviewer 是在 Member 的基础上对某个 SIG 的代码掌握比较透彻的人，每个 PR CI Robot 都会随机挑选2 位这块代码的Reviewer。
- Approver 是在 Reviewer 的基础上拥有对 SIG 块代码合并权限的人
- Owner 是在 Approver 的基础上在 SIG 有了更多的话语权, 是否接受某个 KEP ，或者制定下个 Release 的里程碑等
如果想要了解更多社区相关的入门信息，可以通过以下网页地址 /cc @wzshiming 或者联系近一年国内活跃度排行前二十的人。网页地址： https://k8s.devstats./d/13/developer-activity-counts-by-repository-group?orgId=1&var-period_name=Last%20year&var-metric=contributions&var-repogroup_name=All&var-country_name=China&var-repo_name=kubernetes%2Fkubernetes 04Kubernetes SIG Node
介绍与深入研究徐俊杰，「DaoCloud 道客」 SIG Node 是 Kuberentes 社区第三大兴趣小组，是一个垂直型的组织，为容器组和主机资源交互相关的组件负责，与存储和网络 SIG 会有很多协作，核心领域包括 Kubelet、节点和 Pod 生命周期、资源管理、容器运行时。Kubernetes 1.22 的路线规划涉及更多的负载均衡、可靠性、安全性等 24 个提案，是历史发布周期中，提议功能数量最多的一次。从 4 月提出到 8 月发布，共计完成了 13 个提案。SIG Node 1.23 的路线规划则涉及更多的负载均衡、方便调试排障、安全性、智能 Ops 等方面。临时容器、VPA (Vertical Pod autoscaling)、SWAP 都是 SIG Node 里比较热门关注的重要功能。临时容器是 Kubernetes 1.16 左右加入的新功能，是一种特殊的容器，该容器在现有 Pod 中临时运行，以便完成用户发起的操作，例如故障排查。通常会使用临时容器来检查服务，而不是用它来构建应用程序。VPA 是一个比较大的功能，涉及多个 SIG，包括调度、apiserver、vpa controller 等内容。因为它涉及的面比较广，并且要求实时性更新，还要考虑向前、向后兼容问题，因此它的 PR (Pull Request) 的 Review 和 Approve 流程和周期也会比较长。VPA 相比于 HPA，Pod 的使用率比较高，扩容响应会更快，还能更好地解决资源浪费的问题。SWAP 的使用是一个内存调度机制，是把一些不常用的内存放到了 SWAP 里面的区间，而不单单是像普通的内存那样去使用，详细解释可查看 (https:///zhs/in-defence-of-swap.html)。在 Kubernetes 1.23 中完善了 SWAP 的相关功能：system-reserved 支持 swap、增加 metrics、增加 e2e 测试等。预计在Kubernetes 1.24 中达到默认开启和通过 feature gate 关闭 SWAP 的功能。此外，想要参与到 Kubernetes 的社区贡献里，要注意贡献的优先级，首先是稳定压倒一切，其次是改善使用者和开发者的体验。参与的方式有：参加 SIG 会议、参与 PR Review，问题回复，文档、使用新功能并给出反馈。联系的渠道有：Slack 频道--#sig-node ；邮件组--kubernetes-sig-node ；首席：--Dawn Chen @Google，Derek Carr @RedHat。05
KubeEdge 简介
Kubernetes 原生边缘计算框架KubeEdge 是一种开源的边缘计算框架，其将 Kubernetes 的能力从中心云扩展到边缘。自从进入孵化阶段以来，KubeEdge 在用户采用、社区发展、跨社区合作方面取得了很大进展。边缘计算具有低延迟、过滤海量数据、隐私安全、边缘自治的特点。在边缘设备端直接处理一些数据，可以极大地降低延迟，并且通过优先过滤和数据分析，可以大大地节省网络带宽。根据行业特性的不同，在边缘端可能涉及到一些隐私数据，它不应该被发送到云端，使用边缘计算的话，可以在边缘侧直接处理这些敏感的个人隐私数据或者业务隐私数据，来保护生产和业务的安全。当边缘端和云端连接时，边缘自治可以保证在离线的情况下，边缘节点上的应用仍可正常运行，如果应用因为某些原因出现异常，也可快速恢复。基于 k8s 来构建的边缘计算平台有诸多好处，首先应用容器化实现了本地与云端的环境完全一致，做到了真正地一次构建随处运行。其次，k8s 还抽象了一套通用的应用定义，在 KubeEdge 中，它边缘侧的应用定义和 k8s 云端使用相同的标准，它们可以无缝对接，达到云端和边缘的相同体验。最后，是可扩展体系的结构，可以扩展 API 接口，易于添加自定义组件。但是基于 k8s 来构建的边缘计算平台，也面临着边缘资源不够、网络不稳定、边缘自治需要加强、边缘设备管理等挑战。未来，边缘计算将逐步加强 CloudCore 对大规模集群的主动 HA 支持、Mapper 框架更新、应用程序云和边缘之间的自定义 HTTP 请求路由、EdgeMesh 体系结构升级、EdgeMesh 跨局域网通信、设备管理接口等功能的开发及更新。06
浦东银行
大数据平台云原生探索褚杰 ，上海浦东发展银行 邵晴晴，上海浦东发展银行 在中国，采用金融科技 (FinTech) 已成为金融业的全行业共识。上海浦东发展银行一直在其大数据平台上部署越来越复杂的业务工作负载，其中的数据容量每天都在以数十 TB 级增加。浦发银行在大数据平台的建设过程中，也遇到了资源管理、租户隔离能力不足；安全管控、应用敏捷快速需求；存算一体的模式带来的数据冗余、数据一致性、应用扩展性低等问题的挑战，云原生技术很好地解决了这些问题。通过大数据云原生的引入，在数据驱动能力下，可以做到在平台层面，存在分离及整合化的数据存储资源，降低冗余数据节约成本。在数据层面更加优化的数据路径，更少的数据备份及副本，更高效的数据 SLA，在应用层面可以更灵活的支持应用的需求，更独立的开展租户服务及管理，在服务层面可以开展更高效的服务封装，数据服务，可以通过容器化及单元化的力度进行分装，提供端到端的高效服务。在大数据平台容器化部署实践过程中，为解决云原生存储的需求，浦发银行、「DaoCloud 道客」、Linbit 公司联合研发开源云原生存储项目 Piraeus，为容器提供高可用数据卷服务，来支撑大数据应用。基于 k8s 节点自由资源搭建存储系统 Piraeus，可以实现动态分配、快照克隆等 CC 特性，以及高可用精简制备、压缩备份等企业级功能。Piraeus 可以聚合节点的各类存储介质，例如物理机的物理盘、nvme 和 pms 存储券共用的虚拟盘等，可以适应异构的多云环境。总的说来相对于过去使用 NAS 和本地盘，Piraeus存储项目具有云原生、高可用、即插即用和高性能等显著优势。该项目在 2021 年 7 月世界人工智能大会上，被云原生计算基金会正式接纳作为沙盒项目。2021 年 8 月，“Piraeus 项目”荣获中国信通院主办的 OSCAR 开源产业大会“开源社区及开源项目”奖项。未来，浦发银行将在服务敏捷性、服务端到端，平台规模、云原生等层面继续探索，立足在大数据平台的存算分离及应用层面，继续开展大数据的探索。推进 Piraeus 在大数据领域各场景的应用，推广其成为云原生存储领域技术标准。浦发银行将作为开放银行的先行者，顺应以用户为中心，数字科技为手段，智能化为引领的发展趋势，在建设实践中不断迭代总结，探索建立科学完整规范的开放银行建设方法体系，构建形成开放银行长期稳健发展的核心动力。未来已来，云原生已经成为企业数字化转型的关键武器，也是传统产业的破局之刃。全面拥抱云原生，加速企业数字化转型不仅仅是华为、浦发银行、华泰证券、「DaoCloud 道客」等先行者的目标，也是所有开发者和企业管理者共同使命和责任。云原生生态银行、证券云原生数字化、Kubernetes 原生边缘计算……云原生技术无处不在，几乎所有的行业都离不开它，一张关于云原生的美好蓝图正在徐徐展开。时代在发展，科技在进步，让我们共同努力，用科技创造未来。
|
