在华为云 CCE 上部署 EMQX MQTT 服务器集群

EMQ映云科技 2022-09-29 发布于云南

展开全文

云进入以「应用为中心」的云原生阶段，Operator 模式的出现，则为 Kubernetes 中的自动化任务创建配置与管理提供了一套行之有效的标准规范。通过将运维知识固化成高级语言 Go/Java 代码，使得运维知识可以像普通软件一样交付，并能支持高可靠、具备高级运维能力的有状态应用批量交付。

针对大规模分布式物联网 MQTT 消息服务器 EMQX 全生命期管理的自动化管理工具 EMQX Kubernetes Operator（本文中简称 EMQX Operator）应运而生。它作为 Kubernetes 上的自定义控制器运行，并与 Kubernetes API 服务器（kube-apiserver）进行通信，将高层描述转换为正常的 Kubernetes 资源，以保持所需的应用程序状态。

EMQX Operator 使 EMQX 的部署、调优和运维变成一种低成本、标准化、可重复性的能力，帮助用户高效实现集群扩容、无缝升级、故障处理和统一监控。

EMQX Operator 集群

本文章将以 EMQX 企业版为例，详细讲解如何使用 EMQX Operator 在华为云 CCE 公有云平台上创建部署 MQTT 服务集群，并实现自动化管理与监控。

云平台简介：华为云 CCE

云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级 Kubernetes 集群，支持运行 Docker 容器。借助云容器引擎，您可以在华为云上轻松部署、管理和扩展容器化应用程序，详见：成长地图云容器引擎 CCE华为云

创建 CCE 集群

购买 CCE 集群

登录华为云 CCE控制台，购买“Turbo 集群”或者“CCE 集群”，EMQX Operator 要求Kubernetes 版本>=1.20.0 ，因此我们在此选择 Kubernetes 1.21，网络与其他资源信息根据自身需求来制定。

购买 CCE 集群

创建节点池（直接添加节点也可以）

创建节点池

这里添加的节点必须可以访问外网（可以通过加 NAT 网关解决）

节点安装的操作系统建议是 Ubuntu，否则有可能会缺少必要的库（socat）

节点选择 Ubuntu

访问 Kubernetes 集群

点击 Cloud Shell

Cloud Shell

详情参考：通过 kubectl 连接集群云容器引擎 CCE用户指南集群管理旧版UI访问集群华为云

StorageClass 配置

查看当前的 StroageClass

kubectl get sc

查看当前的 StroageClass

这里我们用 csi-disk。

使用 EMQX Operator 部署 EMQX 集群

部署 cert-manager

参考 cert-manager 安装文档：https:///docs/installation/

部署 EMQX Operator

kubectl apply -f "https://github.com/emqx/emqx-operator/releases/download/1.2.6/emqx-operator-controller.yaml"

部署 EMQX 企业版集群

这里 service type 采用 LoadBalancer

cat << "EOF" | kubectl apply -f -
apiVersion: apps.emqx.io/v1beta3
kind: EmqxEnterprise
metadata:
  name: emqx-ee
  labels:
    "foo": "bar"
spec:
  persistent:
    storageClassName: csi-disk
    resources:
      requests:
        storage: 1Gi
    accessModes:
    - ReadWriteOnce
  emqxTemplate:
    image: emqx/emqx-ee:4.4.6
    serviceTemplate:
      metadata:
        annotations:
          kubernetes.io/elb.pass-through: "true"
          kubernetes.io/elb.class: union
          kubernetes.io/elb.autocreate:
              '{
                "type": "public",
                "name": "emqx",
                "bandwidth_name": "cce-emqx",
                "bandwidth_chargemode": "bandwidth",
                "bandwidth_size": 5,
                "bandwidth_sharetype": "PER",
                "eip_type": "5_bgp"
              }'
      spec:
        type: LoadBalancer
EOF

Load Balancer参数说明

bandwidth_chargemode
带宽付费模式。 bandwidth：按带宽计费 traffic：按流量计费默认类型：bandwidth
bandwidth_size
带宽大小，默认 1Mbit/s~2000Mbit/s，请根据 Region 带宽支持范围设置。
bandwidth_sharetype
带宽共享方式。 PER：独享带宽
eip_type
弹性公网IP类型 5_telcom：电信 5_union：联通 5_bgp：全动态BGP 5_sbgp：静态BGP

查看集群状态

$ kubectl get pods  
NAME              READY   STATUS    RESTARTS   AGE  
emqx-ee-0   2/2     Running   0          22m  
emqx-ee-1   2/2     Running   0          22m  
emqx-ee-2   2/2     Running   0          22m  

$ kubectl exec -it emqx-ee-0 -c emqx -- emqx_ctl status  
Node 'emqx-ee@emqx-ee-0.emqx-ee-headless.default.svc.cluster.local' 4.4.7 is started  

$ kubectl exec -it emqx-ee-0 -c emqx -- emqx_ctl cluster status  
Cluster status: #{running_nodes =>
                   ['emqx-ee@emqx-ee-0.emqx-ee-headless.default.svc.cluster.local',
                    'emqx-ee@emqx-ee-1.emqx-ee-headless.default.svc.cluster.local',
                    'emqx-ee@emqx-ee-2.emqx-ee-headless.default.svc.cluster.local'],
               stopped_nodes => []}