根据美国薪资水平大致计算得出，一个公司每年大数据平台的运维人力成本在60万到120万美元之间。考虑到国内的人力成本会低于美国，折算一半的话一年也有200万到400万人民币的运维人力成本。

当今正值新一轮科技革命迅猛发展阶段，数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化，大数据平台在企业IT基础设施中发挥着越来越重要的作用。但企业不得不面对的痛点是传统大数据平台的运维成本是高昂的，需要有熟练技能，了解和掌握各种大数据技术的运维工程师。

难度大，费用高，运维难题让企业不堪负重

传统大数据平台运维的主要工作难度，首先是运维人员要掌握每个大数据组件独特的运维流程和运维命令，比如HDFS Datanode扩容和Kafka Broker扩容就是两个完全不同的操作方式，运维人员对这两个不同的技术都要有深入了解；

其次，类似Datanode和Broker扩容这样的运维工作都比较耗时，运维人员首先需要申请资源、安装软件，然后进行配置优化，绝大部分工作都是通过各种脚本和命令进行人工操作；

另外，运维人员所依赖的大数据日志系统在传统大数据平台下很复杂，需要在集群每个节点上部署和运维类似Flume的日志采集器，同时部署ElasticSearch这样的日志系统对日志进行存储和查询，而ElasticSearch本身也是需要不少资源，并存在一定运维复杂度的。

同时，在传统的大数据管理模式中，企业通常采用多个独立的系统和工具来处理不同类型的数据和分析任务，这涉及到分散的存储，复杂的数据处理引擎，独立的资源管理，各自为政的数据分析工具，独立的监控和运维工具。

由于管理和运维是分散的，企业需要对各种不同的系统都有深入的了解和专业技能。这种环境下，数据从一个平台迁移到另一个平台需要复杂的转换和处理流程，并且随着数据量的增加，管理这种复杂性是机构面临的重大挑战之一。

整体大数据平台管理要求有哪些呢？在整个大数据平台的管理中，企业面临的挑战不仅仅限于管理单一组件，还包括对整体架构、数据流、分析过程和服务交付的全面管理，关键方面包括集成式架构设计，数据治理和质量管理，安全性与合规性，高级分析和机器学习，跨平台的运维自动化，综合的性能管理。

通过这些方式，大数据平台可以更高效、灵活且安全的得到管理。一个综合的、全面的大数据管理策略能够使企业从其数据资产中得到最大价值，并使IT团队从日常的琐碎任务中解放出来，专注于更有战略意义的工作上。

降成本，提效率，KDP助力企业摆脱运维包袱

智领云自主研发的Kubernetes Data Platform（简称KDP），作为市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台，将对所有大数据平台进行统一管理，统一运维，其优势在于：

◼︎ 标准化配置管理

采用统一的Kubernetes文件配置方式，对大数据组件进行标准化的配置管理，简化大数据组件与Kubernetes集群的集成

◼︎ 标准化运维

基于Kubernetes标准的Operator操作方式，统一运维界面完成大数据组件的部署、升级、扩容、备份等操作，提升运维效率

具体而言，KDP大数据集成基座实现了大数据组件运维操作的标准化，通过K8s标准的Operator操作方式完成大数据组件的部署、升级、扩容、备份等操作，熟悉K8s运维的工程师很快就能掌握这种运维方式。这种标准化的运维方式相比去掌握各种不同的大数据组件的运行原理和运维操作，其学习成本要低了很多。同时，KDP将一些基本的大数据组件运维操作集成到了KDP的运维管理界面，进一步提升了运维人员执行运维操作的效率。

由于KDP以容器化的方式运行大数据组件，同时又支持了大数据集群的动态资源扩容和集群规模扩容，所以类似Datanode和Broker扩容这样的运维操作就变得很简单了。

比如说增加一个Datanode到HDFS，如果不需要进行集群规模扩容，一个简单的Operator命令就可以Datanode运行容器数增加一个，一个新的Datanode实例就运行起来了，如果需要进行集群规模扩容，在公有云的部署方式下，运维人员也只需要在KDP中先运行一个新增节点的命令。

KDP的日志系统相比ElasticSearch是一个轻量级的系统，占用系统资源要少了很多。首先，日志的采集是通过为大数据组件的Pod部署一个Sidecar容器来实现的，这个比在各个节点上部署和运维一个Flume要简单了很多，因为Sidecar的部署是标准化的大数据组件部署的一部分；其次，所有日志都是以流文件的形式推送和存储在Loki日志系统中，运维人员可以在Grafana界面上很方便地进行日志的浏览和查询，也可以利用KDP的Logviewer服务将日志文件下载后进行查询。另外，Loki支持以对象存储的方式存储日志，借助K8s存算分离的技术，我们可以进一步降低日志系统的整体资源消耗成本。

下面，我们用一张图来表示在一键安装部署，统一管理与运维方面， KDP与传统大数据平台的对比。