tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
数据开发治理平台 WeData
    文档
    Download PDF

    产品概述

    最后更新时间：2024-07-15 17:26:14
    下载PDF
      数据开发治理平台 WeData（以下简称 WeData）是位于云端的一站式数据开发治理平台，融合了包含数据集成、数据开发、任务运维的全链路 DataOps 数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力，帮助企业在数据构建和应用的过程中实现降本增效，数据价值最大化。

      产品定位

      目标行业与用户

      适用于政府、金融、泛互、工业、能源、交通、教育、文旅、地产、零售、医疗、传媒等众多行业。受众包括但不限于：
      从事数据开发、算法开发、数据运维等岗位的技术人员。
      从事数据分析、产品运营等岗位的业务人员。
      负责数据安全合规工作的管理人员。
      把控公司核心数据资产的管理人员。

      业务挑战与痛点

      从信息技术革命爆发开始，到近年来移动互联网的蓬勃发展，同时伴随着互联网+概念的不断深入演进和落地，各行各业的企业积累了越来越多的数据，由此衍生出迫切的数据处理与数据应用需求。但这个过程中，也面临着诸多的问题和挑战：
      基础设施构建复杂：Hadoop、Spark 等大数据技术琳琅满目，构建复杂。
      技术抗风险能力弱：开发和测试脱节，数据出错概率大，数据任务多，依赖复杂，缺少有效变更控制。
      数据链路复杂：开源项目往往只解决特定场景问题，需要组合多个开源项目才能搭建完整数据链路。
      数据管理难度大：涉及跨部门跨团队合作，团队角色复杂，沟通成本高。
      数据治理落地难：数据质量、数据安全等无法得到保障，上层应用不敢放心使用数据。
      业务搭建周期长：数仓建设周期过长，半年甚至一年起；数据需求响应慢，两至三天的延迟响应。

      核心能力

      WeData 提供了数据生产和消费全方位的产品服务，核心服务能力如下：

      协同

      围绕数据价值链基于协作空间使数据团队不同的角色更好的协作，打破团队间孤岛，缩短从原始数据到数据价值的路径。
      DataOps 理念
      在大规模任务开发场景下，可以高并发的在线执行数据开发与测试。
      开发人员专注任务开发与单元测试，避免业务逻辑学习成本。
      编排人员专注任务编排与调度配置，专人专项缩短落地周期。
      在敏捷开发场景下，开发与编排的一体化以提高效率。
      在编排业务逻辑实现的过程中完成数据任务开发。
      可以同时测试数据逻辑与业务逻辑。
      实现过程
      先开发，后编排：工作流设计不阻塞开发工作，开发无需理解编排逻辑。
      开发空间完成后导入编排空间，有专人进行任务编排。
      适合中心团队大规模高并发的开发任务。
      先编排，后开发：开发人员理解业务逻辑，先设计工作流后开发。
      直接在编排空间进行任务编排与开发测试，更敏捷。
      适合局点团队小规模或增量任务的敏捷开发模式。

      效率

      基于 DataOps 敏捷迭代、自动化流程和工具提升数据可靠性，加快数据生产和分析链路效率。
      敏捷易用：支持增量式代码开发和发布；支持代码自动补全；可视化拖拉拽方式进行流程设计；支持在线代码调试和日志查看。
      开发灵活：开发模式适应多场景，支持先开发后编排以及先编排后开发。
      高性能可扩展：高性能调度引擎，支持日千万级任务调度，可对接多种引擎并支持引擎扩展，默认支持大多数 JDBC 接口的引擎，包括 EMR、DLC、TBDS、RDS 等20+引擎。
      DataOps理念
      支持提交、对比、回溯等版本管理能力，以支持任务的灰度发布。
      支持任务、事件、参数、函数的增量发布，而非传统的周期性发布。
      敏捷开发、快速迭代，以整体上缩短数据资产化的周期。
      实现过程
      数据任务开发完后需进行版本提交，以反映在工作流中。
      不同版本任务可以快速在同一工作流中调试。
      不同项目相同工作流基于不同任务版本实现灰度发布。
      在发布管理中按照日期进行增量发布，快速迭代。

      一体

      服务企业数据管理、数据生产、数据应用、数据运营多个角色，给予不同视角一体化的产品体验。
      全链路生产治理：通过事前规划、事中异常阻断、事后质量和成本分析以及数据流通安全管控为数据的生产和消费提供有力的质量和安全保障。
      一站式运营治理：基于数据自服务和民主化理念，在安全稳定的基础上，通过数据地图、数据洞察和共享，让数据的查找、理解、分析和共享更容易。

      质量

      贯穿事前中后的数据质量控制，融入 DataOps 管道式开发流程，全面保障数据质量提升。
      DataOps 理念
      从事后的质量评分转为事中的质量监控，一体化测试由代码测试与数据测试两方面组成，以保证数据分析的高质量。
      从事后的标准对标转为事前的标准落标，以保证数据分析时的数据质量、统计口径的一致性。
      实现过程
      数据任务/工作流提交版本前要求通过在线调试，在线调试会自动拉起数据表对应的质量监控任务。
      敏捷数仓建模工具在数据建模时支持直接引用事前定义好的数据标准，在源头上做到落标。
      遵从数据标准的表在进行数据集成任务时，支持对脏数据设置零容忍阈值来做到贯标。
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款