DTCC | 聚焦数据智能新趋势,技术创新提升业务价值

2021-10-21 21:25 评论 0 条

该页面存在於Google的搜寻结果内

%title插图%num
撰文 | 昕然

编辑 | 昕然

10月18日至20日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第12届中国数据库技术大会,在北京国际会议中心举行。大会以“数据未来”为主题,邀请了众多业内技术专家联手带来一场关于数据库的思想盛宴。
滴普科技FastData数据平台技术专家吴小前、陈峰、谢辉,分别围绕湖仓一体的数据平台新发展趋势、基于ClickHouse的实时分析引擎实践,以及数据智能平台的整体建设与应用发表了主题演讲。1
吴小前:湖仓一体流批一体成数据平台新趋势随着全球数据量的极速攀升,最常见的两种存储方式是数据仓库和数据湖,从成本、数据类型、计算负载、数据治理四个维度相互对比,二者各有利弊,因而数据平台的发展趋势正朝向湖仓一体架构。在此背景下,吴小前发表了《滴普湖仓一体架构探索与实践》。

吴小前表示,湖仓一体数据平台吸收了数据湖与数仓的优点,可以运用机器学习、AI等技术,涵盖存储计算分离、低成本的统一存储,且支持各种各样的工作负载、多数据类型以及数据分析等功能与优势。

然而,构建具备湖仓一体的数据平台,却是一件很复杂的事情,涉及SQL组件、AI分析、流处理和批处理等各种技术组件组合,还会遇到元数据访问效率低统计不准确、跨分区数据和并发访问时出现的数据不一致甚至错误等数据问题。

面对这样的现状,作为专业的数据智能服务商,滴普科技构建了新一代云原生数据智能平台FastData,通过引入Apache iceberg表存储引擎解决上述问题,并支持事务隔离、多任务和多引擎并发读写、实时数据分析,实现统一存储,获得端到端近实时的数据处理。在此基础上,滴普科技还提供了实时改进方案,达到了秒级的实时性能。

%title插图%num

在他看来,FastData是一个低成本、高性能、易使用的一站式数据智能平台,采用存算分离的架构,可以实现统一的存储、集成流批处理引擎和分析引擎,降低数据使用门槛的平台,而这或许就是未来数据智能平台发展的新趋势。
2
陈峰:基于冷热数据分离存储构建数据平台基于湖仓一体、流批一体的数据智能平台FastData,滴普科技成功服务众多大中型企业客户。在这一过程中,滴普科技发现大多数企业已经部署了传统数仓,这就牵扯到如何将新一代数据智能平台FastData与Hadoop生态体系下的数据集群进行融合。对此,陈峰分享了滴普科技的技术实践与解决方案,并发表了《滴普基于ClickHouse的实时分析引擎应用实践》主题分享。
陈峰认为,ClickHouse自发布以来,因查询速度快、单机性能高等优点备受欢迎,但也存在一些缺点:不支持事务、不适合点查,仅能批量删除或修改数据,且在有些场景无法单独使用。
对于滴普来说,在服务企业客户中,如果推翻客户现有的数据平台,完全依靠clickhouse来重新构建,工作量将会变得非常巨大,如何在客户已有大数据平台的基础上引入clickhouse并存,成为滴普科技在应用中需要解决的问题。
%title插图%num
为此,滴普科技通过在各种数字化场景深入应用并不断调优,钻研ClickHouse内核,提出了解决方案:即冷热数据分离存储。简单理解,就是clickhouse中只存储需要进行交互式查询的热数据,借助clickhouse强大的查询能力,实现实时数仓,而大批量的备份用冷数据则存储在冷存储中。
而且,滴普科技还进一步进行了架构优化:通过引入MinIO等手段,通过数据迁移机制完成冷存储的数据导入,支持PB级别冷数据的存储。同时,为了帮助企业更好部署产品,滴普科技自主研发了DBMS4CK 产品,具备一键安装ClickHouse集群、SQL编辑器、Notebook等功能,将很多ClickHouse的独有功能做成便捷式功能,便于企业各级人员直接使用。
目前,滴普科技基于ClickHouse的技术方案,已经连接运用到客户的BI、时序数据分析、实时分析、用户画像等领域。
3
谢辉:构建从咨询到技术实施的整体服务
与此同时,滴普科技将数据智能技术应用到各行各业的典型场景中,打造了从战略咨询到落地实施的数字化整体建设能力。就这一层面,谢辉发表了《滴普数据智能平台建设与应用》的主题演讲。
谢辉认为,目前的商业环境是VUCA时代,不远的将来会升级为RUPT时代。为了应对RUPT时代急速变化的市场,变幻莫测的需求,企业需要搭建数据智能平台,应对未来的不确定性。
%title插图%num

面向这样的市场变化和客户的需求,滴普客户提供从战略咨询到落地实施的三位一体服务:
1. 数字化咨询服务
滴普科技主要与客户一起基于战略目标,打造宏观层面或者具体场景层面的数字化转型规划,涵盖基于业务场景的数据智能平台建设方法、数据治理方法、标签设计方法、数据架构和技术架构咨询等。
2. 数据智能平台FastData
平台提供了低成本、高性能的计算和存储能力,同时提供数据开发、数据分析和数据管理和探索式分析等一系列工具,帮助客户业务专家、数据科学家、数据工程师在统一的平台高效协作,进而沉淀和管理数据资产。
3. 数字化运营
在拥有数据智能平台基础设施以后,更重要的是如何使用技术,因此滴普科技推出了数字化运营服务,帮助企业如何基于长期战略和业务需求,更好地利用技术服务业务部门,为业务提供数据,让业务团队可以更好地做决策依据,更好地做业务创新,创造业务价值。
4
聚焦数据智能新趋势,携手行业共发展
如今,基于云原生数据智能平台FastData提供的技术平台,滴普科技已将技术能力赋能于商业智能、智慧政务、精益制造、金融科技等典型场景中,成功服务100余家大中型企业。

在数字化浪潮席卷的当下,滴普科技将聚焦数据智能平台新趋势,重点打造湖仓一体、流批一体的数据智能平台FastData和数据治理与运营资产平台DXP,着眼数据资产价值的最大化效能,赋能企业业务创新增长,助推企业面向未来实现跨越式发展。

%title插图%num
%title插图%num
合作伙伴零售

百丽国际  |  乖宝宠物地产
实惠多多港 | 康桥集团 | 新华联 | 华发股份政务
智慧龙华工业
科伦药业 | 九洲电器农牧
特驱农牧
其它
华胜集团 | 大横琴泛旅游


点击蓝字
关注我们

本篇文章来源于微信公众号: DEEPEXI滴普科技

版权声明:倡导尊重与保护知识产权,本文著作权归原作者所有。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至admin@itxiaolaba.com,我们将及时沟通与处理,谢谢支持!
转载请注明:DTCC | 聚焦数据智能新趋势,技术创新提升业务价值 | 网媒推 WangMeiTui.Com
分类:新闻中心 标签:

发表评论

您必须 登录 才能发表留言!