bob台子:一文读懂数据渠道、大数据渠道、中台
发布时间:2023-04-23 00:40:00
来源:bob体育官网链接 作者:Bob体育比赛竞猜

  造概念,在 IT 职业可不是一件生疏的事儿,中文博学多才,新名词、新概念往往简略精确,既能够被群众承受,又能够被专家把玩,真实做到老少皆宜、各有兴趣。近年来,数据中台之火爆,什么数据渠道、数据中台、数据湖、数据集市等等,不同的叫法把咱们绕的云里雾里,概念混杂不清,着实让人摸不着头脑……

  正如咱们清楚的知道企业要进行数字化驱动架构之前,必需求树立一致的数据规范和规范,用一致的、咱们都了解的言语描绘一件工作是多么重要。相同的道理,在了解“大数据”“数据中台”相关常识之前,咱们有必要先将常遇到的包含数据库房、数据集市、数仓湖、大数据渠道、数据中台等概念一次性说清,以便在往后的学习与建造中能够清楚的差异开来。

  在答复上述问题之前,咱们先来看看数据中台应该怎样了解?阿里以为数据中台其三项中心才能分别为:OneModel 担任一致数据构建及办理,OneID 担任将中心商业要素财物化,OneService 担任向上供给一致的数据服务。

  智领云以为,数据中台的中心才能是数据才能的笼统、同享与复用,两者对数据中台的界说看似差异巨大,但仔细剖析,阿里所界说的数据中台的中心才能正是智领云所界说的数据中台的成果。换言之,“笼统”是为了达到“OneModel”、“同享”则是为了“OneID”、“复用”才能让“OneService”更有意义。

  跟着大数据技能的不断更新与迭代,数据办理东西得到了飞速的开展,从数据库、数据库房、数据集市与数据湖,再到大数据渠道与现在的数据中台,其实将它们比方成一场“数据的旅程”就不难了解在数字化运营的不同阶段,各运营手法并不一定是谁代替了谁,精确的讲,它们都有自己的功用、特色地点,技能之间的互补,每个手法都各尽所能的为自己的用例服务。下面咱们就来短小精悍的概括一下数字化运营不同阶段中各运营手法的功用与亮点。

  1、数据库:传统的联系型数据库的首要运用,首要是根本的、日常的事务处理,例如银行买卖。

  2、数据库房:数据库房体系的首要运用是 OLAP,支撑杂乱的数据剖析,偏重决议计划支撑,而且供给直观易懂的查询成果,可做到事务的前史快照,总结性数据以及高纬度剖析。

  3、数据集市:能够了解为是一种小型数据库房,只包含单个主题,且重视规模也非大局,数据从企业规模的数据库、数据库房中抽取出来,投合专业用户集体的特别需求,其面向部分级事务或某一个特定的主题,杰出地处理了灵活性和功用之间的对立。

  4、数据湖:存储企业各式各样原始数据的大型库房,其间的数据可供存取、处理、剖析及传输,首要处理的是“看见数据”的问题,作为大局数据汇总及处理的一个中心功用,数据湖在数据中台建造中必不可少,除了为数据库房供给原始数据之外,数据湖也能够直接为上层的数据运用供给服务。

  5、大数据渠道:个性化、多样化数据,以处理海量数据存储、核算及流数据实时核算等场景为主的一套根底设施,运用大数据渠道,企业能够比竞争对手更快地作出数据驱动的决议计划,更快地推出习惯客户需求的产品。

  6、数据中台:咱们知道一切关于数据东西的建造,其意图都是为了从数据中提取价值来支撑更有用的数据运营,那么不能辅导实践行动,发明实践价值的数据以及从数据中发生的常识是无用的,那花大价钱来做这个体系也没有必要。

  说到底,数据东西的建造仍是要以 ROI(Return On Investment)来支撑,数据中台概念的呈现,很大程度上是本来的大数据体系建造的 ROI 不如人意,企业投入了许多的物力、财力和人力建造了大数据渠道,却发现并没有给企业带来运用的价值,大数据渠道更多的沦为“形象工程“,乃至发生了新的数据孤岛,更不用说完成数据才能的大局笼统、复用和同享了,而数据中台能够说是为此类大数据渠道了个“补丁”,其大局的数据库房、大数据和谐同享等才能,真实处理了重复开发、数据规范不一致、数据孤岛等问题,然后进步了数据价值完成功率和 ROI。

  其实,数字化运营不同阶段的运营手法相对来说是比较好了解的,可是咱们常常能听到一些字面意思附近的概念,尤其是当咱们了解到本来在美国硅谷“中台”其实早已有之,只不过这种方法论在被引进到国内之后,被冠以“中台”之名时混杂的概念常常让咱们手足无措。

  那么,在硅谷所谓的“中台”叫什么?国外的大数据渠道与国内的大数据渠道又有什么差异?接下来就让咱们一致相关概念并整理其联系,一次性说清让咱们一望而知。

  大数据渠道 1.0 时期,其实便是咱们一般所看到的国内“传统大数据渠道”的概念,此刻的大数据渠道是以处理海量数据存储、核算及流数据实时核算等场景为主的一套根底设施,以 Hadoop、Spark、Hive 等作为大数据根底才能层,在大数据组件上建立包含数据剖析,机器学习程序等 ETL 流水线,以及包含数据管理体系、数据库房体系、数据可视化体系等中心功用。

  可是在大数据渠道 1.0 时期,硬件出资与软件开发投入量巨大,极大增加了研制的难度、调试布置的周期、运维的杂乱度,且常常由于架构的缺点,数据运用开发运维的困难,多租户资源阻隔的杂乱度等原因形成数据孤岛、运用孤岛的问题。

  大数据渠道 2.0 = 新一代大数据渠道=大数据渠道1.0+数据中台的功用+数据运营的功用。

  大数据渠道 2.0 时期充沛诠释了硅谷“中台”早已有之的说法,但为什么硅谷没有“数据中台”概念?原因是硅谷公司从起步开端,办理层就将打造数据驱动需求的根底架构作为有必要的功课之一,公司内部都有一个 Data Platform(数据渠道)部分担任建造公司的数据渠道,其大数据渠道建造绝大多数是需求驱动,且后续开展都是由这个大数据渠道能发生多少价值来决议的。

  也便是说,在硅谷咱们其实也并没有故意的去打造什么中台,可是“防止重复造轮子”“快速迭代”“数据驱动”“事务驱动”是硅谷工程师文明的一些中心概念,也是硅谷高效立异的一个中心,大部分公司在开始架构规划时,就将“数据中台”所包含的数据笼统、复用与同享的才能,以及一些数据运营的功用规划在内了,其建造意图是相同的,所以没有必要在概念上过度纠结。

  数据中台建造的方针可简略概括为经过供给东西、流程和方法论,完成数据才能的笼统、复用和同享,赋能事务部分,进步完成数据价值的功率。阿里提出数据中台的概念,仅仅为了强谐和国内现有的大数据渠道加以差异,着重处理数据孤岛、重复开发的问题,杰出数据同享和复用的概念。

  想必现在你现已从傻傻分不清的状况中走出来,接下来,咱们再深化具体地了解下数据中台与之相对应的联系,看看你是不是现已挥洒自如的把握了相关概念呢?

  数据库房与数据集市的呈现,便是为了处理信息化阶段 OLTP(联机事务处理进程)在剖析场景下的局限性,它们将 OLTP 中的数据收集过来,做成面向前史、主题、剖析的一些数据集,然后能够轻松地做出 OLTP 难以做出的剖析。

  可是,跟着互联网年代的到来,数据库房的数据来历只在事务体系功用中,供给一些会聚的事务信息,无法供给个性化的信息以及一些非传统事务数据源的信息。别的,一些非传统事务数据源的信息一般存储在服务器日志中,那么许多且无效的数据假如都存储到数据库房中,其功率之低和约束是无法幻想的。

  此刻,数据湖和大数据渠道的呈现改变了上述局势,在这个阶段的数据库房和数据集市,则根据大数据技能取得了进化,也便是说数据库房不能处理的问题,咱们用大数据数仓(根据大数据技能完成的数据库房)来处理,大数据数仓处理不了的,咱们用大数据渠道来处理,大数据渠道处理不了的问题,就需求数据中台来处理。

  应该说数据中台是树立在数据库房和数据渠道之上的,让事务部分能够更好,更有用率的运用数据的运营办理层,并着重从东西和机制上支撑对数据才能的笼统、同享和复用。

  许多人会疑问大数据渠道 1.0 与数据中台的不同在哪里呢?其实,两者的建造意图都是开掘数据价值,高效完成数字化运营,差异则在于数据中台是具有事务特点的,输入的是原始数据,输出的是事务部分能够直接运用的数据才能。假如必需求将数据中台和大数据渠道 1.0 区别开来,能够说数据中台是树立在大数据渠道 1.0 的根底层之上,着重供给相应的东西和机制来完成数据才能的大局笼统、同享和复用。

  在国内,为什么许多企业面临着数据孤岛与运用孤岛的困局?而在硅谷,大多数企业并没有数据孤岛、运用孤岛的烦恼?由于硅谷每个公司在建造大数据渠道的时分,大数据渠道的运营功率和运用功率,都是必需求考虑的关键问题。在开始架构规划与后续迭代的时分,怎么最大化投入产出比,并让事务部分真实发挥数据的效果都是关键地点。在这个进程中,也有许多的测验和迭代,可是终究的成果是,绝大部分的大数据渠道天然的就会供给所谓的“数据中台”的功用,成为公司内部的一个中心价值驱动引擎。

  而大数据渠道 2.0 作为新一代大数据渠道,则是在大数据渠道 1.0 根底上,增加了数据中台的功用,以及数据运营的功用。关于“各个部分数据重复开发,糟蹋存储与核算资源”、“数据规范不一致,数据运用本钱高”、“事务数据孤岛问题严峻,数据使用功率低”,这些需求在大数据渠道 1.0 阶段处理的问题,并没有在国内企业的大数据渠道阶段得到考虑和处理。因而,需求一个新的渠道来为这个大数据渠道“打补丁”,而这个新渠道,便是所谓的“数据中台”。

  值得着重的是,国内企业级大数据渠道处理方案供给商智领云数据中台则是云原生的数据中台,如上图所示,整个架构的最底层是硬件资源层,在硬件资源层之上,左边是运用根底才能渠道,右侧是数据根底才能渠道,整个架构规划中一个很重要的方法论便是大局的运用和数据办理。

  总结:本文从数字化运营不同阶段对数据库房、数据湖、大数据渠道、数据中台等内在作了具体阐明,便于读者更好的了解和把握数据范畴相关概念,并协助咱们更好地了解大数据带给咱们的才能与效果。需求着重的是,除了了解数据中台的概念外,其方法论更为重要,数据中台建造为咱们企业数据服务和同享奠定了重要的根底,是企业从“数据”迈向“价值”的强壮助推器。