想要数据准备效率翻倍提升?这个超强数据引擎还获国家发明专利

想要数据准备效率翻倍提升?这个超强数据引擎还获国家发明专利

一台汽车最重要的部件是引擎,同样在一个BI产品里面也有一个引擎——数据建模功能。Smartbi V10提供的数据建模功能 数据模型 带来了“敏捷建模”的新思路,在BI产品中融入“多维建模”的能力,相当于把汽车从原来的V4发动机升级到了V12发动机,这是一个质的飞跃!

近期,Smartbi数据模型底层技术获得了国家发明专利,本发明专利实现了展现层和数据层的有机结合,有效提升数据准备分析查询效率。

有小伙伴对此功能很感兴趣,今天小麦给大家介绍一下数据模型是什么,能帮助用户解决哪些问题。

在了解数据模型之前,我们先来了解一下数据集市。

数据集市(Data Mart)就是满足特定的部门或者用户的需求,从数据仓库中独立出来,按照多维的方式进行定义和存储,生成面向决策分析需求的数据立方体。

基于数据集市进行数据分析,使用户能够从多种维度、多种数据综合度查看数据,从而深入地了解包含在数据中的信息和规律,因此数据集市在BI建设中必不可少。

而Smartbi数据模型功能则是在BI产品中融入“数据集市建模”的能力。它能满足不同用户需求场景的数据准备需求,以“维度”、“度量”的方式敏捷地构建多维模型,从“数据引擎”上提升数据准备效率!

接下来,我们看一下为什么需要数据模型?

A客户刚接触BI平台建设,未有完善的数据集市,但是市场上的数据集市工具和BI工具是分开的,无法满足一站式BI的需求。此外,其他BI厂商虽有数据集功能来为数据展现服务,但是因为数据集本身分散、混乱等问题,难以承担“敏捷建模”的使命。

客户期望:一个产品满足完成数据处理、敏捷建模、数据分析、数据分享等BI需求。

“数据集市”必不可少,却位于BI软件之外。数据模型让“多维建模”能力融入BI产品,用户无论是否有数据仓库或是ODS,只需使用Smartbi,都可以敏捷建模实现数据集市。从而使得Smartbi具备一站式BI能力,即可一站完成数据连接、数据处理、数据建模、数据分析、数据分享等全流程功能。

二、以现代化BI理念,带来“敏捷建模”的新思路

B客户是一家大型金融企业,数据仓库建设已经成熟,且是通过大宽表来实现数据集市,分析应用起来更加直观、效率更高。

但是因为宽表模式的限制,存在增删分析字段不方便、数据重复膨胀口径不一、关联计算时数据量大性能慢、宽表和业务手工Excel数据关联混合分析不方便等问题,技术人员处理起来不灵活、不敏捷。

客户期望:能够实现更加敏捷的多维建模。

受限于技术,传统“数据集市”不敏捷。在处理实际需求时,技术人员响应不快,处理不灵活,需要较长时间。

因此,Smarbi带来了“敏捷建模”的新思路:现代化BI是以自助敏捷为理念,即无论是数据分析还是建模操作,都希望更加简单敏捷。Smartbi数据模型就是通过更简单灵活的建模操作,更动态的Cube模式,让用户能更快速地响应需求、更敏捷地进行数据建模等。

小李是一家大型金融企业的数据分析师,经常要做各类业务数据的统计分析,比如要统计银行各营业部近5天购买金融产品金额超过1万的客户数。类似需求,小李都要找IT人员,通过书写复杂的二次汇总计算脚本费时费力才能勉强实现。

客户期望:让数据二次三次加工处理不再费时费力。

Smartbi数据模型提供了丰富、强大的计算能力,不仅支持SQL计算、ETL分布式计算、MDX计算;还支持快速实现同环比时间计算、占比、排名、累计等;同时支持在计算中使用参数,动态获取结果。

小王是一名大型企业的业务员,经常要及时灵活分析业务发展情况。但是由于业务数据分散存在多个业务系统,比如:产品生产系统中的产品表(MySQL库)、订单系统的订单表(Oracle库)等,并且还有部分存储在本地Excel文件中的数据很难导入系统进行关联分析。因此导致小王业务分析效率、正确率低下,对业务指导不够及时。

客户期望:整合分散的业务数据,及时灵活的分析业务数据。

Smartbi数据模型整合多种数据集类型,融合线上线下数据,包括数据源表、即席查询、SQL查询、导入文件等,并且支持跨库数据整合,可以直接连接Oracle、MySQL、Excel文件等各类数据关联分析,满足不同用户的数据准备需求,提升数据分析的效率。

对于使用Smartbi V10之前版本的用户,初始使用各种数据集进行数据准备和分析时,往往不知如何选择使用。

数据模型对Smartbi产品数据准备和数据分析的之间的关系进行了重新梳理,统一了表现层和数据层,从而让表现层和数据层关系变得简单,用户一眼即可看清功能逻辑,学习和使用成本进一步降低。

同时,数据模型提升并统一了数据分析的计算能力,不仅支持一键生成同环比等时间计算、占比、排名、累计,同时让电子表格、即席查询、仪表盘等都具备相同的计算能力;

此外,数据模型支持超大表关联,通过抽取数据到使用分布式内存计算技术的高速缓存库中,提升查询速率。

正如一部汽车的动力取决于引擎,数据模型封装了丰富数据查询、表关联、指标计算、ETL等能力,从“数据引擎”上提高数据准备效率,为上层应用(交互仪表盘、电子表格等)输出更澎湃的“动力”,让Smartbi成为拥有“多维建模”能力的一站式BI产品,全面提升产品的功能性和便捷性。