一直以来,Smartbi回馈用户的最好方式就是提供更好的产品和更好的服务。作为Smartbi的最新版本,V9有很多实用的功能,就是从用户的实际情况出发,为用户着急,想用户所想。从今天开始,小麦将在一系列文章中与大家分享。本期在【数据准备】中介绍了V9的一些新功能亮点。
批处理和多线程并发提高数据提取效率
在以前的Smartbi版本中,数据提取有两种情况:
1.将数据库中的所有数据一次性写入缓存中,当数据量较大时,内存将被占用过多。V9支持将数据批量写入缓存中,可以保证查询速度,避免占用过多内存,达到最高效率;
2.在提取数十亿的数据时,如果是单线程提取,容易出现提取速度慢、提取不成功甚至环境崩溃的情况。V9增加了多线程并发抽取,可以在用户抽取大量数据时进行设置。以Smartbi从Mpp提取1亿条数据为例,单线程提取需要2.5小时,设置10个线程提取只需要48分钟,速度提升了3倍。
支持各种数据集的增量提取,避免资源浪费
在以前的版本中,只有自助数据集支持增量提取。除了自助数据集,V9还支持可视化数据集、原生SQL数据集、SQL数据集、存储过程数据集和Java数据集的增量抽取。您可以在“提取设置界面”的中设置选项“按时间戳增量提取”。
支持Mpp聚类提取,进一步增强适用性
当缓存库连接的驱动类型为“SmartbiMpp”时,V9支持集群提取。在“提取设置”界面增加“高级设置”,设置“分区字段\"”和“分区类型”。它的中和分区字段需要日期类型。
支持自定义表名,使搜索更加直观
在以前的版本中,数据集和临时查询提取存储在缓存库中的表。默认情况下,“数据集标识”用作表名,“数据集名称”用作表别名。数据库查看表时,使用数据集ID作为表名,不利于用户直观搜索所需的表。V9支持数据集和临时查询,以提取存储在缓存库中的表的自定义表名。
时间管理增加了维度,以满足各种统计周期
业务人员经常需要制作统计分析报表,如月报、周报等。为了满足更多的多维统计分析,V9维度管理增加了对“半年”、“十天”和“周”的支持。在其中,“半年”的显示格式是:上半年和下半年;“十天”是:涨,中,跌;“周”是:Www(W也是一样,是字母,ww表示周,例如2019年的第一周是:2019-W01。
提供标准功能测试,以减少数据提取和错误报告
以前版本的自助数据集计算字段支持的功能是根据其所属的数据库类型来确定的。这样就存在函数不兼容的问题,导致抽取时出现SQL错误。针对这个缺点,结合产品的使用,V9封装了一套基于SQL92的Smartbi自带的函数语法,用于适配Smartbi支持的数据库,检查输入函数是否在提供的函数列表的中。如果该函数不在函数列表中,中,它将提示该函数不是标准的函数库语法,并且不能在其他数据库中使用。
除了上面介绍的新功能点,SmartbiV9在数据准备方面还有很多小的优化。如果自助数据集的数据源是hana数据源,则自助数据集支持其参数。添加“多维data set”作为自助数据集的数据源;数据集的提取日志由页面等加载。有兴趣的话可以登录V9体验中试用,亲自感受一下V9的新UI和新功能。
V9体验中心:pC登录官网-体验中心
总结如下:
1.批量读取数据,并通过多个线程同时提取数据
2.支持各种数据集的增量提取
3.支持Mpp聚类提取
4.提取支持用户定义的表名
5.时间维度管理增加“半年”、“十天”、“一周”
6.提供标准功能测试