一篇文章中的AI、BI和大数据之间的关系
浏览:316 时间:2021-11-9

近年来,随着企业数字化转型的深入和对智能场景应用需求的日益迫切,企业越来越重视大数据、人工智能、BI等技术。这让企业在数据应用实践中面临一个问题,到底是选择大数据还是BI?这其实就是两者实际上是相互依赖,相互渗透的事实。

什么是商业智能?

BusinessIntelligence,英文,缩写为BI,是用于帮助企业更好地利用数据来提高决策质量的技术集合,是从大量数据中钻取信息和知识的过程。你可能对这个概念知之甚少。比如,什么是高质量决策的技术集合?什么是钻井信息和知识?一点基础都没有的人很难理解?让我们从在餐馆点餐开始。

餐厅点餐时,顾客点了一份水煮鱼片,这是需求。有了这个需求,餐厅就要根据订单准备菜品,这就需要我们准备原材料,比如草鱼或者鲱鱼,配菜,比如豆芽和千张等。准备好的菜均匀地放在菜架上,厨师可以直接翻炒。

与BI相对应,客户点餐相当于提出了一个业务需求。比如管理者要查看过去一周的全国销售数据,准备食品的过程就相当于准备一份报告,要按照要求准备相关数据,比如总销售数据、子产品数据、相关销售人员数据。同样,这些准备好的数据从各种数据源中提取出来,然后放入“数据仓库”,报表开发人员可以直接从其中找到数据来制作报表。

当然,这只是一个简单的过程,真正的过程涉及很多步骤。比如在锅里煮之前,不能直接把锅里的鱼全扔了。你要把鱼开膛,取出内脏清洗干净,按照顾客的要求把鱼切成块。这是一个将源材料转化为真正可用材料的过程。对于BI,这个过程是ETL ——提取提取,取出鱼;改造改造,将鱼变成鱼片,完成清洗改造工作;装盘:将洗好的鱼片放在菜架上随时烹饪。

数据的准备过程与菜品原料的清洗过程相同。数据存储在一些数据表中,但不是所有的数据都需要提取,只会提取需要的数据;涉及到的一些数据需要进行复制、合并计算、格式转换等。都属于转型阶段;加载:最后,将数据加载到数据仓库中,数据仓库有一组表。

源数据的收集和加载也是如此。数据可能来自外部系统,不同的内部业务系统,如CRM和ERp,以及来自业务人员的EXCEL表,这些统称为数据源。

还认为几个数据源可以连接到几乎任何数据源,包括基于文件的数据源、特定于应用程序的数据源和大型数据源。不需要完全建模或者提前聚合数据。观看几个自助数据准备工具,为复杂场景提供强大的数据集成脚本。这些数据准备功能有助于暴露数据区域和潜在的问题业务,并且可以在没有外部工具或数据仓库的情况下创造价值。

这些数据被ETL工具原封不动地提取到一个名为ODS或STAGING的数据库中,先存储起来,这类似于先买菜,再放到厨房。之后,数据被清理和排序,然后放入数据仓库。之后就是做报告的过程。

在战略数据库中,ODS数据库是业务系统和数据仓库之间的隔离层,用于存储直接从业务系统中提取的数据。一方面,ODS数据库使数据在粒度、组织等方面与业务系统保持一致。原来业务系统生成的报表和明细数据的查询自然可以从ODS进行,减轻了业务系统的查询压力。另一方面,数据仓库中存储的数据都是汇总数据,并不存储每笔交易产生的详细数据。在一些特殊应用中,可能需要查询交易的详细数据。此时需要将详细数据查询功能转移到ODS。ODS的数据模型采用面向主题的方式存储,可以方便地支持多维分析等查询功能。

大数据不是商业智能的简单升级

随着大数据、AI等技术的快速发展,以及大数据在行业中的应用,企业对BI和大数据的选择陷入了“非此即彼”的思维。专业人士告诉你,你不必。

虽然大数据和BI是两个不同的概念和工具,但它们是社会发展不同阶段的产物。大数据对商业智能既有继承又有发展。在大数据和AI的应用过程中,需要一系列的产品作为技术载体,BI就是一个理想的载体。商业智能可以被视为技术和商业之间的桥梁。目前,企业在人工智能转型过程中无法脱离原有的信息系统。所以,我们必须用BI来完成智能过渡。

从思想上看,大数据和BI都遵循“数据-信息-知识-智慧”的发展过程。两者的区别如下:

首先是数据源。BI的数据源一般是企业内部信息系统中的数据,大数据的数据源不仅包括企业内部信息系统的数据,还包括各种外部系统、机器和数据库的数据。大数据来自广泛的数据源,更多的数据来自云,云可以无限扩展。

二是发展方向。对于企业来说,BI是一种管理和思维方式的转变,分析企业内部数据,支持企业运营和决策,从传统的商业模式走向商业智能。除了解决企业业务问题,大数据还包括与行业、产业的深度融合。不同的行业呈现不同的内容和分析维度,利用全新的数据技术拓展和优化企业业务。

第三,技术标签。BI的技术标签包括ETL、数据仓库、OLAp和可视化报表。大数据的技术标签包括Hadoop、Mpp、HDFS、MapReduce、流处理等。随着时代的变迁和技术的迭代,BI发生了许多优化和变化,新的BI被赋予了更多的“大数据”潜力,既满足海量实时数据分析,又满足决策业务分析。

目前厂商推出的一站式大数据分析平台基本都是大数据和BI结合的产物,既解决了大数据和BI之间如何选择的问题,又融入了AI增强。比如看几个平台就是新一代的增强型智能协同BI平台,不仅完全支持中文自然语言查询,还能让用户从所有可视化、图表、图形等对象中进行选择,可以用全局搜索来表达数据、关联和分析。

因此,关于BI、大数据和AI的关系,可以理解为大数据是AI场景应用的重要基础,而AI是大数据应用的重要领域。大数据的重要价值在于:一是人工智能产品,为智能体提供的数据量越大,智能体的运行效果越好,因为智能体通常需要大量的数据进行“训练”和“验证”,从而保证运行的可靠性和稳定性。第二,人工智能需要大量的数据作为“思考”和“决策”的基础。另一方面,大数据也需要人工智能技术进行数据价值运营。例如,机器学习是一种常见的数据分析方式。