hga038安卓 hga038安卓 hga038安卓

大数据分析,到底是在分析什么?

大数据预测算法_投入产出法测算皮棉单耗数量_大数据培训大数据培训

“大数据”这三个词一直被骂得不好听,经常提到“大数据分析”。但究竟什么是“大数据分析”?为什么人们大喊大叫,但工作时却很少感觉到?今天解释一下系统。

一、普通人所理解的“大数据”

普通人理解的大数据可以用奇怪来形容,比如:

一个excel文件200M,数据量太大了!我国有14亿人口,这是一个庞大的数字!卧槽,一看到车,就有4S店促销电话,一定是收集了我的大数据。

所有这些奇怪的理解都是由于对“数据”本身的理解不足造成的。要充分理解“大数据”的真正含义,就要从数据的来源说起。

2、先了解“小数据”,再谈“大数据”

最原始的数据收集方式是:问卷调查。特约调查员借助问卷调查,通过现场询问和测量获取数据。这种方法已经使用了400多年,经典的统计和管理理论都是以此为基础的(如下图所示)。

大数据培训大数据培训_投入产出法测算皮棉单耗数量_大数据预测算法

小数据有用吗?有用!很有用!

可以在某个区域收集到的数据意味着政府对该区域具有支配地位。收集到的数据越多,中央就越能因地制宜,加强管理。数据是如此重要,以至于在历史上很长一段时间内大数据预测算法,统计的任务都交给了政府、军队和情报机构。1990年代初,应宝洁公司的强烈要求,我国第一家调查公司成立。

大数据培训大数据培训_大数据预测算法_投入产出法测算皮棉单耗数量

然而,研究方法存在三个明显的问题:

非常费力。面试官、主管、审稿人、录入、数据处理……都是人。非常耗时。设计问卷、填写问卷并回收它是所有时间。准确度低。现场测得的数据会比较准确,但是大部分口头提问都是不准确的。

大数据培训大数据培训_投入产出法测算皮棉单耗数量_大数据预测算法

这些问题导致了问卷时代的数据采集只能抽样,不能全量采集。因此,衍生出特殊的抽样理论和方法。但无论数据方法如何改进,在业务中,抽样始终是一个难以逾越的障碍。决策者总觉得:

样本量是否太小;是不是不够有代表性?是没有覆盖的样本真的是一致的。

只要是样本数据,肯定会受到质疑,永远充满猜疑。这也是当初“小数据”论调的来源。后面所有的“大数据”其实都是围绕着“小数据”的问题展开的。

一、数据放大第一步:系统采集

数据从小到大转换的第一步是从系统采集开始。例如,如果企业扩大规模,想在各地建立连锁店,第一步是安装POS机,收集交易数据,更换纸质订单/送货单。这时候如果想了解销售数据,可以根据POS机采集的数据进行查看(如下图)。

大数据预测算法_投入产出法测算皮棉单耗数量_大数据培训大数据培训

从样本数据到全数据,是一个质的变化。基于全量数据,可以直接管理到各个终端门店,直接根据数据做出业务决策。因此,大多数公司的销售分析、业务分析、业务分析系统都是在此基础上构建的(如下图所示)。

大数据预测算法_投入产出法测算皮棉单耗数量_大数据培训大数据培训

大数据预测算法_投入产出法测算皮棉单耗数量_大数据培训大数据培训

不过这个阶段的局限性也很明显:POS机只能记录交易结果,对流程一无所知。谁在买,多少钱,为什么都不清楚。

这一阶段的分析,是典型的知真不知道为什么的分析。大部分分析只能通过交易结果来猜测。如果现阶段只有数据,想要深入分析,还是要靠研究。比如,传统企业想要了解门店的交易流程,他们会进行门店调查,研究消费者在门店的动向,询问消费者的体验。

2.数据变大。第二步:主动收藏

有了系统的收集,大家自然会想:除了交易数据,其他的数据也可以系统的收集。比如最简单的形式:让用户交出身份证,通过图像识别进入。这样不仅可以收集用户数据,还可以避免人工填写的错误。

但问题来了:为什么一定要把身份证交给你?因此,在传统采集中,这些真实数据只有在银行、航空、通讯等有国家背景+法律要求的地方才能相对准确地采集到。

大数据培训大数据培训_投入产出法测算皮棉单耗数量_大数据预测算法

然而,这些困难并没有阻止企业收集信息的热情。常用手段,如:勾引用户申请会员卡,赠送生日礼物给用户填写生日等。用户完成信息以奖励积分等。更激进的是,在门店安装人脸识别和眼动追踪设备来收集数据甚至是常识(当然成本很高)。

为什么公司孜孜不倦地追求这些数据,因为它真的很有用。至少数据可以具体到一个人,可以识别谁是高端用户,谁是睡眠用户,从而细化操作(如下图)。

大数据预测算法_投入产出法测算皮棉单耗数量_大数据培训大数据培训

大数据培训大数据培训_大数据预测算法_投入产出法测算皮棉单耗数量

真正低成本解决消费者行为数据采集问题,还得靠互联网产品。

3. 数据变大第 3 步:行为连接

互联网产品最大的优势在于App/小程序/H5本身就是一个数字产品。这时不仅可以记录用户的点击、登录等行为数据大数据预测算法,还可以将用户ID、手机号等信息整合到一个统一的ID中,比依赖线下的流程效率高出无数倍纸质申请。

它还可以标记视频、图片、文章等内容,并通过用户点击次数、转发次数和浏览时间来反向用户需求。对于体验过传统企业数据的人来说,互联网产品的数据简直就是一把霰弹枪。

与传统的会员基础信息和消费流量数据相比,用户行为数据量特别大。您只能考虑在购买商品之前在淘宝上花费了多长时间。之前可能是上百次的点击和浏览,到最后只有一笔交易。

因此,需要专门的大数据架构来支持这些数据的存储和计算。狭义的大数据技术是指大量用户行为数据和非结构化数据的存储和计算。

有了这些数据,我们就有了互联网流行的分析方法,比如漏斗分析(如下图)。

大数据预测算法_大数据培训大数据培训_投入产出法测算皮棉单耗数量

在这些基础数据采集的基础上,可以扩展更多的数据应用,比如:

模型类:行为预测、推荐算法;测试等级:产品ABtest;肖像类:用户肖像。

投入产出法测算皮棉单耗数量_大数据培训大数据培训_大数据预测算法

大数据培训大数据培训_大数据预测算法_投入产出法测算皮棉单耗数量

虽然这些方法也可以根据交易数据来做,但是数据量直接决定了结果的准确性。从而影响了业务方的使用。传统时代,只有银行、运营商、航空公司专有的分析方法才成为互联网公司的标准。

但是,即便如此,由于存在一些无法解决的问题:

三、上不了台面的“大”法

当然,有一些灰色/黑色的方法可以让数据变大

直接从“有数据”的人那里购买数据!爬虫、凭证填充和来之不易的用户数据。通过该设备,用户数据被静默收集。

这是各种骚扰电话和垃圾邮件的来源。当然,随着国家对信息安全保护的要求越来越严格,这些小玩意儿的生存空间也逐渐被压缩了,就不多说了。

四、“大数据有什么用”的终极答案

纵观数据从小到大的全过程,可以看出数据总是有用的。即使是最简单、最不准确的数据也能反映出管理问题。因此,决策者对数据的追求总是孜孜不倦,永不满足(如下图所示)。

投入产出法测算皮棉单耗数量_大数据培训大数据培训_大数据预测算法

大数据培训大数据培训_大数据预测算法_投入产出法测算皮棉单耗数量

那么,为什么还有这么多人问“大数据有什么用”呢?

因为不是每个人都明白“数据”的用途,别说大数据,小数据还是不会用的。

到2021年,还有人用脑袋和胸膛做决定,以求保证;还有人沉迷于“我从业十年,我说的都是对的”;还是有人认为大数据可以包治百病,敲代码,电脑发钞票。屏幕喷涌而出;还有人迷信“底层逻辑”和“核心思维”,修炼内功和心法。

总之,要想善用数据,就必须深入业务流程,详细了解数据的收集方法,这样才能理解数据背后的业务意义,将面临的具体问题转化为数据问题,并解决正确答案。

投入产出法测算皮棉单耗数量_大数据预测算法_大数据培训大数据培训

收集和计算数据是一门科学。

应用数据产生价值是一门艺术。

差异大致相同。

#专栏作家#

脚踏实地的陈老师,微信公众号:脚踏实地的学校,人人都是产品经理专栏作家。资深顾问,在互联网、金融、快消品、零售、耐用、美妆等15个行业拥有丰富的数据相关经验。

本文最初发表于每个人都是产品经理。未经许可禁止复制

标题图片来自 Unsplash,基于 CC0 协议。