大数据同传统数据在预处理中的联系和区别?
发布网友
共3个回答
热心网友
一、大数据与传统数据的区别
与所有新鲜事物一样，大数据是一个尚未被明确定义的概念。它如此年轻，
以至于最时髦的大学还没来得及赶上开设这门专业，最时髦的专家也还未能让自
己的理论一统江湖。所有对它进行研究的人都还在感悟，大数据究竟与传统数据
有怎样的区别。
互联网是个神奇的大网，大数据开发也是一种模式，你如果真想了解大数
据，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二
五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面
的内容，如果只是凑热闹的话，就不要来了。
在googlescholar（谷歌学术搜索）中键入bigdata，查询近5年来的学
术着作，共有355,000篇之多；而如果输入“bigdata”与“ecation”两个
关键词，模糊匹配下约出现17,600条结果，而精确匹配下则不足10篇。可见，
教育领域的大数据挖掘，仍然是一片未开垦，未有先来者制定规则的*地。而
在传统数据领域，一次PISA考试就能在全世界各地产生300篇以上的博士论文，
全世界教育与心理计量方向每年约培养硕士与博士5000人，教育与心理统计分
析相关的SSCI核心期刊多达4种，为IES、ETS等机构提供数据分析的专业
机构有160余家，从业者4000多人，而像WWC这样的行业标准已经形成—
—传统的教育数据领域气象格局已成，很难撼动其已有的方*与评价体系。
数据量与分析手段也必然走向鸟*换炮。传统数据中，一个学生读完9年制
义务教育产生的可供分析的量化数据基本不会超过10kb，包括个人与家庭基本
信息，学校与教师相关信息，各门各科的考试成绩，身高体重等生理数据，图书
馆与体育馆的使用记录，医疗信息与保险信息等，以及其他类别的评估数据。这
样的数据量，一台较高配置的普通家庭电脑，初级的EXCEL或SPSS软件就能
进行5000名以下学生量的统计分析工作；而双核处理器，ACESS，SurveyCraft
等软件的配置足以完成整个区域的高级统计运算。这样的工作一般只需要中级水
平的教育与心理统计知识，一套可供按部就班进行对照处理的数据分析模版，以
及经过两三个月的操作培训就能基本胜任。
而大数据的分析则完全是另一种层面的技术。根据美国着名的课堂观察应用
软件开发商ClassroomObserver的研究，在一节40分钟的普通中学课堂中一
个学生所产生的全息数据约有5-6GB，而其中可归类、标签、并进行分析的量
化数据约有50-60MB，这相当于他在传统数据领域中积累5000年的数据总和。
而要处理这些数据，需要运用云计算技术，并且需要采用Matlab，
Mathematica，Maple等软件进行处理并进行数据可视化。而能够处理这些数
据的专业人才一般来自数学或计算机工程领域，需要极强的专业知识与培训，而
更为难能可贵的是，大数据挖掘并没有一定的方法，更多需要依靠挖掘者的天赋
与灵感。
大数据与传统数据最本质的区别体现在采集来源以及应用方向上。传统数据
的整理方式更能够凸显的群体水平——学生整体的学业水平，身体发育与体质
状况，社会性情绪及适应性的发展，对学校的满意度等等。这些数据不可能，也
没有必要进行实时地采集，而是在周期性、阶段性的评估中获得。传统数据反应
的是教育的因变量水平，即学生的学科学习状况如何，生理健康与心理健康状态
如何，对学校的主观感受如何等问题。这些数据，完全是在学生知情的情况下获
得的，带有很强的刻意性和压迫性——主要会通过考试或量表调查等形式进行
——因此也会给学生带来很大的压力。
而大数据有能力去关注每一个个体学生的微观表现——他在什么时候翻开
书，在听到什么话的时候微笑点头，在一道题上逗留了多久，在不同学科课堂上
开小差的次数分别为多少，会向多少同班同学发起主动交流？这些数据对其他个
体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过
程性的：课堂的过程，作业的过程，师生或生生的互动过程之中……在每时每刻
发生的动作与现象中产生。这些数据的整合能够诠释教育微观改革中自变量的水
平：课堂应该如何变革才符合学生心理特点？课程是否吸引学生？怎样的师生互
动方式受到欢迎？……而最最有价值的是，这些数据完全是在学生不自知的情况
下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的
日常学习与生活，因此它的采集也非常的自然、真实。
邦邦科技：所以，综合以上的观点，我们不难发现，在教育领域中，传统数
据与大数据呈现出以下区别：
1、传统数据诠释宏观、整体的教育状况，用于影响教育*决策；大数据
可以分析微观、个体的学生与课堂状况，用于调整教育行为与实现个性化教育。
2、传统数据挖掘方式，采集方法，内容分类，采信标准等都已存在既有规
则，方*完整；大数据挖掘为新鲜事物，还没有形成清晰的方法、路径、以及
评判标准。
3、传统数据来源于阶段性的，针对性的评估，其采样过程可能有系统误差；
大数据来源于过程性的，即时性的行为与现象记录，第三方、技术型的观察采样
的方式误差较小。
4、传统数据分析所需要的人才、专业技能以及设施设备都较为普通，易获
得；大数据挖掘需要的人才，专业技能以及设施设备要求较高，并且从业者需要
有创新意识与挖掘数据的灵感而不是按部就班者，这样的人才十分稀缺。
热心网友
大数据分析师是一个比较新的概念,是因为大数据的发展而 出现的,而传统的数据分析师这一个岗位,则已经存在很久了。
热心网友
他的区别有8种：
分别是：
1、数据规模、2、数据类型、3.模式(Schema)和数据的关系、4.处理对象
5、获取方式、6、传输方式、7、数据存储方面、8、价值的不可估量
价值的不可估量：
传统数据的价值体现在信息传递与表征，是对现象的描述与反馈，让人通过数据去了解数据。
而大数据是对现象发生过程的全记录，通过数据不仅能够了解对象，还能分析对象，掌握对象运作的规律，挖掘对象内部的结构与特点，甚至能了解对象自己都不知道的信息。
