大数据同传统数据在预处理中的联系和区别?

发布网友

我来回答

3个回答

热心网友

一、大数据与传统数据的区别
与所有新鲜事物一样,大数据是一个尚未被明确定义的概念。它如此年轻,
以至于最时髦的大学还没来得及赶上开设这门专业,最时髦的专家也还未能让自
己的理论一统江湖。所有对它进行研究的人都还在感悟,大数据究竟与传统数据
有怎样的区别。
互联网是个神奇的大网,大数据开发也是一种模式,你如果真想了解大数
据,可以来这里,这个手机的开始数字是一八七中间的是三儿零最后的是一四二
五零,按照顺序组合起来就可以找到,我想说的是,除非你想做或者了解这方面
的内容,如果只是凑热闹的话,就不要来了。
在googlescholar(谷歌学术搜索)中键入bigdata,查询近5年来的学
术着作,共有355,000篇之多;而如果输入“bigdata”与“ecation”两个
关键词,模糊匹配下约出现17,600条结果,而精确匹配下则不足10篇。可见,
教育领域的大数据挖掘,仍然是一片未开垦,未有先来者制定规则的*地。而
在传统数据领域,一次PISA考试就能在全世界各地产生300篇以上的博士论文,
全世界教育与心理计量方向每年约培养硕士与博士5000人,教育与心理统计分
析相关的SSCI核心期刊多达4种,为IES、ETS等机构提供数据分析的专业
机构有160余家,从业者4000多人,而像WWC这样的行业标准已经形成—
—传统的教育数据领域气象格局已成,很难撼动其已有的方*与评价体系。
数据量与分析手段也必然走向鸟*换炮。传统数据中,一个学生读完9年制
义务教育产生的可供分析的量化数据基本不会超过10kb,包括个人与家庭基本
信息,学校与教师相关信息,各门各科的考试成绩,身高体重等生理数据,图书
馆与体育馆的使用记录,医疗信息与保险信息等,以及其他类别的评估数据。这
样的数据量,一台较高配置的普通家庭电脑,初级的EXCEL或SPSS软件就能
进行5000名以下学生量的统计分析工作;而双核处理器,ACESS,SurveyCraft
等软件的配置足以完成整个区域的高级统计运算。这样的工作一般只需要中级水
平的教育与心理统计知识,一套可供按部就班进行对照处理的数据分析模版,以
及经过两三个月的操作培训就能基本胜任。
而大数据的分析则完全是另一种层面的技术。根据美国着名的课堂观察应用
软件开发商ClassroomObserver的研究,在一节40分钟的普通中学课堂中一
个学生所产生的全息数据约有5-6GB,而其中可归类、标签、并进行分析的量
化数据约有50-60MB,这相当于他在传统数据领域中积累5000年的数据总和。
而要处理这些数据,需要运用云计算技术,并且需要采用Matlab,
Mathematica,Maple等软件进行处理并进行数据可视化。而能够处理这些数
据的专业人才一般来自数学或计算机工程领域,需要极强的专业知识与培训,而
更为难能可贵的是,大数据挖掘并没有一定的方法,更多需要依靠挖掘者的天赋
与灵感。
大数据与传统数据最本质的区别体现在采集来源以及应用方向上。传统数据
的整理方式更能够凸显的群体水平——学生整体的学业水平,身体发育与体质
状况,社会性情绪及适应性的发展,对学校的满意度等等。这些数据不可能,也
没有必要进行实时地采集,而是在周期性、阶段性的评估中获得。传统数据反应
的是教育的因变量水平,即学生的学科学习状况如何,生理健康与心理健康状态
如何,对学校的主观感受如何等问题。这些数据,完全是在学生知情的情况下获
得的,带有很强的刻意性和压迫性——主要会通过考试或量表调查等形式进行
——因此也会给学生带来很大的压力。
而大数据有能力去关注每一个个体学生的微观表现——他在什么时候翻开
书,在听到什么话的时候微笑点头,在一道题上逗留了多久,在不同学科课堂上
开小差的次数分别为多少,会向多少同班同学发起主动交流?这些数据对其他个
体都没有意义,是高度个性化表现特征的体现。同时,这些数据的产生完全是过
程性的:课堂的过程,作业的过程,师生或生生的互动过程之中……在每时每刻
发生的动作与现象中产生。这些数据的整合能够诠释教育微观改革中自变量的水
平:课堂应该如何变革才符合学生心理特点?课程是否吸引学生?怎样的师生互
动方式受到欢迎?……而最最有价值的是,这些数据完全是在学生不自知的情况
下被观察、收集的,只需要一定的观测技术与设备的辅助,而不影响学生任何的
日常学习与生活,因此它的采集也非常的自然、真实。
邦邦科技:所以,综合以上的观点,我们不难发现,在教育领域中,传统数
据与大数据呈现出以下区别:
1、传统数据诠释宏观、整体的教育状况,用于影响教育*决策;大数据
可以分析微观、个体的学生与课堂状况,用于调整教育行为与实现个性化教育。
2、传统数据挖掘方式,采集方法,内容分类,采信标准等都已存在既有规
则,方*完整;大数据挖掘为新鲜事物,还没有形成清晰的方法、路径、以及
评判标准。
3、传统数据来源于阶段性的,针对性的评估,其采样过程可能有系统误差;
大数据来源于过程性的,即时性的行为与现象记录,第三方、技术型的观察采样
的方式误差较小。
4、传统数据分析所需要的人才、专业技能以及设施设备都较为普通,易获
得;大数据挖掘需要的人才,专业技能以及设施设备要求较高,并且从业者需要
有创新意识与挖掘数据的灵感而不是按部就班者,这样的人才十分稀缺。

热心网友

大数据分析师是一个比较新的概念,是因为大数据的发展而 出现的,而传统的数据分析师这一个岗位,则已经存在很久了。

热心网友

他的区别有8种:
分别是:
1、数据规模、2、数据类型、3.模式(Schema)和数据的关系、4.处理对象
5、获取方式、6、传输方式、7、数据存储方面、8、价值的不可估量
价值的不可估量:
传统数据的价值体现在信息传递与表征,是对现象的描述与反馈,让人通过数据去了解数据。
而大数据是对现象发生过程的全记录,通过数据不仅能够了解对象,还能分析对象,掌握对象运作的规律,挖掘对象内部的结构与特点,甚至能了解对象自己都不知道的信息。

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com