卷积神经网络概述范文1
关键词：树叶识别；支持向量机；
中图分类号 TP18 文献标识码：A 文章编号：1009-3044（2016）10-0194-03
Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.
Key words recognition leaves； SVM； convolutional neural network
1
树叶识别与分类在对于区分树叶的种类，探索树叶的起源，对于人类自身发展、科普具有特别重要的意义。目前的树叶识别与分类主要由人完成，但，树叶种类成千上万种，面对如此庞大的树叶世界，任何一个植物学家都不可能知道所有，树叶的种类，这给进一步研究树叶带来了困难。为了解决这一问题，一些模式识别方法诸如支持向量机（Support Vector Machine，SVM）[1]，K最近邻（k-NearestNeighbor， KNN）[2]等被引入，然而，随着大数据时代的到来，这些传统分类算法暴露出越来越多的不足，如训练时间过长、特征不易提取等不足。
上世纪60年代开始，学者们相继提出了各种人工神经网络[3]模型，其中卷积神经网络由于其对几何、形变、光照具有一定程度的不变形，因此被广泛应用于图像领域。其主要特点有：1）输入图像不需要预处理；2）特征提取和识别可以同时进行；3）权值共享，大大减少了需要训练的参数数目，是训练变得更快，适应性更强。
卷积神经网络在国内研究才刚刚起步。LeNet-5[4]就是一种卷积神经网络，最初用于手写数字识别，本文研究将卷积神经网络LeNet-5模型改进并应用于树叶识别中。本文首先介绍一下卷积神经网络和LeNet-5的结构，进而将其应用于树叶识别，设计了实验方案，用卷积神经网络与传统的模式识别算法支持向量机（SVM）进行比较，得出了相关结论，并对进一步研究工作进行了展望。
2人工神经网络
人工神经网络方面的研究很早就已开展，现在的人工神经网络已经发展成了多领域、多学科交叉的独立的研究领域。神经网络中最基本的单元是神经元模型。类比生物神经元，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元的状态。人工神经元模型如图1所示：
上述就是一个简单的神经元模型。在这个模型中，神经元接收来自n个其他神经元传递过来的输入信号，这些信号通过带权重的w进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”来产生输出。
一般采用的激活函数是Sigmoid函数，如式1所示：
[σz=11+e-z] （1）
该函数图像图2所示：
2.1多层神经网络
将上述的神经元按一定的层次结构连接起来，就得到了如图3所示的多层神经网络：
多层神经网络具有输入层，隐藏层和输出层。由于每一层之间都是全连接，因此每一层的权重对整个网络的影响都是特别重要的。在这个网络中，采用的训练算法是随机梯度下降算法[5]，由于每一层之间都是全连接，当训练样本特别大的时候，训练需要的时间就会大大增加，由此提出了另一种神经网络―卷积神经网络。
2.2卷积神经网络
。发展到今天，CNN在深度学习领域已经成为了一种非常重要的人工神经网络。
在该LeNet-5模型中，一共有6层。如上图所示，网络输入是一个28x28的图像，输出的是其识别的结果。卷积神经网络通过多个“卷积层”和“采样层”对输入信号进行处理，然后在连接层中实现与输出目标之间的映射，通过每一层卷积滤波器提取输入的特征。例如，LeNet-5中第一个卷积层由4个特征映射构成，每个特征映射是一个24x24的神经元阵列。采样层是基于对卷积后的“平面”进行采样，如图所示，在第一个采样层中又4的12x12的特征映射，其中每个神经元与上一层中对应的特征映射的2x2邻域相连接，并计算输出。可见，这种局部相关性的特征提取，由于都是连接着相同的连接权，从而大幅度减少了需要训练的参数数目[6]。
3实验研究
本文在此基础上改进了模型，使用了如图6卷积神经网络模型：
在此模型中，第一个卷积层是由6个特征映射构成，每个特征映射是一个28*28的神经元阵列，其中每个神经元负责从5*5的区域通过卷积滤波器提取局部特征，在这里我们进行了可视化分析，如图7所示：
从图中可以明显地看出，卷积网络可以很好地提取树叶的特征。为了验证卷积神经网络与传统分类算法之间的性能，本文基于Python语言，CUDA并行计算平台，训练同样大小8类，一共320张的一批训练样本，采用交叉验证的方法，得到了如表1所示的结论。
可见，无论是识别率上，还是训练时间上，卷积网络较传统的支持向量机算法体现出更好地分类性能。
4 总结
本文从人工神经网络出发，重点介绍了卷积神经网络模型LeNet-5在树叶识别上的各种研究并提取了特征且进行了可视化，并与传统分类算法SVM进行比较。研究表明，该模型应用在树叶识别上较传统分类算法取得了较好的结果，对收集的树叶达到了92%的准确率，并大大减少了训练所需要的时间。由于卷积神经网络有如此的优点，因此在人脸识别、语音识别、医疗识别、犯罪识别方面具有很广泛的应用前景。
本文的研究可以归纳为探讨了卷积神经网络在树叶识别上的效果，并对比了传统经典图像分类算法，取得了较好的分类精度。
然而，本文进行实验的样本过少，当数据集过多的时候，这个卷积神经网络算法的可行性有待我们进一步的研究；另外，最近这几年，又有很多不同的卷积神经网络模型出现，我们会继续试验其他的神经网络模型，力求找到更好的分类算法来解决树叶识别的问题。
参考文献：
[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.
[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.
[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.
[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.
卷积神经网络概述范文2
关键词：视觉注视；移动端；数据集；行为推测
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）01-0254-03
Abstract： With the development of computer vision application technology， the behavior prediction of eye gaze has been widely concerned by many scholars at home and abroad， and also has important research significance in the field of biological information recognition. In the era of smart phone tablet popularity to improve human-computer interaction and accurate prediction of the mobile side of the user gaze behavior becomes particularly important. Based on the existing research on visual technology， this paper proposes a scheme to solve the gaze behavior of mobile users by using large data combined with machine learning and convolution neural network knowledge， and analyzes the importance of large-scale data sets in visual application.
Key words： visual gaze； mobile end； data set； behavior conjecture
1 概述
伴S着计算机软硬件性能和互联网技术的迅猛发展，大规模的并行计算技术突飞猛进，不断地发展使各种现有技术变得越来越成熟，同时机器学习和计算机视觉领域也都得到了飞速发展。视觉技术的发展变得越来越重要，并且可以应用到实际生活中的很多方面。人类大量的视觉信息现在可以利用计算机来辅助处理，并完成相关的一些工作。相对于生物信息识别技术这一计算机视觉领域的热点技术来说，也已广泛应用于日常生活中[1]。比如指纹识别器，人脸考勤器等平时在许多地方可以经常见到，还有居民家用的摄像头智能报警系统以及近期炒得火热的运用支付宝进行刷脸而完成的支付技术等，这些都是运用了生物信息识别技术。现实中的种种迹象已经表明运用生物信息识别的计算机技术已渐渐的渗透到人们的日常生活中并成为不可或缺的组成部分。时下发展较快也比较常见的生物特征有视网膜、指纹、人脸和人眼等。这些生物信息比如人脸具有个体差异性和自身稳定性特点，从用户的角度来看该特征具有便携和低侵入等一些优点。而人眼作为人脸中最显著的特征，又是人们获取外界信息最直接最方便的途径。都说眼是心灵的窗户，因为眼睛中蕴含着表情、意图等多种信息。。
2 注视预测问题
2.1 问题的背景
在心理、认知和用户交互研究中的注视跟踪最近已朝向移动解决方案发展，因为它们使得可以直接评估用户在自然环境中的视觉注意。 除了注意，注视还可以提供关于用户的动作和意图的信息：用户正在做什么以及接下来将做什么。然而，在自然状态下非结构化的任务中注视行为是相当复杂的，并且不能使用在受控的实验室环境中创建的模型来得到令人满意的解释。自然条件下和实验室环境有着很大的不同。为了演化在自然环境中对注视行为的推断，需要一种更加整体的方法，将从认知科学到机器学习的许多学科结合在一起[3]。
从人机交互技术到医学诊断到心理学研究再到计算机视觉，眼睛注视跟踪在许多领域都有应用。注视是外部可观察的人类视觉注意的指标，许多人试图记录它。对于眼睛视线方面的研究可以追溯到十八世纪后期。 X2-60），定制或侵入性硬件（例如，Eye Tribe，Tobii EyeX）。然而在现实中的自然条件下，这些因素对实际的应用会造成一些障碍影响，使得眼睛注视跟踪不能成为任何具有合理的相机（例如，智能手机或网络摄像头）的人应该可以使用的普及技术。如何才能使得这种技术普及并且得到应用，提出了一种解决方案。
2.2问题的提出
研究中首先要解决的就是用户的约束问题，也就是自然条件下使用过程中所受到的各种限制问题。到目前为止，基于注视数据推断用户动作的研究受到许多的限制，特别是在自然环境中。限制因素可能包括可用的商业解决方案的昂贵性，其专有性和封闭性以及缺乏实时交互能力等方面。目前的注视跟踪系统，只是尽量在移动设置中设置各种条件进行补救。商业化定制化的解决方案都有其独自的闭合性质，因此阻碍了注视跟踪算法的发展，并且使得不同方法之间的客观比较变得不可能[4]。此外，注视是一种复杂的现象，涉及认知过程的相互作用。这些过程在设置计算上的建模是非常困难的，尤其是涉及一些未知因素，使得构建实验设置成为一个很大的挑战。此外，来自跟踪实验的数据因为其商业化的原因很少共享，即使共享数据很大部分也是有其独立的实验条件。这些方面的问题都阻碍了跨学科方法在分析和利用注视数据和实验的相关研究与发展。
2.3 解决问题的研究方向
对基于注视的推断的个体贡献通常保持孤立，不能形成更大的整体以促进对注视动作行为的研究。随着这方面的技术发展和应用，最近出现了一些开源的解决方案。虽然在不同的应用和用户界面中使用注视已经相当有限，但是移动注视跟踪的新颖应用开始出现并得到了很快的发展。然而使用移动注视跟踪来推断用户动作的问题是高度多学科的，需要深入理解各个研究领域，包括人眼的功能，数学建模，计算机视觉，机器学习，信息技术，认知过程，用户交互以及心理学。任何一个研究员或甚至任何研究小组都不可能拥有所有研究领域的专家，因此需要相互的协作共同推进技术的发展[5]。
1）研究移动注视跟踪的认知方面，例如增强对任务中的注视行为的理解或识别不同任务的特征和阶段；
2）开发用于从注视数据推断用户动作的计算方法，诸如应用机器学习用于行为推断，优选地实时地；
3）增强用于改善移动注视跟踪方法和性能的技术软件/硬件解决方案，并使得设备更容易访问；
4）发现注视数据在自然环境和虚拟和增强现实应用中的潜在用途，以及定义任务，其中注视可以是用户动作的有用的预测器。
3 解决方案
。
1）使用的广泛性。据估计，到2019年，世界上超过三分之一的人口拥有智能手机，远远超过台式机/笔记本电脑用户；
2）软硬件技术升级的采用率较高。大部分的移动设备具有允许使用拥有计算复杂数据方法的实时的最新软硬件；
3）移动设备上相机的大量使用已经导致相机技术的快速开发和部署；
4）相机相对于屏幕的固定位置减少了未知参数的数量，潜在地允许开发高精度的校准跟踪应用。
3.1 注视类型分析
注视估计方法可以分为基于模型或基于外观[6]。基于模型的方法使用眼睛的几何模型，并且可以被细分为基于角膜反射和基于形状的方法。另一方面，基于形状的方法从观察到的眼睛形状观察注视方向。这些方法倾向于具有低的图像质量和可变的照明条件。基于外观的方法直接使用眼睛作为输入，并可能在低分辨率图像上工作。相比基于模型的方法，基于外观的方法被认为需要更大量的用户特定的训练数据。通过使用深度学习和大规模数据不必依赖于视觉，以实现准确的无校准注视估计。这种方案提出建立一个基于外观的数据模型，而不使用任何手工设计的功能，例如头部姿势或眼球中心位置。
3.2 技术方案
深度学习的最近成功在计算机视觉的各种领域中是显而易见的，但是它对改善眼睛跟踪性能的影响还是相当有限。因为深度学习是需要大量的数据作为支持，而视线追踪这方面的数据集还比较少，普通的研究所得到的稻菁比较有限，最大的数据集通常只是具有50个受试者左右，由于缺乏大规模数据的可用性，因此发展比较缓慢。因而提出了使用深度学习进行研究的一套方案，就是构造大规模的数据集。利用网络资源构造一个大规模的基于移动的眼动跟踪数据集，它包含来自各种背景的大量的受试者，在可变照明条件和不受限制的头部运动下记录[7]。运用现有的智能算法得到一个可以进行卷积神经网络学习端到端的注视预测的后台决策网络。不依赖任何预先存在的系统，不需要头部姿态估计或其他手动设计的特征用于预测。使用只有双眼和脸部的特征训练网络，在这个领域的性能优于现有的眼睛跟踪方法。虽然现在的决策网络在精度方面实现了很先进的性能，但是数据输入的大小和参数的数量使得难以在移动设备上实时使用。 为了解决这个问题，需要培养学习得到一个更小更快的网络，在移动设备上实现实时性能，使得精度损失进一步降低。
3.3 大规模数据集
为了达到这一方案的预测效果，首先要进行的是数据集的建立。网络上相关的研究中有许多公开的注视数据集[8]。总结对比这些相关的数据集，分析出有些早期的数据集不包含显著性的头部姿势变化或具有粗略的注视点采样密度。需要对这些数据进行筛选，使得到的数据具有随机分布特点。虽然一些现代数据集遵循类似的方法，但它们的规模（尤其是参与者的数量）相当有限。大多数现有的眼动追踪数据集已经由邀请实验室参与者的研究人员收集，这一过程导致数据缺乏变化，并且成本高且效率不高。因此需要大量的进行数据收集和筛选分析。大规模数据可以通过卷积神经网络有效地识别人脸（他们的眼睛）上的细粒度差异，从而做出准确的预测。
收集眼动跟踪数据应该注意的方面：
1）可扩展性。数据应该是自然条件下的使得用户具有灵活性；
2）可靠性。运用现有的智能移动设备真实的应用图像而非设计处理过的图像；
3）变异性。尽量使数据具有较大的变异性，使得模型更加稳健，适应各种环境下的操作。
4 结束语
文章介绍了一种针对移动设备的用户注视行为推测解决方案。首先建立一个大规模眼动跟踪数据集，收集大量的注视数据。大型数据集的重要性，以及具有大量各种数据以能够训练用于眼睛跟踪的鲁棒模型。然后，训练得到一个深层卷积神经网络，用于预测注视。通过仔细的评估，利用深度学习可以鲁棒地预测注视，达到一个较好的水平。此外，虽然眼睛跟踪已经存在了几个世纪，相信这种新方案的策略可以作为下一代眼动跟踪解决方案的关键基准。希望能通过这方面的研究，使人机交互得到更好的发展。
参考文献：
[1] 崔耀 视控人机交互系统技术研究与实现[D].西安，西安电子科技大学，2013.
[2] 迟健男， 王志良， 张闯.视线追踪[M].北京： 机械工业出版社， 2011.
[3] Alireza Fathi， Yin Li， and James M Rehg 2012 Learning to recognize daily actions using gaze In Computer VisionCECCV 2012. Springer， 314-327.
[4] Makeroni Labs 2016 Eye of Horus. https：//hackaday.io/project/
6638-eye-of-horus-open-source-eye-tracking-assistance （2016） Accessed： 2016-02-26.
[5] Francisco J Parada， Dean Wyatte， Chen Yu， Brandi Emerick， and Thomas Busey，2015.Expert Eyes： Open-source， high-definition eyetracking Behavior research methods ，2015.
[6] 杨彩霞.基于近红外光源的非接触式视线跟踪技术研究 [D].山东：山东大学，2012.
卷积神经网络概述范文3
关键词：电厂；热工自动化；控制
一、电厂热工自动化概述
对于电厂而言，热工过程是其生产中不可或缺的重要环节之一，在该过程中，自动化技术的应用已经有比较长的历史，早期的热能动力设备自动化控制装置主要有锅炉给水调节设备、蒸汽机离心摆调速设备等等。随着科技水平的不断进步，火电机组由以往的中低压、小容量发展至现如今的高参数、大容量、单元式机组，其生产运行方式也由人工手动控制逐步转变为自动化控制，这不但使电厂生产的自动化水平显著提升，而且还为其带来了巨大的经济效益。。可以说热工自动化控制对于电厂运行的各个方面有着非常重要的现实意义，其不但能够确保各类设备的运行要求，而且还能实现自动化的控制操作，它的特点如图1所示。
二、电厂热工自动化技术的应用现状分析
（一）变频技术的应用
在控制系统中，变频器是一个重要的功率变换部件，主要负责为控制系统提供高性能变压变频可控的交流电源，早些年间在电厂小型电机的控制上应用较为广泛。变频调速具备调速精度高、范围广、动态响应快、工作效率高、操作便捷等优势，并且还能够取得良好的节能效果，在交流变频调速技术不断发展的情况下，变频技术也被逐步试用到电厂的水泵电机、引风机等高压电机的转速控制上。随着高压变频器可靠性的提高、投资成本的降低以及对电网谐波干扰的减少，高压变频器在节能方面的优势日益凸显，越来越多的机组大电机应用了变频调速控制，在电厂节能工作中发挥了重要作用。
（二）优化控制技术的应用
由于过程生产对控制系统的要求不断提高，从而使得传统的控制技术很难满足电厂热工流程对系统安全性、稳定性以及性能最优化方面的要求，汽温超标也成为制约电厂机组设备负荷变化响应能力的关键性因素之一。在这一背景下，大量的现代化控制方法被逐步应用到了电厂的热工过程控制当中，其中较为典型的有模拟预测控制法、模糊控制法、前馈控制法等等，这些技术和方法的有效运用进一步提升了电厂热工系统的自动化控制效果。例如，某电厂应用了SIMENS公司研发的PROFI系统，该系统中的汽温控制原理如图2所示。
在图2当中，采用了状态观测器来解决因汽温延迟引起的控制之后，焓值变增益控制器的应用有效地解决了蒸汽压力变化对温控的影响，Smith预估器的运用对导前温度的变化进行了提前控制，自学习模块的运用对减温水阀门的特性变化给予了实时补偿；烟道挡板成为再热气温控制的主要调节手段，这进一步提升了机组自身的运行效率；协调控制模块中非最小化形式描述的离散卷积和模型的运用提高了系统的鲁棒性。PROFI系统投入生产之后，AGC状态下的负荷变化响应时间大幅度缩短，主蒸汽温度偏差稳态时的温度控制在2℃以内，动态控制在5℃以内。
三、电厂热工自动化的未来发展趋势
（一）监控系统集中化
在以往的电厂监控系统中，一台或两台的机组使用一个集控室，同时电子室的小型电子设备间较多且设置在主设备的周围，以达到节省电缆的目的，在这种情况下，电厂必须配置多个辅助车间以满足运行要求。随着计算机技术的快速发展，机组容量的不断扩大，对电厂监控系统的管理要求也随之提高，这促使全厂的监控系统必须向集中化的方向发展，将单元机组容于一个控制室，以提高辅助车间的工作运行效率。在监控系统集中化的发展趋势下，电厂单元机组的电子设备间会越来越集中，为此应当利用I/O柜的配置方式分配监视信号，实现远程监控。如，浙江国华浙能宁海发电厂的监控系统曾获国家级科技创新金奖，该电厂由一个控制室同时监控四台机组，集中配置单元机组电子室，大幅度提高了机组的运行管理效率和经济效益。
（二）单元机组监控智能化
随着DCS系统被广泛应用于电厂的单元机组，促使了电厂机组的监控系统日益完善。但是，电厂的机组监控系统仍未发展到智能化控制阶段，依然存在着工作效率偏低、工作量大、耗用时间多等问题。近年来，我国冶金化工行业已经广泛应用了智能化监视控制系统，在提高经济效益和工作效率方面取得了显著成效，然而我国电力行业对智能化监视系统的应用仍处于起步阶段，尚需要不断尝试与完善。随着电子技术的快速发展，智能化、自动化已经成电厂单元机组的必然发展趋势，可以预见，单元机组智能化监控也会被广泛应用于电厂机组的监控系统中，从而提高电厂运行的经济效益和社会效益，使电厂热工自动化技术的应用适应新时期下电厂可持续发展的需要。
（三）人工智能与神经网络
在未来的热工自动化控制系统当中，可以逐步将人工智能的研究成果应用其中。传统的温度与压力控制系统一般都是以某一点的温度或是压力值作为控制依据，但在电厂的实际生产中，常常需要对多个点的温度和压力进行控制，但由于技术方面的制约，使得这种控制很难实现。现如今，随着人工神经网路技术的发展，为这种控制方案的实现提供了可能，该技术的应用，将会使控制系统的性能获得显著提升。
（四）APS技术
所谓的APS技术又称为火力发电厂自动启/停机控制系统，在具体运行时，只需要按下某个控制按钮，机组便可以根据预先设计好的程序进行启动或是停止，这样一来，便可以使集控运行人员操作次数大幅度减少，从而能够尽量杜绝人为操作不当引起的各种问题。鉴于此，APS将会成为电厂机组控制未来一段时期的重点研究方向。
（五）系统保护措施完善化
。在完成设备安装后，要及时进行全面调试，并对重要硬件设备的调试情况做好跟踪记录。电厂热工保护系统的安全、有效运行，与系统硬件的调试情况有着直接关系，为此必须认真记录系统硬件的运行情况。尤其是保护出口卡的情况，要在每一次保护投入运行时进行设备校验，确保设备合格。其次，采用冗余思路。在电厂热工保护系统设计中，要充分结合电厂的发展现状与未来发展需要，采用冗余设计思路提高电厂自动控制系统的运行效率。再次，使用优质元件。电厂热工保护系统要配置高质量的元件，并运用成熟的技术，以提高系统的稳定性。随着电厂热控系统日趋复杂化，其对热控元件可靠性的要求也会随之提高。
结论：
总而言之，电厂肩负着电能生产的重要使命，其生产效率的高低关系重大。由于电厂生产过程中的设备相对较多，其中不乏一些大型化和复杂化的设备，尤其是在热工生产领域中，为了确保这些设备能够安全、稳定、可靠运行，必须对其进行有效控制，在这一背景下，热工自动化技术在电厂中获得了广泛应用。未来一段时期，应当逐步加大与之相关方面的研究力度，使该技术能够更好地为电厂生产服务。
参考文献
[1]彭道刚..电厂热工设备智能状态诊断分析系统软件设计[J].上海电力.2012（7）.
[2]史运涛.故障诊断与容错控制在电厂热工系统中的应用研究[D].华北电力大学.2013.
[3]俞磊.提高电厂热工保护系统可靠性对策研究[J].技术与市场.2012（6）.