龙源期刊网 http://www.qikan.com.cn
支持向量机与神经网络算法的对比分析
作者:刘梦绮
来源:《科学导报·学术》2019年第14期
摘要:统计学习理论建立在结构风险最小化原则基础上,专门针对小样本下的机器学习问题而建立的一套新的学习理论体系。基于统计学习理论的算法具有理论完整、全局优化、适应性强、推广能力好等优点,是机器学习研究的新热点。本文首先研究了支持向量机的基本理论,接着对支持向量机算法和神经网络算法进行了全面性能比较。最后对文章整体做出总结,并写出了自己的感悟。 引言
分类一直是数据挖掘、机器学习[1] 和模式识别中一个重要的研究领域。随着计算能力、存储、网络的高速发展,更需要发现更深层次的规律,对决策,商务应用提供更加有效的支持。为了满足这种需求,数据挖掘技术得到了长足的发展,而分类在数据挖掘中是一项非常重要的任务。分类算法历来受到许多领域研究者的关注。
传统的机器学习分类算法,如支持向量机等,慢慢不像十多年前那么火热。但在进行小数据样本处理时,支持向量机算法展现出基于大数据样本的深度学习无法取代的优势。因此对支持向量机和用于深度学习的神经网络算法的对比分析就显得尤为重要。 1 ;概述 1.1背景
统计模式识别、线性或非线性回归以及人工神经网络等方法是数据挖掘的有效工具,但多年来我们也受制于一个难题:作为深度学习的燃料,在实际的问题中并非一定会有海量级别、带有标注的数据。传统的模式识别或人工神经网络方法都需要较多的训练样本,而许多实际课题中,已知样本较少,对于小样本集,训练结果最好不一定是预报能力最好的模型。[3] 而SVM 只需要很小的数据就能找到数据之间分类的超平面,得到很不错的分類结果。 1.2现状
数据是机器学习的燃料,包括模式识别、神经网络等在内的现有机器学习方法重要的基础是传统的统计学,基于传统统计学研究的是样本数目趋于无穷大事的渐进理论,当样本有限的时候,难以达到想要的效果。统计学习理论(Statistical Learning Theory,SLT)则着重提出了小样本情况下的统计规律和学习方法性质,发展出一种新的通用学习方法--支持向量机(Support vector machine,SVM)。当前关于支持向量机研究的热点主要是对支持向量机中算法的优化,包括解决SVM中二次规划求解问题,对大规模SVM的求解问题;另外就是如何提高SVM的归纳能力和分类速度以及根据具体问题确定核函数等。