sklearn中各种分类器回归器都适用于什么样的数据…

2018-06-18 02:08:53来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折

作者:匿名用户
链接:https://www.zhihu.com/question/52992079/answer/156294774
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

(sklearn官方指南:Choosing the right estimator)


0)选择合适的机器学习算法

All models are wrong, but some models are useful. — George Box (Box and Draper 1987)

根据No free lunch theorem,在机器学习中,不存在一个在各方面都最好的模型/算法,因为每一个模型都或多或少地对数据分布有先验的统计假设。取所有可能的数据分布的平均,每个模型的表现都一样好(或者一样糟糕)。因此,我们需要针对具体的问题,找到最好的机器学习算法。


1)数据分析(Exploratory Data Analysis)

在选择具体的算法之前,最好对数据中每一个特征的模式和产生原理有一定的了解:

  • 特征是连续的(real-valued)还是离散的(discrete)?
  • 如果特征是连续的,它的直方图(histogram)长什么样?它的mean和variance是如何分布的?
  • 如果特征是离散的,不同的特征值之间是否存在某种顺序关系?例如,豆瓣上从1星到5星的打分,虽然是离散数据,但有一个从低到高的顺序。如果某个特征是“地址”,则不太可能存在一个明确的顺序。
  • 特征数据是如何被采集的?

2)特征工程(Feature Engineering)

特征工程(根据现有的特征,制造出新的、有价值的特征)决定了机器学习能力的上限,各种算法不过是在逼近这个上限而已。不同的机器学习算法一般会有其对应的不同的特征工程。在实践中,特征工程、调整算法参数这两个步骤常常往复进行。


3)由简至繁:具体算法的选择

sklearn包括了众多机器学习算法。为了简化问题,在此只讨论几大类常见的分类器、回归器。至于算法的原理,sklearn的文档中往往有每个算法的参考文献,机器学习的课本也都有所涉及。

3.1)General Linear Models

最开始建立模型时,我个人一般会选择high bias, low variance的线性模型。线性模型的优点包括计算量小、速度快、不太占内存、不容易过拟合。

常用线性回归器的有Ridge(含有L2正则化的线性回归)和Lasso(含有L1正则化的线性回归,自带特征选择,可以获得sparse coefficients)。同时,如果对于超参数没有什么特别细致的要求,那么可以使用sklearn提供的RidgeCV和LassoCV,自动通过高效的交叉验证来确定超参数的值。

假如针对同一个数据集X(m samples * n features),需要预测的y值不止一个(m samples * n targets),则可以使用multitask的模型。

线性分类器中,最好用的是LogisticRegression和相应的LogisticRegressionCV。

SGDClassifier和SGDRegressor可以用于极大的数据集。然而,如果数据集过大的话,最好从数据中取样,然后和小数据一样分析建模,未必一开始就要在整个数据集上跑算法。


3.2)Ensemble Methods

ensemble能够极大提升各种算法,尤其是决策树的表现。在实际应用中,单独决策树几乎不会被使用。Bagging(如RandomForest)通过在数据的不同部分训练一群high variance算法来降低算法们整体的variance;boosting通过依次建立high bias算法来提升整体的variance。

最常用的ensemble算法是RandomForest和GradientBoosting。不过,在sklearn之外还有更优秀的gradient boosting算法库:XGBoost和LightGBM。

BaggingClassifier和VotingClassifier可以作为第二层的meta classifier/regressor,将第一层的算法(如xgboost)作为base estimator,进一步做成bagging或者stacking。

我个人比较倾向于使用这一类模型。


3.3)支持向量机(SVM)

SVM相关的知识可以参考Andrew Ng教授在Coursera上的CS229(有能力的可以去看youtube或者网易公开课上的原版CS229)。svm的API文档很完善,当一个调包侠也没有太大困难。不过在大多数的数据挖掘竞赛(如kaggle)中,SVM的表现往往不如xgboost。


3.4)神经网络(Neural Network)

相比业内顶尖的神经网络库(如TensorFlow和Theano),sklearn的神经网络显得比较简单。个人而言,如果要使用神经网络进行分类/回归,我一般会使用keras或者pytorch。

 

作者:NightyNight
链接:https://www.zhihu.com/question/52992079/answer/132946166
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

更新…题中问得是sklearn怎么用,我答案里的确没提到具体的sklearn…机器学习用什么语言用什么包不是关键。
平时也是sklearn党,方法也就是这些。建议你自己写一个函数,调用不同分类方法用默认参数去做cross-validation,然后print一下score输出或者画一下ROC曲线啥的。见识的数据集多了,经验丰富了,概率统计学的好点,水平也就上去了…我也是还在练级的过程中。
————————————————
以下是原答案:
谢邀。近期有两个比赛,比较忙,所以只大致讲一下,为题主更深入研究提供一点方向。
选择分类/回归器是基于数据特征的。
举个例子,比如,在预测某种商品是否被某位顾客购买时,预测的target是该顾客是否购买某种商品, 也就是true or false(也就可以用1和0表示),二分类。
然后,能够用来分析的训练集信息,除开targets之外,还有对应顾客的年龄、性别、是否有陪伴者、顾客的衣着样式、商品的价格、商品的种类、商品的品牌等等。
我们观察这些特征,年龄是一些整数,并且这些整数之间的间隔是有意义的——而对于顾客的衣着样式,如果它也是一些整数,像0,1,2,3,4…这样的。
不同整数表示不同的样式,那么这些整数之间的间隔,则缺乏一个实际意义的解释,因为,这些顺序不过是对于"衣着样式"中像"西式正装"、"休闲"这样的词的一个确定方式的排序。你想啊,对于两个样本,在其他特征一致的情况下,年龄值上存在一点小差异,我们推测这两个样本还是很可能有相同的表现(target);
但是,如果在衣着样式的值上有一点小差异,我感觉时髦的年轻人喜欢高裤脚,那如果高裤脚是30,而高裤腰带是31,你觉得这两者的target能一样吗?
而对于几个特征张成的欧式空间,有些算法倾向于将它切割成几块,每一块具有相似的性质,但是高裤腰带和高裤脚显然是相似不了的。
像SVM这样的,基于分割空间的方法,遇到上述“衣着样式”这种连续性非常不好的特征,它的误差就可能很大,因为有异常点(相互靠近的样本表现差异大)。
而像基于树模型的方法,决策时并不关心函数(从特征张成的空间到target取值的数集{0,1}的函数,为方便记为F)的连续性,而考虑的是如何在每个特征上做合适的划分,这样一来,就会有效地规避分割空间带来的误差(虽然实际上,它也分割了空间,但它的理论基础不是这个)。
同时,对于特征主次分明的情况,树模型也通常带来良好的效益。
如果非要用线性模型来分类,可以将导致F不连续的特征进行哑编码,哑编码可以将一些非线性的特征变得“更线性”,代价是带来了稀疏性,这在自然语言处理中很常见。
上面只是分析特征并进行分类器选择的部分过程。题主可以看一下,应该会有启发。
再扯一点人生的经验:
1.稀疏的大规模数据:SGD和逻辑回归。
2.归一化的实数数据:SVM
3.预处理做的不好的数据,弱分类器集成。
4.明显的概率分布问题:贝叶斯(用的少,但在有大语料库的文本处理问题中比较有效)。
5.神经网络relu, relu, relu←_←

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Python记录键盘鼠标敲击次数

下一篇:paramiko模块及ssh远程登陆