技术标签: python sklearn 决策树 数据挖掘 大数据
hello大家好这里是小L,上一篇笔记简单复习了sklearn三板斧,学习sklearn数据预处理部分
这次笔记内容:学习sklearn对数据拆分的实现,以及实现决策树模型并绘制决策树。数据集用sklearn内置数据及进行举例。
小L希望可以在这里与大家一起进步!
如果给定的样本数据充足,进行模型选择的一种简单方法是随机地将数据集切分成三部分,分别为训练集(training set)、验证集(validation set)和测试集(testset).训练集用来训练模型,验证集用于模型的选择,而测试集用于最终对学习方法的评估.在学习到的不同复杂度的模型中,选择对验证集有最小预测误差的模型.由于验证集有足够多的数据,用它对模型进行选择也是有效的.
首先讲解随机种子seed,方便对sklearn.model_selection.train_teat_split()中参数random_state的理解,random可以随机生成数字,但在前面输入设置好的代码则最后生成的随机数将不会改变。
#忽略警告信息(不显示警告信息)
import warnings
warnings.filterwarnings("ignore")
#导入需要的库
import sklearn
import random as r
r.seed(666)#种子,相当于设置/输入密码,使下行代码保持不变
r.random()
sklearn可对数据进行处理但是不能进行可视化
训练集:用于生成模型的
测试集:最终对模型方法进行评估
sklearn.model.selection.train_test_split(
arrays,
test_size=0.25:用于验证模型的样本比例,若为None所有样本参与训练,
train_size=None:用于训练模型的样本比例,None时自动基于test_size计算,
random_state=None:随机种子,
shuffle=True:是否在拆分前对样本进行随机排列(默认洗牌),
stratify=None:array-like or None是否按指定类别标签对数据做分层拆分(分层)
)
一般用参数arrays,test_size,random_stste
#导入波斯顿数据集
from sklearn.datasets import load_boston
boston_df = load_boston()
#导入训练集与测试集拆分模块
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.3,random_state=666)
#按3:7拆,用4个变量进行接收数据,以免数据分割后被直接释放
len(x_train),len(x_test),len(y_train),len(y_test)
boston数据集一共有506条数据,按3:7拆分数据集的输入与输出。
但是,在许多实际应用中数据是不充足的,为了选择好的模型,可以采用交叉验证方法.交叉验证的基本想法是重复地使用数据:把给定的数据进行切分,将切分的数据集组合为训练集与测试集,在此基础上反复地进行训练、测试以及模型选择.
保留一个数据点进行验证(每个数据点都会验证一次),其余数据训练模型。若有n个数据点,需重复交叉验证n次。
利用所有数据点,适用于数据量特别小时,受离群值影响,一般不用。
保留一个样本数量集(设置比例),其余数据训练模型。只验证一次。结果具有偶然性。
随机将数据集分成k份,每一份进行验证,其余数据进行训练,最终结果为k次记录的平均值。k越小越接近验证集法,k越大越接近留一法。
超参数,提前设置好。
数据划分为s个互不相交大小相同子集,其中一份测试,其余数据训练。重复进行,忠厚选择s次测试中平均误差最小的模型。
拆分与评估合并执行 前三,cv,需要自己先把数据随机打乱
sklearn.model_selection.cross_val_score(
)返回:每轮模型最后评分的数组
#导入线性回归模型
from sklearn.linear_model import LinearRegression
reg=LinearRegression()
#不用实例化,直接就是函数
#导入cross_val_score模块
from sklearn.model_selection import cross_val_score#cross_val_score不会默认洗牌
scores=cross_val_score(reg,boston.data,boston.target,cv=10)
scores#模型效果很差
scores.mean(),scores.std()
scores = cross_val_score(reg,boston.data,boston.target,scoring='explained_variance',cv=10)
scores#使用scoring后模型依旧很糟糕
#对数据进行随机重排,保证拆分的均匀性
import numpy as np#先把序号打乱,再进行赋值
X,y = boston.data,boston.target
indices = np.arange(y.shape[0])#提取行数
np.random.shuffle(indices)#打乱顺序
X,y = X[indices],y[indices]#重新赋值
reg=LinearRegression()
scores=cross_val_score(reg,X,y,cv=10)
scores
scores.mean(),scores.std()
同时输出多个指标,精度等,需要自己先把数据随机打乱
sklearn.model_selection.cross_validate(
)返回:每轮模型对应评分的字典,shape=(n_splits,)
from sklearn.model_selection import cross_validate
scoring = ['r2','explained_variance']
scores = cross_validate(reg,X,y,cv=10,scoring=scoring,return_train_score = False)#字典,拟合需要时间,评分时间
scores
scores['test_r2'].mean()
交叉验证和预测同时执行
sklearn.model_selection.cross_val_predict(
)返回ndarray,模型对应的各案例预测值
from sklearn.model_selection import cross_val_predict
pred = cross_val_predict(reg,X,y,cv=10)
pred[:10]#预测因变量的值(y)
from sklearn.metrics import r2_score
r2_score(y,pred)#预测准确率
class sklearn.tree.DecisionTreeClassifier(
)
#导入iris数据集
from sklearn.datasets import load_iris
iris = load_iris()
#导入决策树分类模块
from sklearn.tree import DecisionTreeClassifier
#决策树实例化
ct = DecisionTreeClassifier()
#模型训练
ct.fit(iris.data,iris.target)
ct.max_features_
ct.feature_importances_ #特征重要性
ct.predict(iris.data)
from sklearn.metrics import classification_report
print(classification_report(iris.target,ct.predict(iris.data)))
sklearn.tree.export_graphviz(
)可通过改变参数自定义图案, 在graphviz中打开tree.dot文件查看生成的决策树
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,filled=True)
#filled=True表示决策树成不同颜色
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree01.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,filled=False)
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree01.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,
filled=True,rounded = True)
文章浏览阅读3.8k次,点赞9次,收藏28次。直接上一个工作中碰到的问题,另外一个系统开启多线程调用我这边的接口,然后我这边会开启多线程批量查询第三方接口并且返回给调用方。使用的是两三年前别人遗留下来的方法,放到线上后发现确实是可以正常取到结果,但是一旦调用,CPU占用就直接100%(部署环境是win server服务器)。因此查看了下相关的老代码并使用JProfiler查看发现是在某个while循环的时候有问题。具体项目代码就不贴了,类似于下面这段代码。while(flag) {//your code;}这里的flag._main函数使用while(1)循环cpu占用99
文章浏览阅读347次。idea shift f6 快捷键无效_idea shift +f6快捷键不生效
文章浏览阅读135次。Ecmacript 中没有DOM 和 BOM核心模块Node为JavaScript提供了很多服务器级别,这些API绝大多数都被包装到了一个具名和核心模块中了,例如文件操作的 fs 核心模块 ,http服务构建的http 模块 path 路径操作模块 os 操作系统信息模块// 用来获取机器信息的var os = require('os')// 用来操作路径的var path = require('path')// 获取当前机器的 CPU 信息console.log(os.cpus._node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是
文章浏览阅读10w+次,点赞435次,收藏3.4k次。SPSS 22 下载安装过程7.6 方差分析与回归分析的SPSS实现7.6.1 SPSS软件概述1 SPSS版本与安装2 SPSS界面3 SPSS特点4 SPSS数据7.6.2 SPSS与方差分析1 单因素方差分析2 双因素方差分析7.6.3 SPSS与回归分析SPSS回归分析过程牙膏价格问题的回归分析_化工数学模型数据回归软件
文章浏览阅读7.5k次。如何利用hutool工具包实现邮件发送功能呢?1、首先引入hutool依赖<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.7.19</version></dependency>2、编写邮件发送工具类package com.pc.c..._hutool发送邮件
文章浏览阅读867次,点赞2次,收藏2次。docker安装elasticsearch,elasticsearch-head,kibana,ik分词器安装方式基本有两种,一种是pull的方式,一种是Dockerfile的方式,由于pull的方式pull下来后还需配置许多东西且不便于复用,个人比较喜欢使用Dockerfile的方式所有docker支持的镜像基本都在https://hub.docker.com/docker的官网上能找到合..._docker安装kibana连接elasticsearch并且elasticsearch有密码
文章浏览阅读1.3w次,点赞57次,收藏92次。整理 | 郑丽媛出品 | CSDN(ID:CSDNnews)近年来,随着机器学习的兴起,有一门编程语言逐渐变得火热——Python。得益于其针对机器学习提供了大量开源框架和第三方模块,内置..._beeware
文章浏览阅读7.9k次。//// ViewController.swift// Day_10_Timer//// Created by dongqiangfei on 2018/10/15.// Copyright 2018年 飞飞. All rights reserved.//import UIKitclass ViewController: UIViewController { ..._swift timer 暂停
文章浏览阅读986次,点赞2次,收藏2次。1.硬性等待让当前线程暂停执行,应用场景:代码执行速度太快了,但是UI元素没有立马加载出来,造成两者不同步,这时候就可以让代码等待一下,再去执行找元素的动作线程休眠,强制等待 Thread.sleep(long mills)package com.example.demo;import org.junit.jupiter.api.Test;import org.openqa.selenium.By;import org.openqa.selenium.firefox.Firefox.._元素三大等待
文章浏览阅读3k次,点赞4次,收藏14次。Java软件工程师职位分析_java岗位分析
文章浏览阅读2k次。Java:Unreachable code的解决方法_java unreachable code
文章浏览阅读1w次。1、html中设置标签data-*的值 标题 11111 222222、点击获取当前标签的data-url的值$('dd').on('click', function() { var urlVal = $(this).data('ur_如何根据data-*属性获取对应的标签对象