机器学习----第三章线性模型学习笔记_f(x,θ)=wtx+b 符号是什么意思-程序员宅基地

引入

线性模型：给定由d个属性描述的示例，线性模型试图学得一个通过属性的线性组合来进行预测的函数。f(x) = wTx+b

线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记，公式：f(xi) = wxi + b，使得f(xi) ≈ yi

方法

我们的任务就是求出w和b，可用均方误差最小化的方法，基于均方误差最小化来进行模型求解的方法称为最小二乘法，在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到达直线的欧氏距离最小。

除了利用线性模型进行回归学习，也可以利用线性模型处理分类任务，我们只需要找一个单调可微函数将分类任务的真实标记y与回归模型的预测值联系起来。
对数几率函数是一个能在一定程度上近似单位阶跃函数的常用替代函数，它将z的值转化为一个接近0或1的y值，并且其输出值在z=0附近变化很陡。（类似于逻辑回归？）

线性判别分析LAD

线性判别分析LDA的思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

多分类学习

多分类学习的基本思路是拆解法：将多分类任务拆解为若干个二分类任务求解。拆分策略有：一对一OvO、一对其余OvR、多对多MvM。
多对多MvM是每次将若干个类作为正类，若干个类作为反类，其中一对一OvO和一对其余OvR是多对多MvM的特例。

类别不平衡问题就是指分类任务中不同类型的训练样例数目差别很大的情况，可以理解为样本分布不均匀的情况。

欠采样：针对反类样例，去除一些反例使得正、反例数目相近；
过采样：针对正类样例，增加一些正例使得正、反例数目相近；
阈值移动：基于原始数据训练集学习，但在用训练好的分类器进行预测时，将一个式子嵌入其决策过程。

提问

1.什么是逻辑回归？
逻辑回归就是一种用于解决分类问题的模型，可以预测准确值和区间值，一般作用于二分类问题，我觉得书上写的对数几率回归应该就是逻辑回归了。

2.什么是负采样？
负采样好像就是相对于正采样来说，采集的样本避开原本最可能被采集到的，以便采集的公平性？

3.什么是多标签分类？
多标签分类就是对于一个数据集，里面的数据可能属于多种类别，比如一部电影可以同时属于犯罪片和悬疑片，一篇文章可以同时属于科技栏目和政治栏目等。与这个问题相结合的有标签的排序问题。

4.LDA和PCA之间有什么区别？
LDA线性判别分析与PCA主成分分析的区别有：LDA是有监督的，PCA是无监督的；LDA投影后的组内方差小而组间方差大，使得样本具有区分性，PCA投影后的数据方差尽可能的大，以获得更多的信息。

本文链接：https://blog.csdn.net/weixin_43580130/article/details/107568951

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios