机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比-程序员宅基地

技术标签: 人工智能  数据结构与算法  

线性回归是回归模型

感知器、逻辑回归以及SVM是分类模型

线性回归:f(x)=wx+b

感知器:f(x)=sign(wx+b)其中sign是个符号函数,若wx+b>=0取+1,若wx+b<0取-1

它的学习策略是最小化误分类点到超平面的距离,

逻辑回归:f(x)=sigmoid(wx+b)取值范围在0-1之间。

感知器和SVM的对比:

它俩都是用于分类的模型,且都以sign符号函数作为分类决策函数。但是感知器只适用于线性可分的数据,而SVM可以通过核函数处理非线性可分的数据。拿感知器和线性可分支持向量机对比,他们的目标都是希望找到一个超平面能把数据分开,同时分类决策函数使用的都是sign符号函数,不同之处在于优化目标不同,感知机是通过最小化误分类点到超平面的距离来对参数进行优化,从而确定这个超平面,而SVM是通过最大化支持向量距离超平面这个最小距离来对参数进行优化。

Logistic和SVM的区别:

SVM分为线性可分支持向量机,线性支持向量机以及非线性可分支持向量机,它还适用于对非线性可分的数据进行分类。Logistic回归一般用于处理线性可分的数据。这里进行线性可分支持向量机和Logistic回归的对比,SVM的目标是希望找到一个超平面能把数据分开,以sign符号函数作为分类决策函数,通过最大化支持向量距离超平面这个最小距离来对参数进行优化。逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略(优化目标),以对数似然函数为损失函数,运用梯度下降法来优化参数,sigmoid函数作为分类决策函数。

转载于:https://www.cnblogs.com/dyl222/p/11072979.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_30488313/article/details/98331109

智能推荐

ES6 新特性知识点总结_使用let 关键字声明的变量才能具有块级作用域,使用var声明的变量不具备块级作用域-程序员宅基地

文章浏览阅读2.1k次,点赞8次,收藏12次。文章目录_使用let 关键字声明的变量才能具有块级作用域,使用var声明的变量不具备块级作用域

已经安装好nginx,如何添加echo模块?_echo-nginx-module-程序员宅基地

文章浏览阅读702次。【代码】已经安装好nginx,如何添加echo模块?_echo-nginx-module

ACPI 高级配置与电源接口_fixed hardware programming model generic hardware -程序员宅基地

文章浏览阅读5.5k次。我看过的中文的非常不错的ACPI资料============================================================================高级配置与电源接口维基百科,自由的百科全书 高级配置与电源接口(Advanced Configuration and Power Interface),简称ACPI,1997年由Intel、Microsoft、Toshiba 所共同制定提供操作系统应用程序管理所有_fixed hardware programming model generic hardware programming model

mdadm详解_mdadm 速度怎么样-程序员宅基地

文章浏览阅读1.5k次。Part I. RAID基础(引用)RAID 是冗余磁盘阵列(Redundant Array of Inexpensive Disk)的简称。它是把多个磁盘组成一个阵列,当作单一磁盘使用。它将数据以分段(striping)的方式分散存储在不同的磁盘中,通过多个磁盘的同 时读写,来减少数据的存取时间,并且可以利用不同的技术实现数据的冗余,即使有一个磁盘损坏,也可以从其他的磁盘中恢复所有的数据。_mdadm 速度怎么样

史上最全面的React-react基础-程序员宅基地

文章浏览阅读386次。1、为什么组件化什么是reactReact 是一个用于构建用户界面的JavaScript库核心专注于视图,目的实现组件化开发组件化的概念我们可以很直观的将一个复杂的页面分割成若干个独立组件,每个组件包含自己的逻辑和样式 再将这些独立组件组合完成一个复杂的页面。 这样既减少了逻辑复杂度,又实现了代码的重用可组合:一个组件可以和其他的组件一起使用或者可以直接嵌套在另一个组..._react return { label: item.name, value: `${item.code}` };

minetest源码解析七:Client端更新流程_client.更新-程序员宅基地

文章浏览阅读446次。minetest源码解析七:Client端更新流程客户端更新主要使用的函数是voidClient::step(float dtime)minetest->client.cpp这个函数作用是更新客户端,客户端主动去接收服务器端发过来的信息,然后对环境等进行更新。使用范围:都在the_game()这个函数中(minetest->game.cpp-_client.更新

随便推点

OpenCV——计算轮廓长度/周长和面积_opencv计算轮廓面积-程序员宅基地

文章浏览阅读1w次,点赞6次,收藏69次。轮廓面积轮廓面积是指每个轮廓中所有的像素点围成区域的面积,单位为像素。double contourArea( InputArray contour, bool oriented = false );contour:轮廓的像素点 oriented:区域面积是否具有方向的标志,true表示面积具有方向性,false表示不具有方向性,默认值为不具有方向性的false。函数的返回值是统计轮廓面积的结果,数据类型为double。函数第一个参数表示轮廓的像素点,数据类型为vector或者Mat,相邻的_opencv计算轮廓面积

通过U盘给笔记本或台式机安装Linux系统(Ubuntu16.04)超级简单的安装步骤,十分钟就能搞定哟_hp台式机u盘升级ubuntu-程序员宅基地

文章浏览阅读9k次,点赞7次,收藏43次。一、先准备一个启动盘这一步骤是老赵为我准备的小U盘,我也不知道他咋弄的,嘿嘿_hp台式机u盘升级ubuntu

TI DSP TMS320C66x学习笔记之内联指令(c6x.h中文注释)(六)_dsp 66xx evm-程序员宅基地

文章浏览阅读1.5w次,点赞13次,收藏101次。/*****************************************************************************//* C6X.H v7.4.12 *//***************************************_dsp 66xx evm

转:JavaScript数组方法总结-程序员宅基地

文章浏览阅读230次。原文地址:绿茶叶的博客1.push():在数组尾部添加一个或多个元素,返回数组新的长度 arrayObject.push(newelement1,newelement2,....,newelementX) newelement1:必需要添加的参数。要添加到数组的第一个元素,剩下的参数可选。var a=['hello','world'];var length= a.

福建中职单招计算机类分数线,2019福建高职招考切线 高职单招分数线是多少-程序员宅基地

文章浏览阅读659次。2019福建高职招考切线是多少,小编整理了相关信息,希望会对大家有所帮助!福建高职招考切线最新公布2019年福建省高等职业教育入学考试(简称“高职招考”)本科控制分数线及专科保底线(俗称“切线”)昨日揭晓。省教育考试院发布消息称,今年高职招考分为“面向普通高中生”(不分文理)和“面向中职生”两大类,“面向普通高中生”(不分文理)和“面向中职生”的教育类、财经类、旅游类均没有安排本科计划,上述两大类..._2019福建高职单招计算机学校分数线

excel表格公式无效、不生效的解决方案及常见问题、常用函数_excel exact不生效-程序员宅基地

文章浏览阅读1k次。excel表格公式无效、不生效的解决方案及常见问题、常用函数_excel exact不生效

推荐文章

热门文章

相关标签