学习法 - 程序员宅基地

MATLAB如何搭建集成学习分类器

标签： matlab 机器学习

集成学习分为同质集成和异质集成，同质集成指的是基学习器为同一种学习器，异质集成指的是基学习器为不同的学习器。要想获得好的集成效果，个体学习器之间应该好而不同。假设个体学习器的误差相互独立，那么随着...

深度学习最优化（三）—— 共轭梯度法

标签：最优化凸优化共轭梯度法

【机器学习】最优化方法：梯度下降法

标签：机器学习梯度下降法

梯度下降法（Gradient Descent）又称最速下降法（Steepest descent）是一种常用的一阶优化方法，是一种用于求解无约束最优化问题的最常用的方法。它选取适当的初始值，并不断向负梯度方向迭代更新，实现目标函数的极...

集成学习(ensemble learning)原理-如何理解集成学习？

标签：集成学习

集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类...

如何通俗地解释梯度下降法

标签：人工智能机器学习梯度下降

如何通俗地解释梯度下降法

机器学习：模型评估与sklearn实现(三)_留一法与自助法(booststrapping)

标签： Leave-One-Out booststrapping 交叉验证

留一法(Leave-One-Out)是S折交叉验证的一种特殊情况，当S=N时交叉验证便是留一法，其中N为数据集的大小。该方法往往比较准确，但是计算量太大，比如数据集有10万个样本，那么就需要训练10个模型。 2.自助法给定...

机器学习--牛顿法

标签： AI Machine Learning

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。...牛顿法的最初提出是用来求解方程的根的。我们假设点x∗为函数f(x)的根，那么有f(x∗)=0...

集成学习（Ensemble Learning）

标签：机器学习

学习法个体与集成集成学习，顾名思义，通过将多个单个学习器集成/组合在一起，使它们共同完成学习任务，有时也被称为“多分类器系统（multi-classifier system）”、基于委员会的学习（Committee

机器学习面试：双重差分法（DID）

标签：大数据广告

假设我们有一个广告方案P，没有经过ABTest直接在在一些城市放量了，怎么来判断这个广告的有效性（gmv）呢？能不能直接比较投放广告的城市和没有投放广告的城市之间gmv的差值呢 Δgmv=avg(投放广告城市的gmv)−avg...

深度学习 --- 优化入门二（SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解）

虽然局部最小值和鞍点可以阻止我们的训练，但是病态曲率可以使训练减慢到机器学习从业者可能认为搜索已经收敛到次优极小值的程度。让我们深入了解病理曲率是什么。病态曲率考虑以下损失轮廓。 ...

深度学习优化函数详解（4）-- momentum 动量法

标签：深度学习

深度学习优化函数详解（1）– Gradient Descent 梯度下降法深度学习优化函数详解（2）– SGD 随机梯度下降深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降深度学习优化函数详解（4）– ...

[机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）

标签：机器学习统计学梯度

本文介绍机器学习中重要的概念：梯度和梯度下降法，这是我们在学习MachineLearning算法时的核心概念之一，其实也就是我们在大学本科高等数学中的基础概念。

Halcon 光度立体法例程学习总结

标签： halcon学习

今天看了两个用光度立体法检测物体表面的例子inspect_blister_photometric_stereo.hdev和inspect_flooring_photometric_stereo.hdev。一、关键算子 1. photometric_stereo (Images, HeightField, Gradient, ...

梯度下降法

标签：机器学习算法深度学习

本文介绍梯度下降法的概念和主要内容

机器学习之过拟合解决——早停法

标签：机器学习深度学习

过拟合解决——早停法一、早停法简介（Early Stopping）当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能(generalization performance，即可以很好地拟合数据)。但是所有的标准深度学习神经网络结构...

机器学习方法篇(12)------拉格朗日乘子法

标签：机器学习拉格朗日乘子法 SVM

上一节讲到SVM的优化公式，并提到SVM在强大的数学理论背景之下有着十分高效的训练方法，本节就先来讲讲在这之中的一个关键知识点——拉格朗日乘子法，为之后深入讲解SVM做准备。

机器学习——时间序列ARIMA模型(一)：差分法详解

标签：机器学习 python 数据挖掘

机器学习——时间序列ARIMA模型(一)：差分法详解一、所需数据的性质平稳性样本数据需随着时间序列而发生变化，且序列的均值和方差不发生明显变化。预测出在未来的一段期间内数据顺着现有的“惯性”延续下去现实...

机器学习：支持向量机（SVM）

标签：机器学习 1024程序员节

支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在...

机器学习 | 朴素贝叶斯法知识总结

标签：机器学习

机器学习 | 朴素贝叶斯法理论知识贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素...

深入理解机器学习——集成学习（Ensemble Learning）：基础知识

标签：机器学习深度学习人工智能

集成学习（Ensemble Learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（ Multi-classifier System）、基于委员会的学习（ Committee-based Learning）等。上图显示出集成学习的一般...

（斯坦福机器学习课程笔记）牛顿法算法学习

标签：机器学习算法

牛顿法算法复杂些，作以下笔记，免忘。下图（来自http://www.myexception.cn/cloud/1987100.html，侵删）为了找到 f(x)f(x)取极值的点，即，牛顿法的思路是： 1、牛顿法只是求f(x)=0f(x)=0的根！！！！！！！...

自助法

标签：自助法

自助法的原理引用别人举得一个特别形象的例子来说明一下什么是自助法：一个池塘里面有很多鱼，到底有多少呢？有2000条，但我们并不知道？只有上帝和一个和池塘一样大的渔网才知道，但是我们不是上帝，也没有...

无监督学习：异常检测与剔除（局部异常因子法 & SVM异常检测器）

前面介绍的都是有监督学习的回归和分类算法。有监督学习是指对输入和输出都有成对出现的训练样本{（xi,yi）}。在这里，主要介绍在没有输出信息时，只利用输入样本{xi}的信息进行无监督学习的方法。本篇博客重点讨论...

艾尔登法环修改卢恩程序（逆向开发学习）

标签：安全游戏个人开发

艾尔登法环修改卢恩艾尔登法环肝魂太累了，考研党没有时间刷魂升级，单机游戏图个爽就自己写了一个修改卢恩的外挂。（用CE每次都要搜索内存太麻烦了）先放github链接：...

程序员最佳学习方法(干货总结)

程序员最佳学习方法(干货总结) 筑梦师Winston关注 3.52018.06.18 10:25*字数 3772阅读 18648评论 92喜欢 407赞赏 1 前言这里筑梦师,是一名正在努力学习的iOS开发工程师,目前致力于全栈方向的学习,希望可以和...

delta学习规则及梯度下降法

Delta学习规则代价函数(Cost Function, Lost Function)其中，误差E是权...欲使误差E最小，Wj与误差的负梯度成正比，即：梯度下降法的问题1. 学习率难以选取，太大会产生震荡，太小会收敛缓慢2. 容易陷入局部最优解...

深度学习/机器学习入门基础数学知识整理（三）：凸优化，Hessian，牛顿法

标签：机器学习数学

凸优化理论本身非常博大，事实上我也只是了解了一个皮毛中的皮毛，但是对于广大仅仅想要了解一下机器学习或者深度学习的同学来说，稍微了解一点凸优化也就够了。在实际工程问题中，比如现在我们用的最多的深度神经...

拉格朗日乘子法详解

标签：拉格朗日乘子法

然而，拉格朗日乘子法的原理我却一直模模糊糊，每次看的时候才知道，一段时间不看就又忘了，所以特地写这篇博客来供自己时刻学习。先从一个简单的例子开始：假如我们需要求一个函数的最小值，即，约束条件为。...

MATLAB中输出科学计数法_sprintf函数学习-MATLAB

标签： MATLAB中输出科学计数法

首先大概翻译一下帮助文档里面对sprintf函数的描述。sprintf函数的官方定义是把数据格式转换成字符串或字符向量(Format data into string or character vector)。语法结构有以下三种：str = sprintf(formatSpec,A1, ...

CG共轭梯度下降法【学习笔记、例题与代码】

标签：算法机器学习

改良梯度下降法

”学习法“ 的搜索结果

MATLAB如何搭建集成学习分类器

深度学习最优化（三）—— 共轭梯度法

【机器学习】最优化方法：梯度下降法

集成学习(ensemble learning)原理-如何理解集成学习？

如何通俗地解释梯度下降法

机器学习：模型评估与sklearn实现(三)_留一法与自助法(booststrapping)

机器学习--牛顿法

集成学习（Ensemble Learning）

机器学习面试：双重差分法（DID）

深度学习 --- 优化入门二（SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解）

深度学习优化函数详解（4）-- momentum 动量法

[机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）

Halcon 光度立体法例程学习总结

梯度下降法

机器学习之过拟合解决——早停法

机器学习方法篇(12)------拉格朗日乘子法

机器学习——时间序列ARIMA模型(一)：差分法详解

机器学习：支持向量机（SVM）

机器学习 | 朴素贝叶斯法知识总结

深入理解机器学习——集成学习（Ensemble Learning）：基础知识

（斯坦福机器学习课程笔记）牛顿法算法学习

自助法

无监督学习：异常检测与剔除（局部异常因子法 & SVM异常检测器）

艾尔登法环修改卢恩程序（逆向开发学习）

程序员最佳学习方法(干货总结)

delta学习规则及梯度下降法

深度学习/机器学习入门基础数学知识整理（三）：凸优化，Hessian，牛顿法

拉格朗日乘子法详解

MATLAB中输出科学计数法_sprintf函数学习-MATLAB

CG共轭梯度下降法【学习笔记、例题与代码】

推荐文章