bp神经网络回归预测模型(python实现)_python实现BP神经网络回归预测模型_weixin_39598954的博客-程序员秘密

技术标签: bp神经网络回归预测模型(python实现)  

神经网络模型一般用来做分类,回归预测模型不常见,本文基于一个用来分类的BP神经网络,对它进行修改,实现了一个回归模型,用来做室内定位。模型主要变化是去掉了第三层的非线性转换,或者说把非线性激活函数Sigmoid换成f(x)=x函数。这样做的主要原因是Sigmoid函数的输出范围太小,在0-1之间,而回归模型的输出范围较大。模型修改如下:

代码如下:

#coding: utf8

''''

author: Huangyuliang

'''

import json

import random

import sys

import numpy as np

#### Define the quadratic and cross-entropy cost functions

class CrossEntropyCost(object):

@staticmethod

def fn(a, y):

return np.sum(np.nan_to_num(-y*np.log(a)-(1-y)*np.log(1-a)))

@staticmethod

def delta(z, a, y):

return (a-y)

#### Main Network class

class Network(object):

def __init__(self, sizes, cost=CrossEntropyCost):

self.num_layers = len(sizes)

self.sizes = sizes

self.default_weight_initializer()

self.cost=cost

def default_weight_initializer(self):

self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]

self.weights = [np.random.randn(y, x)/np.sqrt(x)

for x, y in zip(self.sizes[:-1], self.sizes[1:])]

def large_weight_initializer(self):

self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]

self.weights = [np.random.randn(y, x)

for x, y in zip(self.sizes[:-1], self.sizes[1:])]

def feedforward(self, a):

"""Return the output of the network if ``a`` is input."""

for b, w in zip(self.biases[:-1], self.weights[:-1]): # 前n-1层

a = sigmoid(np.dot(w, a)+b)

b = self.biases[-1] # 最后一层

w = self.weights[-1]

a = np.dot(w, a)+b

return a

def SGD(self, training_data, epochs, mini_batch_size, eta,

lmbda = 0.0,

evaluation_data=None,

monitor_evaluation_accuracy=False): # 用随机梯度下降算法进行训练

n = len(training_data)

for j in xrange(epochs):

random.shuffle(training_data)

mini_batches = [training_data[k:k+mini_batch_size] for k in xrange(0, n, mini_batch_size)]

for mini_batch in mini_batches:

self.update_mini_batch(mini_batch, eta, lmbda, len(training_data))

print ("Epoch %s training complete" % j)

if monitor_evaluation_accuracy:

print ("Accuracy on evaluation data: {} / {}".format(self.accuracy(evaluation_data), j))

def update_mini_batch(self, mini_batch, eta, lmbda, n):

"""Update the network's weights and biases by applying gradient

descent using backpropagation to a single mini batch. The

``mini_batch`` is a list of tuples ``(x, y)``, ``eta`` is the

learning rate, ``lmbda`` is the regularization parameter, and

``n`` is the total size of the training data set.

"""

nabla_b = [np.zeros(b.shape) for b in self.biases]

nabla_w = [np.zeros(w.shape) for w in self.weights]

for x, y in mini_batch:

delta_nabla_b, delta_nabla_w = self.backprop(x, y)

nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]

nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]

self.weights = [(1-eta*(lmbda/n))*w-(eta/len(mini_batch))*nw

for w, nw in zip(self.weights, nabla_w)]

self.biases = [b-(eta/len(mini_batch))*nb

for b, nb in zip(self.biases, nabla_b)]

def backprop(self, x, y):

"""Return a tuple ``(nabla_b, nabla_w)`` representing the

gradient for the cost function C_x. ``nabla_b`` and

``nabla_w`` are layer-by-layer lists of numpy arrays, similar

to ``self.biases`` and ``self.weights``."""

nabla_b = [np.zeros(b.shape) for b in self.biases]

nabla_w = [np.zeros(w.shape) for w in self.weights]

# feedforward

activation = x

activations = [x] # list to store all the activations, layer by layer

zs = [] # list to store all the z vectors, layer by layer

for b, w in zip(self.biases[:-1], self.weights[:-1]): # 正向传播 前n-1层

z = np.dot(w, activation)+b

zs.append(z)

activation = sigmoid(z)

activations.append(activation)

# 最后一层,不用非线性

b = self.biases[-1]

w = self.weights[-1]

z = np.dot(w, activation)+b

zs.append(z)

activation = z

activations.append(activation)

# backward pass 反向传播

delta = (self.cost).delta(zs[-1], activations[-1], y) # 误差 Tj - Oj

nabla_b[-1] = delta

nabla_w[-1] = np.dot(delta, activations[-2].transpose()) # (Tj - Oj) * O(j-1)

for l in xrange(2, self.num_layers):

z = zs[-l] # w*a + b

sp = sigmoid_prime(z) # z * (1-z)

delta = np.dot(self.weights[-l+1].transpose(), delta) * sp # z*(1-z)*(Err*w) 隐藏层误差

nabla_b[-l] = delta

nabla_w[-l] = np.dot(delta, activations[-l-1].transpose()) # Errj * Oi

return (nabla_b, nabla_w)

def accuracy(self, data):

results = [(self.feedforward(x), y) for (x, y) in data]

alist=[np.sqrt((x[0][0]-y[0])**2+(x[1][0]-y[1])**2) for (x,y) in results]

return np.mean(alist)

def save(self, filename):

"""Save the neural network to the file ``filename``."""

data = {"sizes": self.sizes,

"weights": [w.tolist() for w in self.weights],

"biases": [b.tolist() for b in self.biases],

"cost": str(self.cost.__name__)}

f = open(filename, "w")

json.dump(data, f)

f.close()

#### Loading a Network

def load(filename):

"""Load a neural network from the file ``filename``. Returns an

instance of Network.

"""

f = open(filename, "r")

data = json.load(f)

f.close()

cost = getattr(sys.modules[__name__], data["cost"])

net = Network(data["sizes"], cost=cost)

net.weights = [np.array(w) for w in data["weights"]]

net.biases = [np.array(b) for b in data["biases"]]

return net

def sigmoid(z):

"""The sigmoid function."""

return 1.0/(1.0+np.exp(-z))

def sigmoid_prime(z):

"""Derivative of the sigmoid function."""

return sigmoid(z)*(1-sigmoid(z))

调用神经网络进行训练并保存参数:

#coding: utf8

import my_datas_loader_1

import network_0

training_data,test_data = my_datas_loader_1.load_data_wrapper()

#### 训练网络,保存训练好的参数

net = network_0.Network([14,100,2],cost = network_0.CrossEntropyCost)

net.large_weight_initializer()

net.SGD(training_data,1000,316,0.005,lmbda =0.1,evaluation_data=test_data,monitor_evaluation_accuracy=True)

filename=r'C:\Users\hyl\Desktop\Second_158\Regression_Model\parameters.txt'

net.save(filename)

第190-199轮训练结果如下:

调用保存好的参数,进行定位预测:

#coding: utf8

import my_datas_loader_1

import network_0

import matplotlib.pyplot as plt

test_data = my_datas_loader_1.load_test_data()

#### 调用训练好的网络,用来进行预测

filename=r'D:\Workspase\Nerual_networks\parameters.txt' ## 文件保存训练好的参数

net = network_0.load(filename) ## 调用参数,形成网络

fig=plt.figure(1)

ax=fig.add_subplot(1,1,1)

ax.axis("equal")

# plt.grid(color='b' , linewidth='0.5' ,linestyle='-') # 添加网格

x=[-0.3,-0.3,-17.1,-17.1,-0.3] ## 这是九楼地形的轮廓

y=[-0.3,26.4,26.4,-0.3,-0.3]

m=[1.5,1.5,-18.9,-18.9,1.5]

n=[-2.1,28.2,28.2,-2.1,-2.1]

ax.plot(x,y,m,n,c='k')

for i in range(len(test_data)):

pre = net.feedforward(test_data[i][0]) # pre 是预测出的坐标

bx=pre[0]

by=pre[1]

ax.scatter(bx,by,s=4,lw=2,marker='.',alpha=1) #散点图

plt.pause(0.001)

plt.show()

定位精度达到了1.5米左右。定位效果如下图所示:

真实路径为行人从原点绕环形走廊一圈。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39598954/article/details/110827438

智能推荐

Leetcode day4:打家劫舍III_hit1180300517的博客-程序员秘密

原题:在上次打劫完一条街道之后和一圈房屋后,小偷又发现了一个新的可行窃的地区。这个地区只有一个入口,我们称之为“根”。 除了“根”之外,每栋房子有且只有一个“父“房子与之相连。一番侦察之后,聪明的小偷意识到“这个地方的所有房屋的排列类似于一棵二叉树”。 如果两个直接相连的房子在同一天晚上被打劫,房屋将自动报警。计算在不触动警报的情况下,小偷一晚能够盗取的最高金额。(话说这个小偷这么聪明为什么不去当程序员)示例 1:解释: 小偷一晚能够盗取的最高金额 = 3 + 3 + 1 = 7.示例 2:

频繁项集挖掘算法在告警关联中的应用_云智慧AIOps社区的博客-程序员秘密_频繁项挖掘

# 技术黑板报 # 第十期推荐阅读时长:15min在上一篇技术黑板报中,我们介绍了频繁项集挖掘这一问题,并讲解了Apriori算法与FP-Growth算法的技术原理。本期技术黑板报我们将主要围绕频繁项集挖掘算法的实际应用,即当该算法应用到告警关联场景中时,我们遇到了哪些问题,如何解决这些问题,以及我们如何在原始FP-Growth算法的基础上进行改进,从而研发了专用于告警关联场景下的CW-FP-Growth算法。为了展示该算法的实际效果,我们在文末给出了这一算法在脱敏数据中的案例。..

AlertManager实现webhook告警(使用Postman测试)_程序员小王java的博客-程序员秘密_alertmanage webhook

AlertManager实现webhook告警(使用Postman测试),Alertmanager 主要用于接收 Prometheus 发送的告警信息,它支持丰富的告警通知渠道,而且很容易做到告警信息进行去重,降噪,分组等,是一款前卫的告警通知系统。但是我们公司内部不使用Prometheus,只使用AlertManager.

Java基础__Java中异常处理那些事_weixin_30414635的博客-程序员秘密

一、Exception 类的层次所有的异常类是从 java.lang.Exception 类继承的子类。Exception 类是 Throwable 类的子类。除了Exception类外,Throwable还有一个子类Error 。Error 用来指示运行时环境发生的错误。异常类有两个主要的子类:IOException 类和 RuntimeException 类。...

百度地图离线开发demo(初始化地图)_oliver666666的博客-程序员秘密_百度地图初始化

使用百度地图api,只要瓦片对应上,api对上了,地图的使用还是较为简单的,demo官网上的也可参考,只需将BMapGL后边的gl去掉即可<!--地图初始化 --><template> <div id="allmap" style="width: 100%;height: 100%;" /></template><script>export default { components: {}..

随便推点

pandas 常用的数学统计方法 mad()_诗雨时的博客-程序员秘密_mad法

pandas 常用的数学统计方法 mad()1、定义:根据平均值计算平均绝对距离差。2、示例: import pandas as pdstudent_info = pd.read_csv("F:/人工智能/科学计算库/files/student_info.csv")pri...

什么是DevOps?_老杨的码农生活的博客-程序员秘密_devops什么意思

最近的DevOps的概念很火,大家都在讨论DevOps,有人说DevOps是自动化运维,有人说DevOps是流程和管理,还有人说DevOps是一种文化,以前的运维工程师也纷纷变成了DevOps工程师。 那DevOps究竟是什么?传统的运维模式以及面临的挑战 在传统的瀑布模型开发中,软件生命周期中的运行维护工作是由运维工程师来完成的。 开发人员完成编码,测试...

从Halcon到Opencv(python)_fill_up_shape_Kevin_liuj的博客-程序员秘密

主要记录一下从Halcon的一些算例在opencv中的实现Halcon中的例子:fill_up_shape实现的目的如下:原图:最终要输出的我改了一下:代码实现如下:首先定义一个通过Trackbar以面积为特征的选择函数,从而输出选定区域.def show_selectShape(image,binary,method = 'area',scale = 1.0): if method == 'area': num_labels, labels, stats, ce

html报警函数,alertmanager自定义告警模板(五)_心安王的博客-程序员秘密

一、告警模板alertmanager是可以自定义告警模板的。注意钉钉需要部署prometheus-webhook-dingtalk,这个也是支持模板的,但是模板要写在prometheus-webhook-dingtalk里,而不是alertmanager项目链接https://github.com/timonwong/prometheus-webhook-dingtalk通过配置templates...

@Grafana告警配置 邮件|钉钉 通知_ଲ一笑奈@何的博客-程序员秘密_grafana 通知

文章目录1.Grafana安装2.Grafana展示(zabbix数据)3.Grafana告警配置1)使用Grafana配置邮件告警2)服务器本身邮件服务配置4.Grafana创建告警通道1)邮件告警模块创建2)钉钉告警模块创建1》钉钉配置2》Grafana关联钉钉5.配置Grafana告警监控1)Grafana展示数据配置2)Grafana当前alert3)Grafana发送的告警查看1》邮件通知2》钉钉通知4)Grafana告警图像展示1.Grafana安装【grafana 仓库】#grafa

聚播微信群控云控引擎二次开发SDK服务端对接接口_虫小宝的博客-程序员秘密

聚播微信群控云控引擎二次开发SDK服务端对接接口 case HeartBeatReq: {// 客户端发送的心跳包 heartBeatReqHandler.handleMsg(ctx, msgVo); break; } case DeviceAuthReq: {// 设备客户端授权 设备(手机客户端、客服客户端)获取通信token请求 ...

推荐文章

热门文章

相关标签