深度学习RNN-程序员宅基地
技术标签： python
只记得我在一个昏暗潮湿的地方喵喵地哭泣着。
——夏目漱石《我是猫》
到目前为止，我们看到的神经网络都是前馈型神经网络。前馈（feedforward）是指网络的传播方向是单向的。具体地说，先将输入信号传给下一层（隐藏层），接收到信号的层也同样传给下一层，然后再传给下一层……像这样，信号仅在一个方向上传播。
虽然前馈网络结构简单、易于理解，而且可以应用于许多任务中。不过，这种网络存在一个大问题，就是不能很好地处理时间序列数据（以下简称为“时序数据”）。更确切地说，单纯的前馈网络无法充分学习时序数据的性质（模式）。于是，RNN（Recurrent Neural Network，循环神经网络）便应运而生。
小结：RNN出现的目的就是：处理前馈型神经网络不能解决的问题--时序数据，说人话就是单方面的恋爱几乎没有结果，可怜了一厢情愿的痴儿；这时候，感情大师RNN出现啦，大哥帮痴儿解决一下单相思的缺限，两情若是长久时，又岂在朝朝暮暮？
本章我们将指出前馈网络的问题，并介绍 RNN 如何很好地解决这些问题。然后，我们会详细解释 RNN 的结构，并用 Python 对其进行实现。
5.1 概率和语言模型--2024.4.22
作为介绍 RNN 的准备，我们将首先复习上一章的 word2vec，然后使用概率描述自然语言相关的现象，最后介绍从概率视角研究语言的“语言模型”。
5.1.1 概率视角下的 word2vec
以上是通过两边的单词预测中间的单词的CBOW概念讲解。
接下来是通过一侧的两个单词来预测旁边的单词，举个简单的例子，就比如说“娜儿，我喜欢你。”使用这个模型预测“我喜欢（空白）”，机器就会自动联想到下一个字很大可能是“你”这个词汇的。抛开这个话题不讲，这让我不禁想到了各类输入法的联想功能的，感觉这里学习的这个功能好像输入法联想功能的简化版的嘞！调皮
这里主要叙述了CBOW模型的交叉熵的写法模式以及晦涩难懂，看起来很吓人的数学公式，呵呵，一个纸老虎罢了。
又和交叉熵老兄重逢，开心！
5.1.2 语言模型
了解了语言模型是个啥子的，说人话就好比你在表达对娜儿小公主的爱慕时，算法告诉她：“这家伙在表白，所以尽量多给这家伙输送表白土味情话，绝不可以给他推送分手的伤感语言的，要把情话概率调极高，分手伤感语言的推送概率调到极低，快！！！”输入法知你心意，不会为你在输入了一半恋爱情话时，当个智商250的人工低能儿，为你后补一句：娜儿，我真的很讨厌你一样。这个要是发给了爱恋的女孩，那这个智能联想功能的差评绝对满天飞，输入法会被用户差评到自闭，怀疑机器人生。最后结果就是宣告优化输入法联想功能，这让我不禁想到小米CEO雷军曾经在小米发布会上问人工智能小爱同学：“三个木是什么？”小爱姐机智地回答“人家还小，我不知道的”导致雷总直接暴口：“这绝对是捣乱的！”
初步引入连续乘积的表示方法的，激动！数学上还没学，又进步一点点。
介绍了高中知识点：事件A在事件B的情况下发生的概率，以及事件B在事件A的情况下发生的概率的区别，避免混淆。说人话就是：举例：事件A是：今天特殊情况，放假休息一年 概率为0.5，事件B是：今天安夏走了狗屎运，找到了一个温柔似水，也喜欢安夏的女朋友的！概率：0.1
这P(A,B)=0.5x0.1 = 0.05（这里仅仅讲的是两个相互独立事件的例子）
这里讲述了用拆分法（说人话就是：例如：980x5不怎么好算，咱们可以把他拆成（1000 - 20）x5的算法来简化运算的。上述道理一样）来简化理解联合概率的。
智能推荐
TortoiseGit解决TortoiseGitPlink要求输入密码-程序员宅基地
文章浏览阅读3.2k次，点赞4次，收藏10次。解决TortoiseGitPlink要求输入密码_tortoisegitplink
什么是大端存储和小端存储-程序员宅基地
文章浏览阅读4.7k次，点赞2次，收藏5次。详细了解大端和小端的存储_大端存储和小端存储
【共读】企业信息安全建设与运维指南（一）_信息安全运营服务实施指南研究-程序员宅基地
文章浏览阅读6.3k次，点赞5次，收藏49次。一、从零开始建设企业信息安全系统：企业信息安全体系分为：信息安全技术体系和信息安全管理体系 信息安全技术体系： 两个层面： 1.需建设安全相关基础设施和系统，以具备解决相关安全问题的能力。 2.需具备安全运营能力，只有正确部署和使用设备，才能真正保障信息安全。 信息安全管理体系： 两个层面： 1.具备信息安全相关的制度、规范、流程及策略。 2.具..._信息安全运营服务实施指南研究
python遍历文件夹轻松拷贝所有固定格式的文件_python遍历所有文件复制指定文件?tn=02003390_71_hao_pg-程序员宅基地
文章浏览阅读455次。import osimport shutil def select_file(dir, dir_out): # dir为查询文件路径，dir_out为拷贝路径 if os.path.isfile(dir): if(dir[-4:] == '.bmp' or '.jpg' or 'png'): #拷贝所有以上格式的文件，也可以修改为其他格式 filename = dir.split('\\')[-1] # 提取文件名称 s_python遍历所有文件复制指定文件?tn=02003390_71_hao_pg
Win cuda11+cudnn11网盘下载_win11 cudatookit安装包 百度云-程序员宅基地
文章浏览阅读5.1k次，点赞17次，收藏10次。https://pan.baidu.com/s/1IV_lBCeFFM712xx_iXnhqQ 提取码:0pr5_win11 cudatookit安装包 百度云
springboot集成thymeleaf时css js加载不出来的问题_springboot thymeleaf 不显示css js-程序员宅基地
文章浏览阅读2.1k次。springboot项目的css 和js默认位置是在static中，所以如果没有另外的修改的话，直接创建一个static文件夹，把css和js放入即可。这里放一个实例<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>儿童随访记录表</title> <!-- 引入 echarts.js --> <script src="ht._springboot thymeleaf 不显示css js
随便推点
【教程】CDQ套CDQ——四维偏序问题【转载】-程序员宅基地
文章浏览阅读128次。转自前言 上一篇文章已经介绍了简单的CDQ分治，包括经典的二维偏序和三维偏序问题，还有带修改和查询的二维/三维偏序问题。本文讲介绍多重CDQ分治的嵌套，即多维偏序问题。四维偏序问题给定N(N<=20000)个有序四元组(a,b,c,d)，求对于每一个四元组(a,b,c,d)，有多少个四元组(a2,b2,c2,d2)满足a2<a &..._cdq处理四维偏序
Unity两个相机设置_unity设置两个摄像机-程序员宅基地
文章浏览阅读571次，点赞8次，收藏10次。Culling Mask:bg(将背景图片的layer设置为bg，层级在最后面，比如这里设置为9，背景图片一般放在2DObject-sprite里)main Camera：用来照物体的，CameraUI:用来照背景的。_unity设置两个摄像机
瑞_VMware虚拟机安装Linux纯净版(含卸载，图文超详细)_虚拟机安装linuxqq和卸载的图片-程序员宅基地
文章浏览阅读3.7k次，点赞90次，收藏24次。VMware虚拟机安装Linux纯净版(含卸载，图文超详细)_虚拟机安装linuxqq和卸载的图片
即时通讯开发平台AnyChat的开发流程及应用_axchat的使用过程-程序员宅基地
文章浏览阅读1.1k次。AnyChat开发流程指南下面列出AnyChatPlatform Core SDK基本开发流程，适用于开发视频会议系统、语音视频聊天系统、远程教育平台以及即时通讯平台（IM）等。 一、初始化该部分是首先要完成的，用于设置SDK的一些行为，包括设置对应的回调函数、设置SDK组件路径、设置是否产生日志文件等，通常初始化AnyChat SDK的代码如下（C++）： 01.// 打_axchat的使用过程
计算机毕设Python+Vue疫情期间学生作业线上管理系统（程序+LW+部署）_在线作业管理系统测试用例-程序员宅基地
文章浏览阅读190次。项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM + mybatis + Maven + Vue 等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。2.IDE环境：IDEA，Eclipse,Myeclipse都可以。_在线作业管理系统测试用例
Unicode与FFFE(记一个蛋疼的项目)-程序员宅基地
文章浏览阅读758次。好久没更新博客了。近期忙着一个项目, 还要应付各种考试就顾不上博客了。今天遇到了一个蛋疼的问题, 通过BLE4.0与蓝牙外设通信。按照客户给的协议文档发送的数据, 可是外设不能正确识别。折腾了一下午。最后问了客户才知道... 数据头fffe, 他们在外设里面已经做规定了。 所以不须要发送。真是蛋疼。也怪自..._unicode fffe