chrome--浏览器调试工具详解_浏览器调试工具使用-程序员宅基地
技术标签： 爬虫 chome开发调试工具
chrome浏览器开发调试工具打开方式：F12键
一，常用面板介绍
1.定位小箭头按钮(左边第一个)：
选中Elements面板，并启动该按钮，可以在页面中定位相应元素的源代码位置，或者选择源代码位置可定位到页面相应的元素。
2.手机-PC视图切换按钮(左边第二个)：
启动该按钮，网页可以在pc网址网页和手机网址网页之间进行转换。由于在爬虫过程中，爬取手机网址网页相对来说更容易，所以可以通过该按钮将网页切换至移动网页实现更快速爬取操作。(例如新浪微博)
3.Elements面板
该面板显示了渲染完毕后的全部HTML源代码，在使用selenium爬取网页时可通过这些源代码找到各标签的位置，属性等特征。更重要的是，双击html源码或者右侧的css，可以更改网页外观，即可以对静态网页进行调试。
4.Console面板
该面板用来显示网页加载过程中的日志信息，包括打印，警告，错误及其他可显示的信息等。同时它也是一个js交互控制台。
上图显示了百度首页的console面板信息，该信息来源于执行请求下来的js文件所得。每条信息的右侧显示了信息的来源的js文件及具体的行数。同时最下边个人写了一条简单的输出信息，输出“这是数据小丸子”。
更为重要的一个功能是：ctrl+shift+F在该面板中能够唤起全局搜索功能，即可以在所有下载的资源中搜索目标信息，这点对于关键字查找是非常重要的。
5.Sources面板
该面板以站点为分组，存放着请求下来的所有资源(html,css,jpg,gif,js等)。正是因为该面板存放了所有的资源，因此在调试js时，目标代码都是在此处寻找的。
该面板也提供了调试按钮工具。
6.Network面板
Network面板记录了网络请求的详细信息，包括请求头，响应头，表单数据，参数信息等等，只要是做爬虫的这个面板必须要了解。
红色圆圈内代表的是请求的不同类型的数据，其中XHR表示ajax请求，即异步请求，在爬虫中最重要的是分析该项。Doc表示的是html文档类型。其他几个不是很重要不详细讲解。
若要保留请求记录，勾选上preserve log选项。
其他几个面板在爬虫过程中使用不是很多，故不再讲解。
智能推荐
pytorch多个张量的加减乘除运算_pytorch张量之间的减法-程序员宅基地
文章浏览阅读4k次。import torcha1 = torch.rand(2, 3)print(a1)a2 = torch.rand(2, 3)print(a2)print(a1.add(a2)) # 加法运算a1 + a2，不改变参与运算的张量的值print(a1 + a2) # 加法运算a1 + a2，不改变参与运算的张量的值print(a1.sub(a2)) # 减法运算a1 - a2，不改变参与运算的张量的值print(a1 - a2) # 减法运算a1 - a2，不改变参与运算的张量的_pytorch张量之间的减法
ArcGIS：xls表格转点矢量并提取对应波段值_arcgis表格数据转点-程序员宅基地
文章浏览阅读816次。ArcGIS：xls表格转点矢量并提取对应波段值_arcgis表格数据转点
Python数据攻略-数据分析常用的Pandas数据索引操作方法_python pandas 返回index-程序员宅基地
文章浏览阅读3.6w次。想象一下，有一堆杂乱无章的数据，如何快速找到需要的信息呢？这不仅是一种技术挑战，更是一种艺术。在这篇文章中，将深入探讨Python中的数据选取和过滤技术。这就像是在一片星空中寻找那颗闪耀的星星，而Python提供的工具就像是望远镜，帮助聚焦并观察那些重要的数据点。从基于标签的索引到复杂的布尔型索引，每一种方法都像是一种魔法，让数据变得触手可及。文章将通过生动的例子，展示如何在数据的海洋中巧妙地航行，找到目标数据。无论是数据分析初学者，还是资深的数据科学家，都能在这里找到有价值的信息。_python pandas 返回index
Flink中容错机制 完整使用 (第十章)_为了不丢数据,我们应该从保存检查点后开始重新读取数据,这可以通过source任务向外-程序员宅基地
文章浏览阅读908次。Flink作为一个大数据分布式流处理框架，必须要考虑系统的容错性，主要就是发生故障之后的恢复。Flink容错机制的核心就是检查点，它通过巧妙的分布式快照算法保证了故障恢复后的一致性，并且尽可能地降低对处理性能的影响。本章中我们详细介绍了Flink检查点的原理、算法和配置，并且结合一致性理论与Flink-Kafka的实际互连系统，阐述了如何用Flink实现流处理应用的端到端exactly-once状态一致性。这既是Flink底层原理的深入，也与之前的状态管理、水位线机制有联系和相通之处；_为了不丢数据,我们应该从保存检查点后开始重新读取数据,这可以通过source任务向外
成绩管理系统需求说明书_学生成绩管理系统用例描述-程序员宅基地
文章浏览阅读4.6k次，点赞7次，收藏80次。成绩管理系统需求说明书1 引言1.1目的首先给出了整个系统的整体网络结构和功能结构的概貌，试图从总体架构上给出整个系统的轮廓，然后又对功能需求、性能需求和其它非功能性需求进行了详细的描述。其中对功能需求的描述采用了UML的用例模型方式，主要描述了每一用例的基本事件流，若有备选事件流则描述，否则则省略。而且还给出了非常直观的用例图。这些文字和图形都为了本文档能详细准确地描述用户的需求，..._学生成绩管理系统用例描述
解决fatal: could not get a repository handle_fatal: could not get a repository handle for submo-程序员宅基地
文章浏览阅读9.4k次，点赞3次，收藏2次。现象：❯ git submodule updatefatal: not a git repository: D:/td/code/qemu/meson/../.git/modules/mesonFailed to clone 'meson'. Retry scheduledBUG: submodule considered for cloning, doesn't need cloning any more?fatal: could not get a repository handle for_fatal: could not get a repository handle for submodule
随便推点
【JAVA实现腾讯云COS(对象存储)】SpringBoot微服务实现将视频上传到腾讯云COS(拿来就能用)_java 腾讯cos工具类-程序员宅基地
文章浏览阅读2.5k次，点赞2次，收藏9次。2.3 最后说一下： 返回值R，根据自己项目的业务返回来自定义。2.2 下面直接上接口的代码(复制过来就能用!这里没有用static 修饰：大家可以自己加静态修饰。_java 腾讯cos工具类
win11¢os7安装Subversion与配置 svn服务端_win11安装svn-程序员宅基地
文章浏览阅读2.9k次。启动SVN服务器有两种方法，一个是命令行方式，一个是注册Windows服务。[3]命令行方式的缺陷是：只要运行服务器端程序的命令行窗口一关闭，服务就停止了，很不方便，而且每次开机都需要手动启动。此时查看当前系统中的服务，可以看到我们刚刚创建的服务，但此时它还没有启动，如果创建失败，需检查sc命令是否正确。[1]将SVN服务端程序注册为Windows服务，就可以让SVN服务随系统一起启动，克服了命令行方式的不足。如果启动失败，那很有可能是binpath中的内容有错误，此时只能将已经创建的服务删除，重新创建。_win11安装svn
11.IO2_复用io模型解决了一个线程可以监控多个fd的问题-程序员宅基地
文章浏览阅读348次。基本概念同步通信1、异步通信2同步和异步关注的是消息通信机制同步通信所谓同步，就是在发出一个调用时，在没有得到结果之前，该调用就不返回。但是一旦调用返回，就得到返回值了;换句话说，就是由调用者主动等待这个调用的结果;异步通信调用在发出之后，这个调用就直接返回了，所以没有返回结果;换句话说，当一个异步过程调用发出后，调用者不会立刻得到结果;而是在调用发出后，被调用者通过状态、通知来通知调用者，或通过回调函数处理这个调用.阻塞 vs 非阻塞阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）._复用io模型解决了一个线程可以监控多个fd的问题
计算机网络（谢希仁第7版）课后答案—— 第七章网络安全_ip过滤技术在谢希仁教材哪一章-程序员宅基地
文章浏览阅读1.1w次，点赞33次，收藏141次。第七章、网络安全本章的习题计算机网络都面临哪几种威胁？主动攻击和被动攻击的区别是什么？对于计算机网 络的安全措施都有哪些？ 计算机网络面临以下的四种威胁：截获（interception）；中断(interruption)；篡改 (modification)；伪造（fabrication）。网络安全的威胁可以分为两大类：即被动攻击和主动攻击。 主动攻击是指攻击者对某个连接中通过的 PDU 进行各种处理。如有选择地更改、删除、延迟这些PDU。甚至还可将合成的或伪造的PDU 送入到一个连接中去。主动_ip过滤技术在谢希仁教材哪一章
数据库与缓存一致性解决方案_缓存和数据库一致性怎么解决-程序员宅基地
文章浏览阅读3.6k次，点赞4次，收藏19次。项目中如果用到了缓存，就会涉及到数据库与缓存的双写，由于这两个操作不是原子性的，在并发的场景下，容易产生数据库与缓存不一致的情况。_缓存和数据库一致性怎么解决
排查 reactor-netty 报错 Connection reset by peer 的过程_readaddress(..) failed: connection reset by peer-程序员宅基地
文章浏览阅读2.1w次，点赞12次，收藏21次。文章目录1. 报错现象2. 排查过程2.1 Connection reset by peer 的原因2.2 syscall:read(..) failed: Connection reset by peer 错误3. 最终原因1. 报错现象组内一个服务从 spring-webmvc 框架切换到 spring-webflux，在线上跑了一段时间后偶现如下错误 log 。log 中 L:/10.0.168.212:8805 代表了本地服务所在的服务器 IP 和 端口，R:/10.0.168.38:473_readaddress(..) failed: connection reset by peer