技术标签： 爬虫 python selenium phantomjs user-agent
selenium可调用firefox chrome phantomjs等各种浏览器
（然而对于有界面的浏览器，还是ubuntu14.04原版自带的firefox支持最好)
有时候需要更改请求头
比如做爬虫 要爬手机版的页面 就要将其user-agent改成android的
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium import webdriver
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"
driver = webdriver.PhantomJS(desired_capabilities=dcap)
#设置页面加载时间
driver.set_page_load_timeout(2)
driver.get('http://www.sina.com')（注意：我这是使用的phantomjs无界面浏览器，所以除了sudo pip install selenium外 还要sudo pip install phantomjs)
String a ="0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; System.out.print("验证码"); for (int i=0;i<4;i++) { Random r = new ...
rgmii下数据帧格式分析_rgmii 100m
起点(www.QiDian.com)作者‘香港大享’在新作《软件帝国》上架时，写了一个“长篇上架感言”。这是一个反映网络作者真实心声的序，不同于我们这些非作者的臆想。这位作者尚不是很有名，但也已经在起点上写了3部长篇小说（大概有400多万字）；起点上稳定的收入，是其主要经济来源。在网络作者/作家中，属于中等水平。因此，他的心声比较真实。在此分几次转发...
本文为我司 Engineering VP 申砾在 TiDB DevCon 2019 上的演讲实录。在 上篇 中，申砾老师重点回顾了 TiDB 2.1 的特性，并分享了我们对「如何做好一个数据库」的看法。本篇将继续介绍 TiDB 3.0 Beta 在稳定性、易用性、功能性上的提升，以及接下来在 Storage Layer 和 SQL Layer 的规划，enjoy~Ti..._tidb3.0 the way to tidb 3.0 and beyond
CString截取字串方法（链接）————————————以下为原文——————————————在CString中有Find(),Delete(),Left(),Right(),Mid()就可以实现分离子串的目的了。int Find( TCHAR ch ) const;找到给定的字符返回它在字符串中对应的索引号；没有找到就返回-1。int Delete( int nIn_cstring delete
Kafka可视化工具，想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？试试下面的Kafka GUI工具——Kafka Assistant_kafka assistant
进程：是表示资源分配的基本单位，也是调度运行的基本单位。例如，用户运行自己的程序，系统就创建了一个进程，并为它分配资源。线程：是进程中执行运算的最小单位，如果把进程理解为在逻辑上操作系统所完成的任务，那么线程就表示完成该任务的许多可能的子任务之一。多进程：Python由于cpython解释器的原因，似乎对多进程并不支持，但是可以通过multiprocessing调用多个解释器来实现多进程..._python multiprocessing 协cheng 区别
cesium实现六边形扩散_cesium 扩散效果
在ORACLE存储过程中创建临时表存储过程里不能直接使用DDL语句，所以只能使用动态SQL语句来执行--ON COMMIT DELETE ROWS 说明临时表是事务指定，每次提交后ORACLE将截断表(删除全部行)--ON COMMIT PRESERVE ROWS 说明临时表是会话指定，当中断会话时ORACLE将截断表。CREATE OR REPLACE PROCEDURE temptest(p_..._在java中oracle如何创建一个临时表并插入数据
引言 在机器学习的训练过程中，总是会碰到样本大、特征多的数据集。而这些数据集里面的数据有些是用处很小甚至完全无用的。如果一组数据中的无用数据占比较大时，一方面会使得模型的训练时间边长，另一方面模型容易出现欠拟合现象；而如果一组数据中作用较小的数据，即在训练中不能较好体现数据集中样本特征的数据，这类数据占比较大时，除了会提升模型训练的时间以外，还容易引起模型的过拟合现象。 针对这种情况，我们需要对这组数据集进行一个数据的预处理，其主要的方法有降噪、特征筛选以及降维处理，而这次主要讲解如何进行降维处理以_为了减少数据量和保持数据原始信息
0x00 前言之前学习了ECDSA 和 ECDH 算法。不难发现椭圆曲线的离散对数难题对该密码的安全性有着多么重要的作用。之前谈及，椭圆曲线的离散对数难题非常难，尽管如此，也应该有些方法可以解开这个问题。就好像对于模运算的密码系统，比如RSA而言，可以用yafu工具来强解，也可以上某网站查表，也包括一些共模攻击，小指数攻击等方法。参考的网站相关代码0x01 BSGS 小步大步法方法的英文名是Bab...
在VMware15.5上安装Ubuntu16.04（18.04）的具体流程及可能出现的问题（保姆级）用镜像安装时已经下载好了两个可用的Ubuntu选项分别是Ubuntu16.04和Ubuntu18.04两个版本下载时注意与两个版本兼容的ROS版本Ubuntu16.04 —ROS-kineticUbuntu18.04—ROS-melodic以下以安装Ubuntu18.04镜像为例第一步 打开VMware，在主页点击“创建新的虚拟机” 选择“典型”后下一步第二步 选择“稍后安装操作系统”后下一步_ubuntu16.04和vm15版本对应问题