centos7 离线安装pyspider_笑面依旧的博客-程序员秘密_centos pyspider

技术标签: python  linux  框架  centos  

1、在联网的机器上下载依赖包

sudo yum install --downloadonly --downloaddir=/usr/local/soft/py3 zlib-devel bzip2-devel openssl openssl-devel ncurses-devel  epel-release gcc gcc-c++ xz-devel readline-devel gdbm-devel sqlite-devel tk-devel db4-devel libpcap-devel libffi-devel libcurl-devel libsqlite3-devel

2、打包依赖包

tar -czvf py3_lib.tar.gz py3

3、解压依赖包

tar -xzvf py3_lib.tar.gz

4、安装依赖包

cd /usr/local/soft/py3
rpm -ivh --force ./*

5、下载python的安装包,安装python3

tar zxvf /usr/local/soft/Python-3.6.3.tgz -C /usr/local/python3

./configure --prefix=/usr/local/python3	# 将python3安装在这个目录
make
make install

创建软连接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3	
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

6、安装pyspider的依赖

备注:

1)whl后缀的文件安装方式:pip3 install ?.whl
2)模块文件的下载地址:https://pypi.org/simple/pycurl/

安装顺序:
pip3 install pip-21.1.2-py3-none-any.whl
pip3 install cssselect-1.1.0-py2.py3-none-any.whl
pip3 install lxml-4.6.3-cp36-cp36m-manylinux1_x86_64.whl
pip3 install pyquery-1.4.3-py3-none-any.whl
pip3 install tornado-4.5.3.tar.gz  
pip3 install PyYAML-5.4.1-cp36-cp36m-manylinux1_x86_64.whl
pip3 install defusedxml-0.7.1-py2.py3-none-any.whl
pip3 install six-1.16.0-py2.py3-none-any.whl
pip3 install chardet-4.0.0-py2.py3-none-any.whl
pip3 install typing_extensions-3.10.0.0-py3-none-any.whl
pip3 install zipp-3.4.1-py3-none-any.whl
pip3 install importlib_metadata-4.5.0-py3-none-any.whl
pip3 install click-8.0.1-py3-none-any.whl
pip3 install Werkzeug-0.16.1-py2.py3-none-any.whl
pip3 install itsdangerous-2.0.1-py3-none-any.whl
pip3 install MarkupSafe-2.0.1-cp36-cp36m-manylinux1_x86_64.whl
pip3 install Jinja2-3.0.1-py3-none-any.whl
pip3 install Flask-0.11-py2.py3-none-any.whl
pip3 install Flask_Login-0.5.0-py2.py3-none-any.whl
pip3 install idna-2.10-py2.py3-none-any.whl
pip3 install urllib3-1.26.5-py2.py3-none-any.whl
pip3 install certifi-2021.5.30-py2.py3-none-any.whl
pip3 install requests-2.25.1-py2.py3-none-any.whl
pip3 install tblib-1.7.0-py2.py3-none-any.whl
pip3 install u_msgpack_python-2.7.1-py2.py3-none-any.whl
pip3 install jsmin-2.2.2.tar.gz
pip3 install WsgiDAV-3.0.1-py2.py3-none-any.whl
pip3 install pycurl-7.43.0.6.tar.gz
pip3 install pyspider-0.3.10.tar.gz

pip3 install soupsieve-2.2.1-py3-none-any.whl
pip3 install beautifulsoup4-4.9.3-py3-none-any.whl
pip3 install bs4-0.0.1.tar.gz
pip3 install dataclasses-0.8-py3-none-any.whl
pip3 install fake-useragent-0.1.11.tar.gz
pip3 install json5-0.9.6-py2.py3-none-any.whl
pip3 install PyMySQL-1.0.2-py3-none-any.whl
pip3 install python_dateutil-2.8.1-py2.py3-none-any.whl
pip3 install setuptools-28.8.0-py2.py3-none-any.whl
pip3 install numpy-1.19.5-cp36-cp36m-manylinux1_x86_64.whl
pip3 install pytz-2021.1-py2.py3-none-any.whl
pip3 install pandas-1.1.5-cp36-cp36m-manylinux1_x86_64.whl

7、增加环境变量

vim /etc/profile

export PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH

配置立即生效
source /etc/profile

8、安装phantomjs

1)下载安装包
2)解压到对应目录 
tar xvf phantomjs-2.1.1-linux-x86_64.tar
3)针对解压后文件夹重命名为phantomjs
mv phantomjs-2.1.1-linux-x86_64 phantomjs
4)创建软连接
ln -sv /usr/local/soft/phantomjs/bin/phantomjs /usr/bin/phantomjs

9、增加启动配置文件

1)创建pyspider_config.json,如果有现成的直接拷贝一下
cd /usr/local/python3/
vim pyspider_config.json

{
 "webui": {
 "port": "5000",
 "username": "ywhz",
 "password": "ywhz",
 "need-auth": true
 }
}
2)后台启动
nohup pyspider -c /usr/local/python3/pyspider_config.json &

**遇到的问题及解决方案

报错:
ValueError: Invalid configuration:
  - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.
解决方法如下:
在安装包中找到pyspider的资源包,然后找到webui文件里面的webdav.py文件打开,修改第209行即可。
vim /usr/local/python3/lib/python3.6/site-packages/pyspider/webui/webdav.py

把
'domaincontroller': NeedAuthController(app),
修改为:

'http_authenticator':{
        'HTTPAuthenticator':NeedAuthController(app),
    },

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/OXiaoMianYiJiu/article/details/119903174

智能推荐

计算机等级考试如何评改试题,全国计算机考试上机考试是如何改卷的_明明如灼的博客-程序员秘密

等级考试的上机考试是分批进行的,在相邻两批考生之间,有监考人员做“收分”工作,即改分。也就是说,当你考完机试后,你的上机成绩就已经出来了,只是我们不知道结果罢了。当然,监考人员也不知道,因为最后分数是加密的。另外,改分程序在评改你的上机成绩后,将你的考试目录中的所有内容全部删除!现在,我们就“计算机改分”这个问题做如下讨论:1、计算机改分实质上就是评分软件改你上机时所设计的软件--------软件...

Flutter 初识 MediaQuery_我的大小姐的博客-程序员秘密

当信息发生变化,例如屏幕旋转等时,屏幕中 Widget 会重新构建,以保持最新状态;我们可以通过 MediaQuery 构造函数和提供的静态方法手动设置对应的相关信息MediaQuery.removePadding() 删除内边距MediaQuery.removeViewInsets() 删除视图内边距viewInsets 为键盘弹出时等遮挡屏幕边距,其中 viewInsets.bottom 为键盘高度;systemGestureInsets 为手势边距,如 Android Q 之后添加的向左滑动关

嵌入式入门级学习——国产平台T3开发板测试教程(1)_Tronlong创龙的博客-程序员秘密_国产嵌入式开发

本文主要为嵌入式入门开发者的接口、网口等板卡基础快速测试,当初级学习的开发者拿到板卡,如何在最快时间内,测试这个板卡的基础性能、功能是正常的,就让我们下面看看。该篇文章主要提供基于创龙科技TLT3-EVM评估板的硬件资源测试方法。无特殊说明情况下,默认使用USB TO UART0作为调试串口,使用Linux系统启动卡(Micro SD方式)启动系统,通过路由器与PC机进行网络连接。Linux系统启动卡对应的设备节点为mmcblk1,eMMC对应的设备节点为mmcblk0。本指导文档适用开发环境:

使用vue-pdf预览合同的pdf文件时,不显示签章_小小白号的博客-程序员秘密_vue-pdf不显示盖章

预览pdf不显示合同上的盖章和签字:1. 在node_modules文件夹中搜索pdf.worker.js文件2. 注释掉_this.setFlages(_util.AnnotationFlag.HIDDEN); 在31690行

Maven项目Module互相调用找不到Jar包(即使已经打包和添加依赖)的解决方案_米菲尔Miffeel的博客-程序员秘密

1.在被依赖的模块的pom.xml文件中添加以下内容:<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifa...

EXT学习总结_#菜鸟架构师文标#的博客-程序员秘密

ext概述:    ExtJs初期仅是对Yahoo! UI的对话框扩展,后来逐渐有了自己的特色,深受网友的喜爱。 发展至今, Ext除YUI外还支持Jquery、Prototype等的多种JS底层库,让大家自由地选择。该框架完全基于纯Html/CSS+JS技术,提供丰富的跨浏览器UI组件,灵活采用JSON/XML数据源开发,使得服务端表示层的负荷真正减轻,从而达到客户端的MVC应用!E

随便推点

Web.xml中Context-param的作用_程序员阿亮的博客-程序员秘密

1.启动一个WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读两个节点: 和2.紧接着,容器创建一个ServletContext(上下文),这个WEB项目所有部分都将共享这个上下文.3.容器将转化为键值对,并交给ServletContext.4.容器创建中的类实例,即创建监听.5.在监听中会有contextInitialized(ServletCo

pandas的Excel文件读写(一)——组件要求与文件读取_dsy0221的博客-程序员秘密_pandas.read_excel的返回值

一、组件要求实现pandas的Excel文件读写,除了安装pandas外,还需要安装下列组件:(1)xlrd:从指定的xls格式文件中读取数据(2)xlwt:写入数据到指定的xls格式文件(3)openpyxl:支持xlsx格式文件的读写上述组件在Windows上的常用安装方法是在命令行中输入以下命令:pip install ****其中****即代表上述组件(库)的名字xlrd,xlwt,openpyxl。此外,如果安装了Anaconda等打包了各种扩展库的Python,

ios 资源_Capacity_bo的博客-程序员秘密

http://github.ibireme.com/github/list/ios/#

something about bootcmd and bootargs_field42zhw的博客-程序员秘密

http://www.cnblogs.com/cornflower/archive/2010/03/27/1698279.htmlbootcmd:bootcmd是自动启动时默认执行的一些命令,可以在当前环境中定义各种不同配置,不同环境的参数设置,然后设置bootcmd为经常使用的参数。bootargs:bootargs是环境变量中的重中之重,甚至可以说整

迁移学习笔记3: TCA, Finetune, 与Triplet Network(元学习)_lagoon_lala的博客-程序员秘密

MotivationTCA, Finetune, Triplet NetworkTCAFinetuneTriplet Network方法对比总结迁移学习基于特征的迁移学习方法 (Feature based)基于模型的迁移学习方法 (Model based)元学习(multi-task)元学习(Meta Learning)与迁移学习(Transfer Learning)的区别联系元学习特点元学习种类

基于SkyWalking实现对k8s集群中微服务的链路追踪分析_最美dee时光的博客-程序员秘密_k8s链路追踪

基于SkyWalking实现对k8s集群中微服务的链路追踪分析背景需求:SkyWalking介绍:实现方式:step1:制作SkyWalking Agent镜像1、准备文件:2、编写skywalking agent的dockerfile文件3、构建镜像step2:编写java服务接入skywalking agent的yamlstep3:执行yaml文件step4:效果图背景需求:由于我司之前的服务都是部署在ECS中,对于java微服务的实时链路分析是基于skytwalking agent来做监控的,但是