scrapy爬虫项目部署到linux上的步骤,虚拟环境创建,chrome浏览器安装+selenium_scrapy打包成linux可执行文件-程序员宅基地

技术标签: 那些年默默学习搭建的环境  

前言: 以下linux指令中都加了sudo,是因为我不是管理员,如果是有小伙伴是管理员权限的话,直接去掉sudo就好了

  1. 首先在你的文件夹中安装虚拟环境
sudo pip3 install virtualenv # 安装虚拟环境
sudo pip3 install virtualenvwrapper # 安装虚拟环境扩展包
vim /home/Argonum/.bashrc # 编辑自己文件夹下面的.bashrc文件,输入以下代码:

这里是进入了vim的bash编辑器里面,把下面的代码输入进去就好了

# 按一下i进入编辑模式,按一下esc退出编辑模式,然后按:wq,是保存,:q!是强制退出
    if [ -f /usr/local/bin/virtualenvwrapper.sh ]; then
        export WORKON_HOME=$HOME/.virtualenv
        export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
        source /usr/local/bin/virtualenvwrapper.sh
    fi

按 :wq 保存退出vim以后在输入下面的代码,如果显示没有权限就加上sudo

source ~/.bashrc   # 使其生效
cd ~/.virtualvenv  # 进入刚才创建的虚拟环境中
mkvirtualenv -p python3 虚拟环境名字 # 创建的是python3版本
workon 虚拟环境名  # 进入虚拟环境
deactivate  # 退出当前虚拟环境
workon + 按两次tab键,显示当前所有的虚拟环境
rmvirtualenv 虚拟环境名  #删除虚拟环境

注意事项: 不要使用sudo pip 指令安装包,会导致直接安装到真实的环境中,直接使用pip指令安装,成功进入虚拟环境中会显示在你的名字前面的,我创建的是名为venv的虚拟环境
在这里插入图片描述

虚拟环境建好以后,接下来安装我们需要的安装包

pip install scrapy
pip isntall fake-useragent
pip install requests
pip isntall dispatch
pip isntall selenium
  1. 当所有的依赖包安装好以后,需要做的是安装chrome浏览器,chromedriver浏览器驱动程序,chromium等

第一步,下载需要的chrome浏览器,如果以下指令报错啦,就换下面第二种方法下载,基本指令一样,如果是ubuntu就把yum改成apt指令

curl https://intoli.com/install-google-chrome.sh | bash  
# 此处为chrome64位版本下载链接
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
sudo yum install ./google-chrome-stable_current_*.rpm

以上方法错误则改用以下方法

# 下载谷歌chrome32位版本或
wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb  # 第一行
# 下载谷歌chrome64位版本
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb  # 第一行
# 下载完成后安装
sudo dpkg -i google-chrome*; sudo apt-get -f install   # 第二行
sudo apt-get install google-chrome-stable      # 第三行

b. 第二步, 下载对应的chromedriver,一定要跟chrome的版本对应起来,不然浏览器是跑不起来的,先用指令查看chrome的版本号,然后去chromedriver上查看版本信息,可以自己先去看看, chromedriver的网站

sudo apt-get install unzip
wget -N http://chromedriver.storage.googleapis.com/91.0.4472.19/chromedriver_linux64.zip    -->91.0.4472.19是chromedriver的版本号,记得一定要换成和谷歌浏览器对应版本的版本号
unzip chromedriver_linux64.zip
chmod +x chromedriver
sudo mv -f chromedriver /usr/local/share/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

接下来可以查看自己是否安装成功了,一定要保证自己的chrome和chromedriver的版本号一致呀,不然就白费功夫了,
在这里插入图片描述

c. 第三步, 下载chromium

sudo apt install -y chromiun

d. 第四步, 下载xvfb

sudo apt install xvfb -y  # 一个虚拟GUI环境
sudo apt install xorg-x11-fonts* -y   # 这个ubuntu中没有安装包,是一个字体包指令,如果没找到,不安装也不影响

然后新建一个xvfb-chrom的文件,并且写入以下命令

sudo vim /usr/bin/xvfb-chrom
​
#!/bin/bash  
​
_kill_procs() {
      
  kill -TERM $chromium  
  wait $chromium  
  kill -TERM $xvfb  
}# Setup a trap to catch SIGTERM and relay it to child processes  
trap _kill_procs SIGTERM  
​
XVFB_WHD=${
    XVFB_WHD:-1280x720x16}# Start Xvfb  
Xvfb :99 -ac -screen 0 $XVFB_WHD -nolisten tcp &  
xvfb=$!  
​
export DISPLAY=:99  
​
chromium --no-sandbox --disable-gpu$@ &  
chromium=$!  
​
wait $chromium  
wait $xvfb  

更改文件权限,以及更改软链接


更改权限

sudo chmod +x chromedriver
sudo chmod +x xvfb-chrom

更改软链接

sudo ln -s /usr/lib64/chromium-browser/chromium-browser.sh /usr/bin/chromium
sudo rm -rf /usr/bin/chromium-browser
sudo ln -s /usr/bin/xvfb-chromium /usr/bin/chromium-browser
sudo ln -s /usr/bin/xvfb-chromium /usr/bin/google-chrome   # 如果报错显示文件已存在,也没关系,不用管
ll /usr/bin/ | grep chrom*   # 如果什么都没找到也没关系,不用管

e. 这个就是一整套chrome浏览器安装+selenium过程,如果担心没装好,可以用以下代码进行测试一下:

sudo vim test.py  # 新建一个test.py测试文件,复制以下python代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
​
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(executable_path=(r'/usr/bin/chromedriver'), chrome_options=chrome_options)
driver.get('https://www.baidu.com')
print(driver.title)
driver.quit()

在linux中的结果应该就是下面啦,能够打印出“百度一下,你就知道”
在这里插入图片描述

  1. 整个安装过程就可以啦,然后就可以把自己的项目文件打包上传啦,用xftp上传哦

因为我在这个过程中基本上没有碰到什么问题,所以并没有贴出bug的处理措施,如果有什么问题就百度就好了,没啥事度娘解决不了的,在虚拟环境创建那一步,如果是其他人帮你创建的venv,那么一定要注意文件所属人的权限问题,可能会出现check the permission 的报错,你可以修改当前人的权限进行处理
在这里插入图片描述
补充linux中的指令,方便自己查看:

which python  # 运行的python放在了哪里
which google-chrome  # chrome浏览器放在了哪里
XXXX --version  # 版本号
ls  # 列出文件夹中所有文件
ll  # 详细列出

在这里插入图片描述

希望看到的小伙伴也要加油哦,博主也是一个小白,碰到问题全靠百度,所以尽量把经验写下来,也许以后也有人碰到和我一样的问题,如果能够对以后的人产生一点点帮助,就好啦,一个人努力的小伙伴也不要放弃哦!ヾ(◍°∇°◍)ノ゙

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Argonum/article/details/117746839

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签