wget使用proxy的配置-程序员宅基地

技术标签: 操作系统  

 在~/.wgetrc中设定代理
http_proxy = http://ip_or_domainname:80/
ftp_proxy = http://ip_or_domainname:80/
use_proxy = on
wait = 15

然后直接wget http://ip/filename就ok了

======================================
红色很重要(转自http://realchecko.blogspot.com/2007/05/wget.html)

5.31.2007

wget : 抓取某個目錄

使用 " -r " 參數,wget 會到處去抓,包括 上層目錄。
如果只要抓某個目錄就是加上 "-L" 參數。
 wget -r -L http://buildhost.openmoko.org/tmp/cross/
將prebuild cross toolchain 抓下來。
還是有不一樣的地方 .. 每個folde會多一個 index.html。

==============================================================
方便的网络下载工具wget

wget是一个强力方便的命令行方式下的下载工具。本文介绍了wget的基本用法。

网络用户有时候会遇到需要下载一批文件的情况,有时甚至需要把整个网站下载下来或者制作网站的镜像。在Windows下的用户都比较熟悉
Teleport,webzip等等网站下载工具,实际上AIX中也完全可以做到这样的功能,那就是利用wget工具。wget是一个命令行工具,用来下
载网络文件或者整个网站,它具有自动重试、断点续传、支持代理服务器等等强大的功能。它可以完全替代ftp客户端。wget是在Linux下开发的开放源
代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。IBM在AIX Linux
Toolbox中也提供了这个工具,使得它可以在AIX下运行。您可以在IBM网站http://www-1.ibm.com/servers/aix
/products/aixos/linux/altlic.html下载到它。IBM提供的wget是1.8.1版本,rpm包格式的。

wget虽然功能强大,但是使用起来还是比较简单的,基本的语法是:wget [参数列表] URL。下面就结合具体的例子来说明一下wget的用法。

1、下载整个http或者ftp站点。

wget http://place.your.url/here

这个命令可以将http://place.your.url/here 首页下载下来。使用-x会强制建立服务器上一模一样的目录,如果使用-nd参数,那么服务器上下载的所有内容都会加到本地当前目录。

wget -r http://place.your.url/here

这个命令会按照递归的方法,下载服务器上所有的目录和文件,实质就是下载整个网站。这个命令一定要小心使用,因为在下载的时候,被下载网站指向的所有地址
同样会被下载,因此,如果这个网站引用了其他网站,那么被引用的网站也会被下载下来!基于这个原因,这个参数不常用。可以用-l
number参数来指定下载的层次。例如只下载两层,那么使用-l 2。

要是您想制作镜像站点,那么可以使用-m参数,例如:

wget -m http://place.your.url/here

这时wget会自动判断合适的参数来制作镜像站点。此时,wget会登录到服务器上,读入robots.txt并按robots.txt的规定来执行。

2、断点续传。

当文件特别大或者网络特别慢的时候,往往一个文件还没有下载完,连接就已经被切断,此时就需要断点续传。wget的断点续传是自动的,只需要使用-c参数,例如:

wget -c http://the.url.of/incomplete/file

使用断点续传要求服务器支持断点续传。-t参数表示重试次数,例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。-T参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。

3、批量下载。

如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,

然后用命令:

wget -i download.txt

这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页)

4、选择性的下载。

可以指定让wget只下载一类文件,或者不下载什么文件。例如:

wget -m --reject=gif http://target.web.site/subdirectory

表示下载http://target.web.site/subdirectory,但是忽略gif文件。--accept=LIST 可以接受的文件类型,--reject=LIST拒绝接受的文件类型。

5、密码和认证。

wget只能处理利用用户名/密码方式限制访问的网站,可以利用两个参数:

--http-user=USER设置HTTP用户

--http-passwd=PASS设置HTTP密码

对于需要证书做认证的网站,就只能利用其他下载工具了,例如curl。

6、利用代理服务器进行下载。

如果用户的网络需要经过代理服务器,那么可以让wget通过代理服务器进行文件的下载。此时需要在当前用户的目录下创建一个.wgetrc文件。文件中可以设置代理服务器:

http-proxy = 111.111.111.111:8080

ftp-proxy = 111.111.111.111:8080

分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用:

--proxy-user=USER设置代理用户

--proxy-passwd=PASS设置代理密码

这两个参数。

使用参数--proxy=on/off 使用或者关闭代理。

wget还有很多有用的功能,需要用户去挖掘。

备注:wget是免费软件,IBM公司不对wget提供软件维护和技术支持。


本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u/13662/showart_376650.html

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/82392/viewspace-448835/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/82392/viewspace-448835/

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ckykdwr884269/article/details/100443320

智能推荐

升级鸿蒙系统效果,鸿蒙系统初体验 全方位体验升级[多图]-程序员宅基地

文章浏览阅读373次。鸿蒙系统是近期华为发布的,这个的话,在更新了以后,就能够看到了,不过只是对于某些适配机型来说是这样,其他的话,是没有的,很多用户都十分的好奇,也是在观望当中,这个的话,到底应不应该去升级,效果怎么样呢?下面就来了解下!鸿蒙系统初体验这套新系统采用了全场景分布式的设计理念,但并不影响单设备上的操作逻辑。同时,HarmonyOS兼容Android应用,综合体验下来与Android趋同。先说升级后最直观..._鸿蒙系统图片

python输出文本框_python – 使用tkinter在GUI上显示程序的输出...-程序员宅基地

文章浏览阅读2.5k次。我花了很多时间在我对another question的回答中调试和修改errorwindow.py模块,因此它可以在Python 2和3中工作 – 链接答案中的代码是为Python 2.x编写的.注意我只做了使它在两个版本下运行所需的最低要求.该脚本的修改版本已命名为errorwindow3k.py(尽管它也适用于Python 2).大多数问题仅仅是由于模块重命名,但是有一个更难以理解,结果是由于..._用python将逐行输出打印到gui ttk

Eclipse下搭建Spring MVC_eclipse jsp springmvc 配置文件-程序员宅基地

文章浏览阅读1w次。Eclipse下搭建Spring MVC一、新建Dynamic Web Project一个web工程最基本的,只看3个地方,在根目录下(这个目录一般习惯叫WebContent或WebRoot)有 : 1.WebRoot/WEB-INF/web.xml 启动引导文件 2.WebRoot/WEB-INF/classes/ 编译的class文件,会根据package建立子路径_eclipse jsp springmvc 配置文件

Java基础(反射,类加载,动态代理)_public class myinvocationhandler implements invoca-程序员宅基地

文章浏览阅读286次。反射(类的加载和加载时机)类的加载概述 当程序要使用某个类时,如果该类还未被加载到内存中,则系统会通过加载,连接,初始化三步来实现对这个类进行初始化。连接 验证 是否有正确的内部结构,并和其他类协调一致准备 负责为类的静态成员分配内存,并设置默认初始化值解析 将类的二进制数据中的符号引用替换为直接引用初始化 就是我们以前讲过的初始化的步骤加载时机 创建 类的实例访问类的静态变量_public class myinvocationhandler implements invocationhandler

详解springboot整合mongodb_"springboot\" \"mongo端口"-程序员宅基地

文章浏览阅读1.3k次。准备工作安装 MongoDB jdk 1.8 maven 3.0 idea环境依赖在pom文件引入spring-boot-starter-data-mongodb依赖:? <dependency> <groupId>org.springframework.boot</groupId> <artifactId&..._"springboot\" \"mongo端口"

【操作说明】安防视频云服务EasyCVR如何接入海康SDK及Ehome等私有协议?_海康ehome协议和sdk协议的区别-程序员宅基地

文章浏览阅读1.8k次。视频上云平台EasyCVR的接入协议相对EasyNVR、EasyGBS来说更广泛,除了常见的RTSP、GB28181之外,EasyCVR目前也集成了海康SDK及Ehome这类私有协议的接入,对用户来说,选择性则会更加广泛,不局限于某一个协议,实际使用也会更加便捷。EasyCVR接入海康SDK先来讲一下海康SDK的接入。注:这里特指的是海康的设备具有SDK的接入方式,其他厂家的摄像头不支持这种SDK的接入方式。在设备管理里面点击添加设备后进入配置页面,然后添加设备信息即可。这里要注意,_海康ehome协议和sdk协议的区别

随便推点

opencv图像计算_opencv计算图像对比度-程序员宅基地

文章浏览阅读459次。一、图像加法 1 #include<opencv2/opencv.hpp> 2 #include<iostream> 3 using namespace cv; 4 using namespace std; 5 6 void main(){ 7 Mat img1=imread("E://1.jpg"); 8 Mat img2=imread("..._opencv计算图像对比度

【VMware】通过VMware Tools避免虚拟机运行卡顿_vmwaretools下载-程序员宅基地

文章浏览阅读837次。确保为虚拟机分配足够的内存、CPU和硬盘空间。如果你的主机有足够的资源,增加虚拟机的内存和CPU分配可以显著改善性能。如果可能的话,将虚拟机的磁盘文件存储在SSD硬盘上,而不是机械硬盘。SSD硬盘的读写速度比机械硬盘快,可以提高虚拟机的性能。在虚拟机设置中,关闭不必要的特性,例如3D加速、打印机、音频等。这些特性可能会占用主机资源。确保在虚拟机中安装了最新版本的VMware Tools。VMware Tools提供了与主机系统的更好集成,可以提高性能和稳定性。_vmwaretools下载

Android之Http通信——3.Android HTTP请求方式:HttpURLConnection_dalvik http请求-程序员宅基地

文章浏览阅读3.7w次,点赞2次,收藏10次。3.Android HTTP请求方式之HttpURLConnection引言: 好了,前两节我们已经对HTTP协议进行了学习,相信看完前两节的朋友对HTTP协议相比之前 应该更加熟悉吧,好吧,学了要用,相信很多人都知道Android中HTTP的两种最基本的请求方式 他们分别是:HttpURLConnection和HttpClient,当然了解了最基本的两个后,我们实际开发中 可_dalvik http请求

android 热点被连接电脑,有病毒的android手机或电脑连了我的android手机的热点,我的android手机的热点又给了另外的苹果手机用,那我�...-程序员宅基地

文章浏览阅读262次。首先确认你有无线网卡,并安好了驱动,开关打开了,并且启动了无线网络的相关服务。2打开记事本,输入“netsh wlan set hostednetwork mode=allow ssid=wifi网络名称 key=0987654321”,key就是密码,一般设置为10位数字,位数不对会不能启动wifi。然后保存,文件类型选择所有类型,文件名后面加上.bat,bat是批处理文件格式。直接双击运行,有..._手机一连电脑就被偷热点

【Tensorflow】tensorboard的使用_self.loss = tf.reduce_mean(cross_entropy)-程序员宅基地

文章浏览阅读320次。代码例子:import tensorflow as tfclass TCNNConfig(object): # class TCNNConfig(filename): """CNN配置参数""" embedding_dim = 8 # 词向量维度 seq_length = 3 # 序列长度 num_classes = 2 # 类别数 ..._self.loss = tf.reduce_mean(cross_entropy)

Firefox 10内置的Web开发者工具-程序员宅基地

文章浏览阅读82次。在刚刚发布的Firefox 10中新增了多个内置的Web开发工具,可以说目前来看基本都是鸡肋。对于习惯了Firebug的开发者来说,Firefox的这些工具简直太小儿科了!不过不能因为开始很鸡肋,就对它不理不睬,我们还是希望能够不断地有更加出色的Web开发工具出现的。笔者也是带着好奇+折腾没够的心理,想看一看这货究竟有没有点儿长处。先来看看Page Inspector的截图吧:图..._web开发工具 firefox自带的