wget

從網路自動下載文件的自由工具

wget是一個從網路上自動下載文件的自由工具,支持通過HTTPHTTPSFTP三個最常見的TCP/IP協議下載,並可以使用HTTP代理。"wget"這個名稱來源於“World Wide Web”與“get”的結合。

所謂自動下載,是指wget可以在用戶退出系統的之後在繼續後台執行,直到下載任務完成。

啟動參數


這一類參數主要提供軟體的一些基本信息。
-V,--version顯示軟體版本號然後退出;
-h,--help顯示軟體幫助信息;
-e,--execute=COMMAND執行一個“.wgetrc”命令
以上每一個功能有長短兩個參數,長短功能一樣,都可以使用。需要注意的是,這裡的-e參數是執行一個.wgettrc的命令,wgettrc命令其實是一個參數列表,直接將軟體需要的參數寫在一起就可以了。

文件參數


這類參數定義軟體log文件的輸出方式等。
-o,--output-file=FILE將軟體輸出信息保存到文件;
-a,--append-output=FILE將軟體輸出信息追加到文件;
-d,--debug顯示輸出信息;
-q,--quiet不顯示輸出信息;
-i,--input-file=FILE從文件中取得URL;
例1:下載首頁並且顯示下載信息
wget -d
例2:下載首頁並且不顯示任何信息
wget -q
例3:下載filelist.txt中所包含的鏈接的所有文件
wget -i filelist.txt
wget -np -m -l 5不下載本站所鏈接的其它站點內容,5級目錄結構

下載參數


下載參數定義下載重複次數、保存文件名等。
-t,--tries=NUMBER是否下載次數(0表示無窮次)
-O --output-document=FILE指定下載目錄和文件名
-nc, --no-clobber不要覆蓋已經存在的文件
-N,--timestamping只下載比本地新的文件
-T,--timeout=SECONDS設置超時時間
-Y,--proxy=on/off關閉代理
例:下載的首頁並將下載過程中的的輸入信息保存到test.htm文件中
wget -Otest.html

目錄參數

目錄參數主要設置下載文件保存目錄與原來文件(伺服器文件)的目錄對應關係;
-nd --no-directories不建立目錄
-x,--force-directories強制建立目錄
可能我們對這裡的目錄還不是很了解,我們來看一個舉例
例:下載的首頁,並且保持網站結構
wget -x

HTTP參數

HTTP參數設置一些與HTTP下載有關的屬性。
--http-user=USER設置HTTP用戶
--http-passwd=PASS設置HTTP密碼
--proxy-user=USER設置代理用戶
--proxy-passwd=PASS設置代理密碼
以上參數主要設置HTTP和代理的用戶、密碼;

遞歸參數設置

在下載一個網站或者網站的一個目錄的時候,我們需要知道的下載的層次,這些參數就可以設置。
-r,--recursive下載整個網站、目錄(小心使用)
-l,--level=NUMBER下載層次
例:下載整個網站
wget -r

拒絕選項參數

下載一個網站的時候,為了盡量快,有些文件可以選擇下載,比如圖片和聲音,在這裡可以設置。
-A,--accept=LIST可以接受的文件類型
-R,--reject=LIST拒絕接受的文件類型
-D,--domains=LIST可以接受的域名,用逗號分隔
--exclude-domains=LIST拒絕的域名,用逗號分隔
-L,--relative下載關聯鏈接
--follow-ftp只下載FTP鏈接
-H,--span-hosts可以下載外面的主機
-I,--include-directories=LIST允許的目錄
-X,--exclude-directories=LIST拒絕的目錄

伺服器


wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這裡主要利用這個文件來是設置代理伺服器。使用者用什麼用戶登錄,那麼什麼用戶主目錄下的".wgetrc"文件就起作用。
例如,"root"用戶如果想使用".wgetrc"來設置代理伺服器,"/root/.wgetrc"就起作用,下面給出一個".wgetrc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:
http-proxy=111.111.111.111:8080
ftp-proxy=111.111.111.111:8080
這兩行的含義是,代理伺服器IP地址為:111.111.111.111,埠號為:8080。第一行指定HTTP協議所使用的代理伺服器,第二行指定FTP協議所使用的代理伺服器。

代碼總表


啟動:
-V, --version顯示wget的版本後退出
-h, --help列印語法幫助
-b, --background啟動後轉入後台執行
-e, --execute=COMMAND執行`.wgetrc'格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc
wget默認會根據網站的robots.txt進行操作
使用-e robots=off參數即可繞過該限制
記錄和輸入文件:
-o, --output-file=FILE把記錄寫到FILE文件中
-a, --append-output=FILE把記錄追加到FILE文件中
-d, --debug列印調試輸出
-q, --quiet安靜模式(沒有輸出)
-v, --verbose冗長模式(這是預設設置)
-nv, --non-verbose關掉冗長模式,但不是安靜模式
-i, --input-file=FILE下載在FILE文件中出現的URLs
-F, --force-html把輸入文件當作HTML格式文件對待
-B, --base=URL將URL作為在-F-i參數指定的文件中出現的相對鏈接的前綴
--sslcertfile=FILE可選客戶端證書
--sslcertkey=KEYFILE可選客戶端證書的KEYFILE
--egd-file=FILE指定EGD socket的文件名
下載:
--bind-address=ADDRESS指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
-t, --tries=NUMBER設定最大嘗試鏈接次數(0表示無限制).
-O --output-document=FILE把文檔寫到FILE文件中
-nc, --no-clobber不要覆蓋存在的文件或使用.#前綴
-c, --continue接著下載沒下載完的文件
--progress=TYPE設定進程條標記
-N, --timestamping不要重新下載文件除非比本地文件新
-S, --server-response列印伺服器的回應
--spider不下載任何東西
-T, --timeout=SECONDS設定響應超時的秒數
-w, --wait=SECONDS兩次嘗試之間間隔SECONDS秒
--waitretry=SECONDS在重新鏈接之間等待1...SECONDS秒
--random-wait在下載之間等待0...2*WAIT秒
-Y, --proxy=on/off打開或關閉代理
-Q, --quota=NUMBER設置下載的容量限制
--limit-rate=RATE限定下載速率
目錄:
-nd --no-directories不創建目錄
-x, --force-directories強制創建目錄
-nH, --no-host-directories不創建主機目錄
-P, --directory-prefix=PREFIX將文件保存到目錄PREFIX/...
--cut-dirs=NUMBER忽略NUMBER層遠程目錄
HTTP選項:
--http-user=USER設定HTTP用戶名為USER.
--http-passwd=PASS設定http密碼為PASS.
-C, --cache=on/off允許/不允許伺服器端的數據緩存(一般情況下允許).
-E, --html-extension將所有text/html文檔以.html擴展名保存
--ignore-length忽略`Content-Length'頭域
--header=STRING在headers中插入字元串STRING
--proxy-user=USER設定代理的用戶名為USER
--proxy-passwd=PASS設定代理的密碼為PASS
--referer=URL在HTTP請求中包含`Referer:URL'頭
-s, --save-headers保存HTTP頭到文件
-U, --user-agent=AGENT設定代理的名稱為AGENT而不是Wget/VERSION.
--no-http-keep-alive關閉HTTP活動鏈接(永遠鏈接).
--cookies=off不使用cookies.
--load-cookies=FILE在開始會話前從文件FILE中載入cookie
--save-cookies=FILE在會話結束后將cookies保存到FILE文件中
FTP選項:
-nr, --dont-remove-listing不移走`.listing'文件
-g, --glob=on/off打開或關閉文件名的globbing機制
--passive-ftp使用被動傳輸模式(預設值).
--active-ftp使用主動傳輸模式
--retr-symlinks在遞歸的時候,將鏈接指向文件(而不是目錄)
遞歸下載:
-r, --recursive遞歸下載--慎用!
-l, --level=NUMBER最大遞歸深度(inf或0代表無窮).
--delete-after在完畢后局部刪除文件
-k, --convert-links轉換非相對鏈接為相對鏈接
-K, --backup-converted在轉換文件X之前,將之備份為X.orig
-m, --mirror等價於-r -N -l inf -nr.
-p, --page-requisites下載顯示HTML文件的所有圖片