LINUX - curl 與 wget 的使用範例

curl

列出幾個常用的參數
-o : 取得網頁內容，檔案輸出
-x : 指定 http 使用的 proxy
-D : 把 http response 裡面的 cookie 資訊另存新檔
-b : 把 cookie 資訊加到 http request 裡
-A : 設定瀏覽器資訊
-e : 設定 referrer
-O : 使用伺服器上的檔案名，存在本地
-c : 續傳 (只能用在原本是 curl 傳輸的檔案)
-r : 分塊下載

ex1 :

curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com

ex2 :

curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

以上產生的下載就是
~zzh/001.JPG
~zzh/002.JPG
...
~zzh/201.JPG
~nick/001.JPG
~nick/002.JPG
...
~nick/201.JPG

wget
列出幾個常用的參數
-A : 只抓某些副檔名, 例如 -A html,htm 表示只抓網頁而不抓圖
-m : 是 mirror 的縮寫, 也就是將整個網站, 連同目錄結構都抓下來
-np : 只抓該站內的資料,
-b : 丟到背景執行, 在 Windows 下可以讓 wget 不佔用 DOS 模式
-c : 續傳
--limit-rate=1024k : 限速
-P : --directory-prefix=PREFIX save files to PREFIX/... 存到特定目錄
-O : --output-document=FILE    write documents to FILE.


ex : 

wget -A JPG,jpg -m -np -b http://61.164.109.162:99/dm06//ok-comic06/N/NIGHTMARE-MAKER/vol_01/

cf :
http://evelynnote.blogspot.com/2011/03/curl.html
http://redhat.ecenter.idv.tw/bbs/showthread.php?threadid=39222
http://www.linuxidc.com/Linux/2008-01/10891.htm
http://blog.tsaikd.org/index.php?fpath=data/2007/07/03_2.xml
http://blog.candyz.org/20050729/172
http://blog.xuite.net/choubee/blog/41876352