大尾巴自留地

wget -c -m -np -p -q -b http://mirrors.163.com/centos/5.4/

-c 是继续传送， -m 是镜像，-np 只下载目标站点指定目录及其子目录的内容 -p 是下载媒体文件，比如图片， -q 是安静模式， -b 是后台运行

绕开 robots.txt 办法：

在 $HOME/.wgetrc 中加入

robots = off