諸事情で、サーバーにログインできないけれど、データのバックアップが必要な場合。
(たとえば www.hogehoge.net 全体が対象)
wget http://www.hogehoge.net/ -r -x -k
-r :再帰(下の階層を対象)
-x :ディレクトリ作成
-k :相対リンクに変換
robots.txt を無視する必要があれば
-e robots=off
諸事情で、エージェントを偽装する場合
-U "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
■ 参考
Wget, HTTPS & ignoring robots.txt
Web サイトを再帰的に取得してみた
wgetでwebサイトを丸ごとダウンロードする場合は・・
wgetでの一括ダウンロードが便利な件
(対象拡張子の指定、画像サーバーの指定)
manを覗くと、膨大なドキュメトが。。。。。
firefoxのアドオン
ScrapBook
(未確認)
0 件のコメント:
コメントを投稿