2014年1月6日月曜日

wgetでサイトのバックアップ

諸事情で、サーバーにログインできないけれど、データのバックアップが必要な場合。
(たとえば www.hogehoge.net 全体が対象)

wget http://www.hogehoge.net/ -r -x -k

-r :再帰(下の階層を対象)
-x :ディレクトリ作成
-k :相対リンクに変換

robots.txt を無視する必要があれば
-e robots=off

諸事情で、エージェントを偽装する場合
-U "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"


■ 参考
Wget, HTTPS & ignoring robots.txt
Web サイトを再帰的に取得してみた
wgetでwebサイトを丸ごとダウンロードする場合は・・
wgetでの一括ダウンロードが便利な件
(対象拡張子の指定、画像サーバーの指定)

manを覗くと、膨大なドキュメトが。。。。。

firefoxのアドオン
ScrapBook
(未確認)

0 件のコメント:

コメントを投稿