罗明 2009-08-02 22:48 发表评论

 1 #
 2 # Copyright (C) 2007 罗明 <andyluo197(at)gmail.com>
 3 #
 4
 5 use  strict  " vars " ;  # 严格遵循my scope定义
 6
 7 use  LWP :: Simple;
 8 use  HTML :: LinkExtor;
 9 use  HTTP :: Request :: Common;
10 use  LWP :: UserAgent;
11 use  URI :: URL;
12
13 #  从命令行参数中取主网页地址和保存文件夹
14 my   $url   =   $ARGV [ 0 ]; 
15 my   $location   =   $ARGV [ 1 ];
16
17 #  子程序，解析主网页中的链接地址
18 my   @urls   =  ();
19 sub  urlCallback
20 {
21      my ( $tag ,   %attr )  =   @_ ;
22      return   if   $tag  ne  ' a ' ;
23      push ( @urls ,   values   %attr );
24 }
25
26 #  用于解析链接的LinkExtractor
27 my   $p   =  HTML :: LinkExtor -> new( \& urlCallback);
28
29 #  载入主网页内容，及解析链接地址
30 my   $ua   =  LWP :: UserAgent -> new;
31 my   $res   =   $ua -> request(HTTP :: Request -> new(GET  =>   $url ) ,   sub { $p -> parse( $_ [ 0 ])});
32
33 #  将链接的相对路径转换为绝对路径
34 my   $base   =   $res -> base;
35 @urls   =   map  { $_   =  url( $_ ,   $base )  ->   abs }  @urls ;
36
37 #  将网页写入文件
38 $ua -> request(GET( $url ) ,   $location   .   ' \\index.html ' );
39 my   $index   =   1 ;
40 foreach ( @urls )
41 {
42      $ua -> request(GET( $_ ) ,   $location   .   ' \\ '   .   $index   .   ' .html ' );
43      $index += 1 ;
44 }

罗明 2007-01-03 21:00 发表评论

罗明 2006-08-28 16:18 发表评论

罗明 2006-04-22 11:19 发表评论

罗明 2006-03-05 22:35 发表评论

罗明 2006-03-05 22:32 发表评论

罗明 2006-02-24 13:24 发表评论

罗明 2005-06-16 03:56 发表评论