アーカイブ

2011年06月

カテゴリ:
Scrappy

ってのを使ってみたんだけど、get 後の form がうまくいかね。worker 直呼びしたらうまくいった。なんだこれ。Moose はいっててちょっとよくわからない。:syntax 使えってはなしもあるかも。

    my $scraper = Scrappy->new;
    $scraper->user_agent->name('DoCoMo/2.0 N906i');
    $scraper->get($login_url);
    $scraper->worker->submit_form(form_number => 1, fields => { account => 'hoge', password => 'hage' });
    my $citem = { 'a' => sub {
                      my ( $self, $item ) = @_;
                      unless ($self->response->is_success) {
                          warn sprintf("%s %s", $self->url, $self->status_line);
                      }
                      my $url = URI->new($item->{href});
                      if ("URI::http" eq ref $url or "URI::https" eq ref $url) {
                          $self->queue->add($url->as_string);
                      }
                  }
                };
    my $start = $scraper->url;
    $start =~ s|\?|/?|;
    $scraper->crawl($start, '*' => $citem );

携帯サイトを叩きたかったので。いろいろなんか気持ち悪いけど、目的は果たせたようです。

delegate9.9.8-pre20 で、

delegated -Fauth -a hoge:hogepass -localhost 180
とかやっても、最後の expire がまったく反映されないので、しょうがなくソースみたら、 src/access.c で、0 固定になってた。なぜだろう。

値渡しても使われないようだ。まだ未実装なのか。


このページのトップヘ

見出し画像
×