カテゴリ

カテゴリ:perl

カテゴリ:
Scrappy

ってのを使ってみたんだけど、get 後の form がうまくいかね。worker 直呼びしたらうまくいった。なんだこれ。Moose はいっててちょっとよくわからない。:syntax 使えってはなしもあるかも。

    my $scraper = Scrappy->new;
    $scraper->user_agent->name('DoCoMo/2.0 N906i');
    $scraper->get($login_url);
    $scraper->worker->submit_form(form_number => 1, fields => { account => 'hoge', password => 'hage' });
    my $citem = { 'a' => sub {
                      my ( $self, $item ) = @_;
                      unless ($self->response->is_success) {
                          warn sprintf("%s %s", $self->url, $self->status_line);
                      }
                      my $url = URI->new($item->{href});
                      if ("URI::http" eq ref $url or "URI::https" eq ref $url) {
                          $self->queue->add($url->as_string);
                      }
                  }
                };
    my $start = $scraper->url;
    $start =~ s|\?|/?|;
    $scraper->crawl($start, '*' => $citem );

携帯サイトを叩きたかったので。いろいろなんか気持ち悪いけど、目的は果たせたようです。

カテゴリ:
リクエストハンドラを書いたら validate したくなるのが人間。

そこで Dancer::Plugin::ValidationClass .

Validation::Class のラッパーということです。 Validation::Class 使った事無いですが。。。

とりあえず、dancer の設定ファイル、config.yml(?) に

plugins:
  ValidationClass:
    class: Kirigamine::Validator
とか書いとく。で、

use Dancer::Plugin::ValidationClass;
    unless (validate 'param') {
        my $errors = validation->errors;
        debug Dumper $errors;
        set_flash($errors);
        return redirect '/';
    }
validate 構文(?)が使えるようになるので、それにパラメタわたして、Validator クラスでは
package Kirigamine::Validator;
use strict;
use warnings;
use Validation::Class;

field 'param' => {
                   required   => 1,
                   min_length => 1,
                   max_length => 10,
                   regex      => '^\d+$',
                   label      => 'params of any dispatch',
                   error      => 'error: params of any dispatch',
                 };

1;
こんなで。

set_flash ってのは、ただ、メッセージを保持するだけのやっつけ機構。dancer のPODにあったやつ。

Makefile.PL に

    PREREQ_PM => {
                   ...
                   'Dancer::Plugin::ValidationClass' => 0,
     },
書いて push。

こんなで

カテゴリ:
Dancer がらくちんだったので、しばらく勉強する予定。

いわゆるシナトラということで。

epoch を 日付に変換する:

get '/epoch/:param' => sub {
    my $localtime  = DateTime->from_epoch('epoch' => params->{param}, 'time_zone' => 'Asia/Tokyo');
    template 'epoch', { local_time => $localtime,
                        now => DateTime->now('time_zone' => 'Asia/Tokyo'),
                        config => config,
                      };
};

views/epoch.tt を用意して TTっぽく <% local_time %> とかすると表示。

dotcloud に push するときに、Makefile.PL にちゃんと DateTime を必要だと明示する必要があるよう。当然と言えば当然か。
    PREREQ_PM => {
        'Test::More' => 0,
        'YAML'       => 0,
        'Dancer'     => 1.3040,
        'DateTime'   => 0,
        'Plack::Request' => 0,
    },
こんなで

view に渡す方法まだまだありそうだな。トリガーがあるし、共通なのはそこなんでしょうね。
とかとか。

カテゴリ:
まず python を。ところが、うちの centos の python は 2.4 なので、pythonbrew をいれる。--force つきで。

pythonbrew

そして、

dotCloud でPSGI Hello World


おわり。まぁせっかくなので dancer 使ってみっか。

git が入ってないので src から make.

dancer が入ってないのでインスコール

# perlbrew perl-5.12.3
# perl /usr/bin/cpanm dancer

(cpanm は1ついれればいい技があるらしいので、ぐぐってください)

で、 dotcloud の docs . あれ? git いれなくてよかった。ちきしょう。

まるで障壁なし。楽です。

dotcloudで遊んでみた

をみて domain も設定。ふんふん。GAE より楽だ。

カテゴリ:
ヒストグラムインターセクションって極端に色数が少ない1枚と何かを比較したりする際にどうも役に立たない気がするというか。

その関数とはこれ
sub calc_hist_intersection {
    my ($hist1, $hist2) = @_;
    my $total;
    my $ea = each_array( @$hist1, @$hist2 );
    while(my ($his1, $his2) = $ea->()) {
        $total += min($his1, $his2);
    }
    return $total / sum(@$hist1);
}
ですが、いずれにせよ、最終行は、
return $total / min(sum(@$hist1), sum(@$hist2));
じゃないでしょうか?

で、これだとどうもあれだったので
sub calc_hist_intersection {
    my ($hist1, $hist2) = @_;
    my $total;
    my $ea = each_array( @$hist1, @$hist2 );
    while(my ($his1, $his2) = $ea->()) {
        $total += abs($his1 - $his2);
    }
    return 1 - $total / max(sum(@$hist1), sum(@$hist2));
}

こうしてみた。数式とかは書けないので書きません。

カテゴリ:
ちょっくら必要になったので、画像比較を検討して、Image::Seek がどうもあれだったので、

類似画像検索システムを作ろう

様を参考に、というか全部同じで。opencv, c, python を全部 perl で。

速度は、まだ観てません。Imager 便利すぎ。関数名は内容とあってないかも。きにしない。

#!/usr/local/bin/perl

use strict;
use warnings;
use Imager;
use List::Util qw(min sum);
use List::MoreUtils qw/each_array/;

sub calc_hist_intersection {
    my ($hist1, $hist2) = @_;
    my $total;
    my $ea = each_array( @$hist1, @$hist2 );
    while(my ($his1, $his2) = $ea->()) {
        $total += min($his1, $his2);
    }
    return $total / sum(@$hist1);
}

sub equalize_64 {
    my $cc = shift;
    return 32  if ($cc < 64);
    return 96  if ($cc < 128);
    return 160 if ($cc < 196);
    return 224;
}

sub equalize_rgb_64 {
    my ($cr, $cg, $cb) = @_;
    return equalize_64($cr), equalize_64($cg), equalize_64($cb);
}

sub rgb_to_bin_64 {
    my ($red, $green, $blue) = @_;
    return 16 * int($red / 64) + 4 * int($green / 64) + int($blue / 64);
}

sub get_lazyhistgram_64 {
    my $img = shift;

    my $lazy_histgram = [ map { 0 } 0..64 ];

    my $colors = $img->getcolorusagehash;
    my @rgb;
    foreach my $k (keys %{$colors||{}}) {
        @rgb = unpack("C*", $k);
        $lazy_histgram->[rgb_to_bin_64(equalize_rgb_64(@rgb))]++;
    }

    return $lazy_histgram;
}

sub compare_images {
    my ($filename1, $filename2) = @_;

    my $img = Imager->new or die;

    $img->read(file => $filename1) or die $img->errstr;
    my $hist1 = get_lazyhistgram_64($img);

    $img->read(file => $filename2) or die $img->errstr;
    my $hist2 = get_lazyhistgram_64($img);

    return calc_hist_intersection($hist1, $hist2);
}

warn compare_images($ARGV[0], $ARGV[1]);

1;


getcolorusagehash が便利すぎる。

ヒストグラムは、mysql の text カラムにいれとく。どうせ比較しないと近いかどうかわからないので、64カラムのテーブルとかしてもあまりいいことないですよね。きっと。

このページのトップヘ

見出し画像
×