bot管理 daemon化

http://d.hatena.ne.jp/shokai/20081224/1230151944
のクローラが、cronで回してたら処理が長すぎてどうもタイムアウト?するみたいなので、daemon化した。タイムアウトなんてあんのかな。数十分かかってたんだえkど



webrickで楽々。


ahokai-bots.rb

#!/usr/bin/env ruby
require 'webrick'

path = "/home/sho/bots"
#path = File.dirname(__FILE__)

WEBrick::Daemon.start {
  loop {

    bots = Array.new
    Dir.entries(path).each{|e| 
      bots.push(e) if File::ftype("#{path}/#{e}") == "directory" && !(e =~ /\.+/)
    }
    
    bots.each{|name|
#      `/usr/local/bin/gtalk-send "path=#{path} name=#{name}"`
      `/usr/bin/ruby #{path}/#{name}/refollow.rb`
      `/usr/bin/ruby #{path}/#{name}/refav.rb 2`
      `/usr/bin/ruby #{path}/#{name}/store.rb 3`
      `/usr/bin/ruby #{path}/#{name}/make3gram.rb`
      sleep 60
    }

  }
}

動いている

% ps aux | grep ahokai
sho       2077  0.0  0.2  43184  5608 ?        S    23:26   0:00 ruby ./ahokai-bots.rb