発言の収集とmake3gram

基本的にRSSで人力観測してて、新着があったら下記のスクリプトで本文を取ってきてDBに入れてる

ruby -rubygems -e 'require "open-uri";require "feed-normalizer";require "hpricot"; puts Hpricot(FeedNormalizer::FeedNormalizer.parse(open("http://www.ok.kmd.keio.ac.jp/feed/atom/")).entries[0].content).inner_text' > dics/0905_kmd3week.txt
ruby make3gram_fromfile.rb dics/*
mv dics/* dics_stored