dataにあれば、todataディレクトリから削除 ruby -e 'Dir.glob("todata/*.pdf").each{|t|Dir.glob("data/*.pdf").each{|d|if t.split("/")[1]==d.split("/")[1];puts "rm "+t; File.delete(t) end}}'

さっきできた。3時間ぐらいかかった。 http://twitter.com/ahokai に触発されて作ったいつかどこかでn-gramモデルを作って文章を連結させると自然になると読んだので、やってみた。DBに溜めたpostをmecabで分割する所で文字コード関係でつまづいていたが、色…