2008-12-01から1ヶ月間の記事一覧

Fav on LDRにtwitter検索(yats)を対応させる

GM

Fav on LDRにドメイン名を追加するとLDRでe押してfavoriteできる http://hoge.sub.jp/blog/archives/2008/09/favon_ldr_updat.html //domain_name to id_regex function get_id_regex(domain){ if(domain == 'twitter.com' || //twitter and kichikutter dom…

裏twitterタイムライン

id:pcod のtwitter検索が、検索語にワイルドカード対応してくれたので裏twitterタイムラインが見れるようになった http://pcod.no-ip.org/yats/search?query=user%3A*_bot%2Cahokai%2Cdnp+-user%3Atetsuwo_bot%2Cgundam_bot%2Cjoachim_bot%2Cdoushi_bot%2Cme…

pitでパスワード保存

PerlのConfig::PitみたいなのがあったRubyにもあった http://ruby-sapporo.org/events/workshop/9/ sudo gem install pit0.0.6がインストールされた。 使い方も同じ保存 % ruby -rubygems -e 'require "pit"; Pit.set("twitter", :data => {"user"=>"shokai"…

gemぶっ壊れた、直らない

windowsで gem update --systemしてrubygems 1.3.1にアップデートしたら、例によってgemコマンドが効かなくなった。MacやLinuxならgemがぶっ壊れた→直したの方法で治ったんだけど、普通に'C:\Program Files\ruby-1.8\bin\にgemはあるのに呼び出せない。 仕方…

改行を全て削除

ruby -e 'puts open("071105.txt").read.gsub(/[\r\n]/,"")' > out.txt

sayコマンドで日本語を読み上げる

Macのsayコマンドはローマ字しか読めないので、 MeCabで漢字をカタカナにして、カタカナを全角半角,ひらがなカタカナの変換 - ロバの耳でひらがなに変換、さらにromkanでひらがなをローマ字に変換して ようやくsayに読ませると日本語を読み上げれる。 ……発…

opencvのrubyバインディングが入らない

sudo apt-get install libcv1 libcv-dev sudo apt-get install opencv-docsudo gem install opencvで、入らない Building native extensions. This could take a while... ERROR: Error installing opencv: ERROR: Failed to build gem native extension. /u…

bot管理 daemon化

http://d.hatena.ne.jp/shokai/20081224/1230151944 のクローラが、cronで回してたら処理が長すぎてどうもタイムアウト?するみたいなので、daemon化した。タイムアウトなんてあんのかな。数十分かかってたんだえkど webrickで楽々。 ahokai-bots.rb #!/usr…

色々インストール

sudo gem install rails --include-dependencies sudo gem install feed-normalizer sudo apt-get install libxml2-dev sudo apt-get install libxml-ruby sudo apt-get install libxslt-ruby libxslt1-dev libxslt1.1 sudo gem install mechanize sudo gem …

MeCabとRubyバインディングインストール

本体、辞書utf8化 sudo apt-get install mecab libmecab-dev sudo apt-get install mecab-ipadic sudo /usr/lib/mecab/mecab-dict-index -d /usr/share/mecab/dic/ipadic -o /var/lib/mecab/dic/ipadic -f euc-jp -t utf-8 -p sudo /usr/lib/mecab/mecab-dic…

bot管理

ディレクトリ下にahokaiを複数配置 /home/sho/bots% tree -L 1 . |-- dangkang_bot |-- narupeko_bot |-- penguinana_bot |-- post.rb |-- refollow-refav.rb |-- shingoy_bot |-- store-make3gram.rb `-- yusukebe_bot収集用 store-make3gram.rb #!/usr/bin…

mercurialをアップデートしたらhgext/hbisectとかエラーが出る

mercurial1.1.1にアップデートしたら *** failed to import extension hgext/hbisect: No module named hgext/hbisectと出る様になって、特に実害は無いがzshの入力補完と表示域が被って邪魔 hgext/hbisectモジュールが見つからないらしいけどpypiを漁っても…

Nokogiriインストール

www:mechanizeのアップデートに必要だったので sudo apt-get install libxml2-dev sudo apt-get install libxslt1-dev sudo gem install nokogirisudo gem update Updating installed gems Updating httparty When you HTTParty, you must party hard! Succe…

重複ファイルを削除するワンライナー

dataにあれば、todataディレクトリから削除 ruby -e 'Dir.glob("todata/*.pdf").each{|t|Dir.glob("data/*.pdf").each{|d|if t.split("/")[1]==d.split("/")[1];puts "rm "+t; File.delete(t) end}}'

bot ahokaiの作成

さっきできた。3時間ぐらいかかった。 http://twitter.com/ahokai に触発されて作ったいつかどこかでn-gramモデルを作って文章を連結させると自然になると読んだので、やってみた。DBに溜めたpostをmecabで分割する所で文字コード関係でつまづいていたが、色…

bibtex2htmlでレビュー項目を出す

JabRefで編集したbibtexからhtmlへの書き出しフォーマットで、reviewフィールドが出せ無かったので、bibtex2htmlを使ったportからインストール sudo port install bibtex2htmlbibtex2html -note review masterthesis.bibこれで Making HTML document (master…

WWW::Mechanize

wordpressにログインしてみた。便利だ。 #!/usr/bin/env ruby require 'rubygems' require 'kconv' require 'mechanize' require 'pp' user = "username" pass = "password" puts 'start' agent = WWW::Mechanize.new page = agent.get("http://shokai.org/b…

アプリケーション起動パス

C#.NETでは実行ファイルがあるディレクトリパスを System.Windows.Forms.Application.StartupPath で取れるが、コンソールアプリでもこれを使う為だけにSystem.Windows.Formsを読み込まなければならない。monoでのパッケージはこれ sudo apt-get install lib…

inject

injectメソッドの使い方 -Ruby rubyneko - Rubyのinjectをより深く理解したい人に捧ぐ irb >> arr = [1,3,5,7,10] => [1, 3, 5, 7, 10] >> arr.inject{|x,y| x*y } => 1050 >> arr.inject{|x,y| puts "#{x},#{y}"; x*y } 1,3 3,5 15,7 105,10 => 1050 >> arr…

simpleconsoleで1行メモ帳の続き

simpleconsoleで1行メモ帳をたまに機能追加している。練習だ。ある言語で自分用の簡単なツールを作る練習を3回ぐらいやっておくと、そのうち役に立つので。http://www.bitbucket.org/shokai/mem/overview/ 過去の投稿を検索できるようになった mem search -m…

feed-normalizer

sudo gem install feed-normalizerfeed-normalizerはsimple-rssなど色々を使ってatomやrssなんでも共通のデータ構造にしてくれるらしい。OpenFastladderの中で使っていた。 #!/usr/bin/env ruby require 'rubygems' require 'feed-normalizer' require 'open…

gemがぶっ壊れた→直した

fastladderのrake db:migrateが通らないので、gemなどを全部アップデートしていたら sudo gem update --systemした後gemコマンドすると何をやっても /usr/bin/gem:10:Warning: Gem::manage_gems is deprecated and will be removed on or after March 2009. …

fastladderインストール

素直にUbuntuに入れる。 wget http://fastladder.org/downloads/fastladder-0.0.2-src.tar.gz tar -zxvf fastladder-0.0.2-src.tar.gz cd fastladder/sudo apt-get install libfreeimage3sudo gem update sudo gem install rails sudo gem install rfeedfind…

fastladderインストール

あきらめた。hpricotがjruby版を参照している? wget http://fastladder.org/downloads/fastladder-0.0.2-src.tar.gz tar -zxvf fastladder-0.0.2-src.tar.gz cd fastladder/ INSTALL.txtを参考に必要なモジュールをインストールしていく。 rfeedfinder feed…

rubygems, rails, sqlite3インストール

さくらインターネットレンタルサーバースタンダードプランが容量1GB→3GBになったので、RailsとFastladderを入れてみたい さくらに最初から入っているrubyを使う rubygemsはソースからインストールする DBはSQLite3 railsはmongrelで起動できるのかな? 参考…