MOONGIFT: » クローラーを作るためのフレームワーク「Anemone」:オープンソースを毎日紹介

MOONGIFT: » クローラーを作るためのフレームワーク「Anemone」:オープンソースを毎日紹介RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。あるURLを指定し、そこからリンクされているURLを一覧表示できるそうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得... varchar opensource, ruby ふむふむ。