検索日記

今度FOAF Walkerに含める予定のHTMLパーサーがようやく完成したが、パフォーマンスが思うようにでない。

試しにYahoo! Japanのトップページを食わせてみたところ、最後まで解釈するのに30秒〜40秒くらいかかってしまっていた。FOAF Walkerはポンポンblogが出てくるところがウリなので、1クリックする度に30秒待たせることなると非常に退屈なツールになってしまう。スローモーションで前回blogが出たところをもう一度、くらいやらないと間が持たなそうだ。

しょうがないので、ちょっとずつ処理を効率化していったところ、あるところで急に100倍くらい速くなった。HTTPで1バイトずつとってきたところを一度最後までメモリ内に丸ごとダウンロードしてから処理するようにしたのだ。普通1バイトずつとってくる、といってもライブラリの中ではバッファリングされているために余り変わらないものだと予想していたが、.NET Frameworkはそうではなかった。

というわけで、そろそろ次のバージョンを出す目処がついたかなー、というところである。