Scrapingしてほしいもの募集

ブログ | 2008/3/6 22:41

さくらのレンタルサーバにWeb::Scraperを入れたので何か考える。

とりあえずカープの故障者リストでもだすようにするか。

タグ »

リンク元

« 豚鍋研究室に行きたい人を

ページ中の文章を選択して色変更してアンカーをうつやつ »

まず、Scraperが何かを知る必要があります。
くず鉄とカープに何か関係があるのでしょうか。

kuwa | 2008/03/07 00:47

スクラップとスクレイプを掛けた駄洒落ですか。そうですか。
htmlを解析してデータを取ってくるって例のあれです。
http://dictionary.goo.ne.jp/search/%...

imbe | 2008/03/07 11:05

座礁船をお願いします。
あと、福井の漁村一覧もお願いします。

kuwa | 2008/03/07 13:14

やってみせますとも。
では座礁船一覧のページの用意をお願いします。
漁村一覧のページもご用意ください

imbe | 2008/03/07 17:17

ページを用意する前に、スクレイプがどういうものなのか知る必要があります。

kuwa | 2008/03/07 19:55

htmlをさくっとパースして欲しいデータだけもらいますよって話です。

imbe | 2008/03/07 21:40

さすが、説明うまいね。完全に理解しました。
で、どうやって対象ページを拾うの？
Googleとかの検索結果から該当ページをガガガーっとパースするのかな。

まあいいや、ページはすごいおしゃれなのつくるよ。

できた。
http://www.rottel.net/kuwa/5841

kuwa | 編集回数: 1 | 2008/03/07 23:21

実用的にコメンツしますが
携帯の会員サイトからある情報を取得、とかにチャレンジして欲しい。

dera | 2008/03/08 03:19

伝えるのって難しいですねぇ

たとえば
http://www.carp.co.jp/sensyu/index.h...
こういうページからがすっと選手の名前と背番号を取ってきたりするってことですよ。

deraさん＞
普通の携帯会員サイトはGWのIPで制限掛けててサーバからじゃはいれないことが多いんですよねぇ。UA偽装で済む話なら楽でいいんですが。

imbe | 編集回数: 2 | 2008/03/10 10:09

僕もヘッダーいじって、固体番号送ってみたりしたけどだめでした。

dera | 2008/03/10 11:40

そのページだけだったら、取ってきてもなあ。

kuwa | 2008/03/10 13:01

定期更新されてるけどRSSが配信されてないページとかを取りにいくとか。
それだけでは意味ないのでどう表示するかは考えないといけないんですけどね。

のでカープの故障者リストのページとかをさくっとパースしてRSS形式にしてRSSリーダーで読んだりしたいわけなんですよ。

imbe | 2008/03/10 13:43

なるほど。
となると、座礁船のページはデータ込みで必要になるのね。
なら、Googleアラートでいいか。

kuwa | 2008/03/10 16:02

座礁したら船が見つかったら知らせて欲しいとかだとするとそうですね。
座礁船一覧ていうのがあってそれを定期的に見て更新してパースして自分のDBに登録とかするんじゃなければ必要ないですね

imbe | 2008/03/10 16:57

子供電話相談室

Scrapingしてほしいもの募集

リンク元

プロフィール

検索

タグ

コメント

ツイッカー

Rottel内コンテンツ