« 激動のYAHOO・GOOGLE・MSN | 減色図鑑トップ | ヤマトヌマエビ抱卵 切ないねー »

更新情報をピックアップ! PHPでの挑戦

2005年06月26日

つくろうかな・・・と思っていた、登録頂いているサイトの更新情報を
拾うCGI。ゆくゆくはDBを使用した機能を追加していきたいと考えて
いるため、PHPで挑戦してみました。

で、出来上がったのが下のページ。
おーしゃんぶるー登録サイトの更新情報!(BETA)
※色々調整中のため、更新情報は正しくありません。
 あるカテゴリで試験的に25日一日分の更新情報を取ったのですが
 海水魚の通販カテゴリなどいい感じに取れているようです。

これが作ってみて色々問題があることに気が付かず、2時間くらいで
行けるかな、の予想は外れ、2倍くらいかかってしまいました。
しかもPHP実行の負荷が高く、PHPスクリプトをサーバにアップして
使用するのは到底不可能な感じです。

結局、自宅の端末にて情報取得、ページを自動生成したのち
アップロードというなんとも情けない作業を行わなくてはなりません。
これに付け加え、サーバにアップしないのに管理人の認証機能とか
付いてて面倒なことこの上ないです。

また、更新情報の取得もかなり不完全で、不細工・・・とほほですね。

まあ、そのうち改善していくとしますか。。。
本番公開は少なくとも来週末以降でしょう



投稿者 ketumedo : 2005年06月26日 02:16

トラックバック

このエントリーのトラックバックURL:
http://www.newtokyo.net/blog/mt/mt-tb.cgi/92

コメント

実は、私も同じようなものを考えて、作っておりましたので、とても面白い話題で、興味深く読ませていただきました。

私のところの更新登録は、ブログ以外のサイトは手動登録のみなので、サイトの管理人さんも、いちいち更新登録しに来ないとだめですし、自動的に巡回して更新情報を集めるようにできないかなと思って、手動登録に変わるものを作っていました。

メドさんはPHPで作られていたのですね。私はCで作っておりまして、ねこのさかなさがしとは別に用意してある、自前のサーバに乗っける形にしてるんですが、更新情報をうまく取って来れなかったりして、いまだに完成のめどが立たず…と言ったところです(T_T)
数時間で完成とは、すごいですね。

私も早く時間をかけて作り込みをしたいところです。大変ですが、お互いに頑張りましょう。

投稿者 猫丸 : 2005年06月27日 22:14

猫丸さん、こんばんは^^
あれはかなりいい加減な作りでお恥ずかしいです。
もちろん更新を完全に拾うなんて無理で、むしろ更新したときに時々拾われる!?といったお恥ずかしい仕様です。
本当はキャッシュしたページのバイト数もしくは更新日時を拾いたいのですが、知恵が足りません。実は行数で・・・
自動で取得できないのも致命的ですし、フレームページやエントランスページもどうしようかと悩んでいます。

>自動的に巡回して更新情報を集める
ここら辺ができたら最高ですね。私も色々考えてみたのですが、サイトのURLだけを拾うロボットと、キャッシュを行うロボットの2種類は何とかなるとして、問題は品詞分解や自サーバの負荷、キャッシュさせて頂くサイトへの負荷、表示の仕方など問題は山積み。
私には無理と諦め気味です^^;

>自前のサーバに乗っける
羨ましいぃ~~。
家のPC達はポンコツだらけで24時間稼動など不可能です。
今書き込みしている端末も省電力モードになると勝手に落ちてることがありますし(T_T)

>大変ですが、お互いに頑張りましょう。
面白いものを作って皆さんをびっくらさせてあげましょう^^
ではでは~

投稿者 メド : 2005年06月28日 02:06

私も何を持って更新したとするか?という判断がかなり難しくて、その辺りに頭を悩ませているところです。

コンテンツの更新なのか、ちょっとした表示の変更なのかとか、人間が見れば判断できるんですが、自動的に判断させるのは、なかなか難しいですよね。私も結局のところ、変更された文字数などをカウントしているというのが現状です。
この辺りに、もう一工夫欲しいなと、思っているところでした。
RSSみたいなものを全てのサイトで用意してくださると嬉しいんですけどね(笑)

他にも問題山積で、なかなか公開にはこぎつけられないです。でも、こういう悩みがありつつも結構楽しみながらやっています(^^;

投稿者 猫丸 : 2005年06月28日 23:28

>何を持って更新したとするか?
難しすぎます。どんな更新か判断するのは無理っぽいのでざっくりとで良いのでは^^;どこのページが更新されるかもわかりませんし。。。

>RSSみたいなものを全てのサイトで用意してくださると
>嬉しいんですけどね(笑)
笑。サイトにバナー感覚で更新情報送信のCGIを付けてもらうとか・・・でもレンタサーバでは厳しいところもありますし難しいですね。

私も息抜きといったら失礼かもしれませんが、楽しんでやってます。仕事が忙しくなればなるほど変なものを作りたくなる(笑)

投稿者 メド : 2005年06月30日 01:27

コメントしてください




保存しますか?


スパムが多いのでバージョンアップするまでコメントを承認制にします。
WARNING! COMMENT SPAM
I will report on your spam site to Google.