ロボット拒否反対！

まさか、このページを見て対応したとは思いませんが、 某ハンバーガーのウェブサイトは robots.txt を消去したようです。

robots.txt という仕組みをご存知ですか？
これは、検索エンジンなどがページを収集することを抑制するための 仕組みです。
良心的な検索エンジン作成者はこの仕組みを 遵守しています。
もちろん、大手検索エンジンも当然 この仕組みを遵守しているはずです。

ところで、あなたが普段お使いの検索エンジンで「マスターカード」 を検索してみてください。
注：Yahooなどディレクトリ型エンジンは、人手でサイト収集 を行っているのでこの問題には関係しません。
http://www.mastercard.com/jp/が上位に来ましたか？
きて当然だ、と思われるかもしれません。
それでは、次に ここをクリックしてみてください、
この意味するものはなんでしょうか？
このサーバー上にあるコンテンツをひとつたりともロボットが 入手してはいけない。
という意味のことが書かれているのです。

あなたの使っている検索エンジンは規則を守っていないのでしょうか？
たぶん守っていないのです。キーワード「マスターカード」に対して
マスターカード社の公式ページを出さないわけにはいきません。
有名サイトのrobots.txt はあえて無視しているのかもしれません。

一方、robots.txt を無視して登録されている マスターカード社は、検索エンジンに対して抗議しないのでしょうか？
たぶんしないでしょう。
個人の秘密ページならともかく、商業用サイトが検索エンジン で上位にランクされることは
喜ばしいことにきまっているからです。

では、商業用有名サイトは、なぜわざわざrobots.txt を利用して ロボット拒否を行っているのでしょうか？
理由は二つほど考えられます。

１．サーバー管理者の無知：
サーバー管理者は常に異常なアクセスに関して神経を払っています。
このこと自体は決して愚かなことではありません。
しかし、robots.txt の仕組みはあくまで紳士協定であり、
OSやネットの仕組みとしてアクセスを禁止できるわけではありません。
ウイルスや違法進入をrobots.txt で防ぐことはできないのです。

２．有力検索エンジン優遇：
これは、有力な検索エンジンには登録してもらってかまわないが、
新たな検索エンジンができてもそれには協力したくない、
今せっかく有力エンジンに上位で登録されているので、
このままであってほしい、などの願望のあらわれかもしれません。
この気持ちもわからないわけではありません。
しかし、これはネット技術自体の進歩の否定です。

前にも述べたように、良心的検索エンジンはrobots.txtを守ります。
すると、有名サイトの検索順位により検索エンジンを評価した場合、
良心的な検索エンジンほど低い評価になってしまうのです。
これに対抗するには、有名サイトにrobots.txt を書き直してもらうしか ありません。
このページでは、有名でありながら検索エンジンを拒否するサイトを（嘲笑的に）さらけだすことにより、
robots.txt の利用を抑制し、 よりよい検索エンジンの 開発やネット技術の進展に貢献するつもりです。

お願いです、robots.txt を削除してください。


マスターカード(http://www.mastercard.com/jp/)

コミケマーケット(http://www.comiket.co.jp/)








別働隊トップへ













マスター、ＭＡＳＴＥＲ、カード、ＣＡＲＤ コミケ