J禁P禁サイトでは死活問題にもなる検索エンジン避け対策
「検索避け」(検索よけ) とは、Yahoo! や Google、MSNサーチ や goo などの、いわゆるロボット型検索エンジンの検索結果に自分の運営する同人系の 「ホームページ」 や 掲示板、「ブログ」 などを反映させないよう、様々な対応を行うことです。 一般に、検索エンジンの表示結果に自分のサイトなどを積極的に反映させるテクニックを 「検索エンジン最適化」、SEO (エスイーオー/ セオ/ Search Engine Optimization/ サーチエンジン最適化) などと呼びますが、その逆のことをするので、「逆SEO」 などとも呼びます。
なお 「ロボット型検索エンジン」 とは、ロボット、すなわちウェブサイトの情報をリンクなどを辿って収集するプログラムが自動的に情報を集め、蓄積してゆくタイプの検索エンジンです。 別の方式に登録型検索エンジン、ディレクトリ型検索エンジン (原則として検索エンジンの管理者、もしくはサイト開設者が手動でページ情報を登録してゆくタイプ) と云うのもありますが、現在は2大ポータル、Yahoo!、Google ともに、スピーディで膨大な情報を取得できるロボット型検索エンジンがその主力となっています (どちらもディレクトリサービスを持ってはいますが)。 従って 「検索避け」 の場合の対策は、「ロボット避け」 とほぼ同じといった感じです。
実際の対策の方法は…?
方法、やり方には色々なものがありますが、サイトなどの開設者 (管理人) が行う対策と、閲覧者側が行う対策 (サイト管理人などが利用者にやってくれるようお願いする) の、大きく分けて2つの対策があり、それぞれはさらに、プログラムやスクリプトなどを使って技術的に行う対策と、利用者などの利用方法、使い方に関わる対策の2つに別れます。
また単に検索避けの対策 (検索結果に反映させない) というより、アクセスそのものの制限 (「パスワード請求制」 など) や、あるいはリンクポリシー (リンクを貼る場合のお願い)、利用者に守って欲しい利用上のルール、つまりマナーや規約だったりも、これらの考えに含めてまとめて扱う場合も多いようです。
不必要に無関係の人の目に晒して起こる問題を避ける工夫
これらの 「人目に触れることを前提としたインターネット上にデータを置きながら、できるだけ不特定の人の目に触れるのは避ける」 という意識は、同人、とりわけ女性向けのアダルト、同性愛などを扱う同人サイトや、「芸能同人」、いわゆるナマモノと呼ばれるサイトではおなじみの意識、考え方だったりします。 こうした世界のことを良く知っている人、同じような問題意識や志を持っている人ならば安心して見せることができるけれど、無関係の人に見られるとトラブルになったり大騒ぎになったりするのを避けたいとの意識から、必要に迫られて呼びかけられるようになったものが多く、多くは対処療法、やむを得ないギリギリの選択である場合が少なくありません。
こうしたサイトを作る人、あるいは見る人は、そうした前提が 「過去の様々な不快な出来事」 を経て存在することを意識して、なるべく行動した方が良いと思います。 もちろん無視しても法律で罰せられる訳でもなく、単なるマナー、暗黙のお約束、紳士協定みたいなものですが、自分の好きな同人ジャンル、好きな 「サークル」、「作家」、何より自分自身を、おかしな騒動に巻き込まれるリスクから遠ざけるよう注意深く行動するのは、ネットの世界ではとても大切なことです。
具体的な検索避け対策、その方法は…?
結論から云ってしまうと、ネット上にデータとしてアップロードしている以上、完全な検索避けは不可能です。 絶対に人に見られたくないものは、絶対にネットに上げるなってのは、最終的な回答だったりします。 また最近ではSNS (ソーシャルネットワークシステム) も普及し、例えば mixi などに管理者権限で参加者を制限できるコミュニティを作ったり、あるいはレンタルSNSで自分だけのSNSを作ることも簡単な時代になりました。
検索エンジン避け対策とアクセス制限は似て非なるものですが、最終的にはどちらも目的はほぼ同じ、切っても切れない似た者同士です。 万全を期すなら、通常のウェブサイト (ホームページ) やブログ、掲示板などを使わず、SNSなどを積極的に利用するようにしましょう。 細かく検索避け対策をするより、ずっと楽でしかもかなり有効です。
なお既存のウェブサイトを既に持っていて、これを捨てるのは難しい…なんて事情がある場合は、以下に具体的な対策方法をまとめてありますので、参考になさってみてください。 システム上完全に制限するのは不可能ですが、やらないよりはかなりマシ、な対策も結構あります。
robots.txt や、METAタグ によるアクセス制限
例えば独自ドメインを使い、レンタルサーバなどで好きなディレクトリ (フォルダ) に好きなファイルを置ける場合には、
user-agent: *
disallow: /
といった内容を記述したテキストファイル (メモ帳やテキストエディタで作成) を、最上位のディレクトリに robots.txt という名前で保存しておけばOKです。
プロバイダなどのホームページサービスやブログなどでそれが無理な場合は、各ページファイル (HTML ファイル) の中の冒頭付近、<HEAD> と </HEAD> の間に、「METAタグ」 として次のような文字列を記述します。
<META name="robots" content="noindex">
(このページのインデックス化を禁止)
<META name="robots" content="nofollow">
(このページのリンクをたどることを禁止)
<META name="robots" content="noarchive">
(このページの情報をキャッシュすることの禁止)
全部まとめると、
<META name="robots" content="noindex,nofollow,noarchive">
になります。
ちなみにこれらの検索避けは w3c 勧告による正当性のあるものですが、完全ではありません。 検索エンジンによっては対応していない場合もありますし、以前は対応していたのに、何かの拍子に非対応になる場合もあります。 気休め程度…と云ってしまったらあれですが、やらないよりはマシ、程度の認識で過信しないことが大切です。
ただしこれらのタグを入れてないのを同じジャンルのサイト管理人や同人関係者に見られると、「危機感がない」「対策をしないとはけしからん」「こういうサイトがあると迷惑」 なんて判断をされる場合もあるので、効果があろうがなかろうが、とりあえず 「入れておくのがマナー」「常識」 のような感じになってますが…。
また上記2つの方法、下記の対策もそうですが、そのうちのどれか1つだけではなく、いくつかの方法を併用するのも常識になっているようです。
.htaccess で特定ドメイン や IP を弾く対策
「.htaccess」 とは、Apach サーバ上に設置することで利用ユーザの制限や許可、拒否、各種設定が行えるテキストベースの設定ファイルです。 メモ帳などで簡単に作れますし、記述方法も解説サイトがたくさんあってそれほど難しくありませんが、利用しているウェブサーバ (レンタルサーバやホームページスペース) が、.htaccess の設置を許可している場合に限ります。
実際の記述は、次のようになります。
order allow,deny
allow from all
deny from .(ここにドメインや IP を記入)
最後の 「deny from .」 は、改行していくつでも指定できます。 例えば abdcefg.com からのアクセスを弾く場合は、
deny from .abdcefg.com
となり、abdcefg.com と 1234567.com を弾く場合は、
deny from .abdcefg.com
deny from .1234567.com
と、2行に分けて指定できます。
IP ではじく場合、例えば 100.100.100.100 を弾くなら、
deny from 100.100.100.100
となります。 末尾を省略することもできます。 省略すると、前方で一致したものすべてが弾く対象になります。 例えば、
deny from 100.100.
とすると、「100.100.0.0」〜「100.100.255.255」 全てが排除対象になります。
検索エンジンのアクセス拒否の場合、検索エンジンのドメインや IP を弾くような記述にして、自分のウェブサイトの最上位ディレクトリに設置します。 ただし多くの検索エンジンがプロバイダ業務などを兼ねていて、検索エンジンによるアクセス要求と、そのプロバイダを利用している一般ユーザのアクセス要求とが、同じドメインになっていて区別が困難な場合も少なくありません。 その場合は可能な限り、検索エンジンのドメインや IP を細かく具体的に記述する必要がありますが、数が多く、また検索エンジンによってドメインの使い方も様々で、実はあまり決定打となるような記述方法がありません。
実際にやるとなると、弾くべきドメインや IP のリスト作りで挫折しかねない面倒くささです。 ただし、掲示板などにスパムの自動書き込みなどをされる場合には、それが特定のアドレス、IP (海外からだったり、日本などで余り一般的でないプロバイダなどの場合) だった場合は、まとめて排除することもできて便利です。
セキュリティソフトのインストールなど、ウェブサーバの設定で特定ドメイン や IP を弾く対策
スパム避けやセキュリティ対策によく使われる IP filter や iptables をサーバにインストールしてアクセス要求を弾く方法で、かなり抜本的に検索エンジン避けができるものの、自宅でウェブサーバを立ててサイトを運営しているような状態の人でないと難しい方法です。 また徹底した対策がかなり困難な点は、「.htaccess」 利用とあまり変わりません。
頻繁に URL 変更 (ディレクトリやページファイルのリネーム) などを行う
定期的にサイトの URL を変えるのは、サイト開設者、閲覧者ともにかなり面倒なものですが、一時期はかなり見かけた方法でした。 仮に検索エンジンにサイトデータを拾われても、アクセスしたらそのページはその場所に存在しないので、内容を外部に漏らさずに済みます。 現在の検索エンジンの多くがキャッシュ表示機能を持っているので、そうした検索サイトに対しては無力になります。 ただし検索避けの META タグやキーワードに注意を払うなど他のワザと複合すると、セキュリティもかなり上がります。
実際にこの方法をやっているサイトなどでは、サイト管理者が利用者、巡回者を完全に把握し、それらへ 「変更した新しい URL を個別にメールなどで通知する」 というような運営パターンを取っています。 例えば1ヶ月ごとに新しい URL を通知して変更を繰り返したりするわけですね。 仮に無関係な人が紛れ込んでいたとしても、こうした定期的な 「ふるい」「フィルタリング」 にかけて落とすことができますし、利用者にも定期的なメールで注意喚起ができるなど、それなりのメリットもあります。
キーワード、文字列配慮による対策
検索エンジンのインデックスや検索結果の表示を得るためのアクションには、「キーワード」、すなわち特定の文字列が密接に関連しています。 例えば 「鈴木一郎」 というタレントのサイトをやっているとして、サイト上に 「鈴木一郎」 とか、「すずきいちろう」、「ichiro SUZUKI」 などの文字列が一切含まれていなければ、原則としてそのキーワードでのインデックスは比較的されにくくなります (実際は、関連キーワードに基づくインデックス化もあるので、完全ではありません/ 後述)。
従って、例えばあまり使われていない 「すずいち」 とか 「いっちー」 とかのような愛称とかニックネーム、あるいは 「素図気 位置楼」 のような誤変換、当て字、「す○き いち○う」 のような伏字にすると、検索避けにかなりの効果があります。
ただしタレント名などを伏字にしても、そのタレントの活動内容 (例えば出演したドラマ名や共演者の名前、発売した楽曲のタイトル、コンサートの名称などなど) がそのままでは、結局それらが符合 (キーワードマッチ) して検索結果に出てくるケースもありますし、特定伏字と特定名称との組み合わせがネット上にいくつかある場合、検索サイトの検索システムがそれらを学習し、「その文字列が一切含まれていない」 場合でも、他のサイトの内容からの学習内容などを反映して、ひょっこり出てくる場合もあります。
それではと、そのタレントに関わる全ての固有名詞の文字列を当て字や伏字にしたり、あるいはぼかして書くなどで対応することにするとなると、これはかなり大変です。 さらに掲示板やコメント欄などがあると、サイト利用者がうっかり伏字にせずに書き込んでしまうかも知れません。 その都度 「伏字にしてください!」 と注意したり、書き込みルールとして設定するのも良いですが、これも実際にやるとなるとかなり大変でしょう。
まったくやらないよりは、多少意識した方が良いとは思いますが、これもやらないよりはマシ、程度の対策かなと思います。
リンク設定、アクセス解析関連への対策
検索エンジンのロボットは、リンクを辿って新しいページの読み込みと、情報の整理やインデックス化を行います。 従って、外部からのリンクを一切貼っていないページで、しかもトップページに index.html などのブラウザや検索サイトのロボットが自動読み込みするファイル名も使わずにサイトを構築して、「その URL を予め知らないとアクセス不能」 な状態でサイトを運営する場合があります (ページ全体、あるいは一部のページのみ隠しページとする場合、2つの方法があります)。 その場合は、「URL 請求制」 サイト などと呼んだりします。
このやり方ならば、原則として無関係のユーザーや検索エンジンのロボットが入ってこれず、検索エンジンのデータベースにそのページを記録することはできなくなります。 自分のホームページスペース (サーバのディレクトリ) の中に適当な名前の HTML ファイルを置いて、見せたい人、許可を与えた人にだけその URL を教えれば、完全に外部を遮断することができます。
ただしこれにはいくつかの盲点があり、それぞれの盲点に対する対策があります。
ツールバーなどによる、閲覧ページ情報の外部配信
一部のツールバー (ブラウザに検索窓や機能を付加するためのプラグインツール) には、利用者がどのサイトを見ているかを外部に配信するタイプのものがあります。 ツールバーを配布している企業などが、ユーザがどんなサイトを見ているかの傾向を調査するためにこうした情報を利用しているのですね。 たいていのツールバーには、情報の外部配信を拒否するオプションがあるので、これを忘れずに選ぶよう、サイト開設者だけでなく、利用者にも告知する必要があります。
アクセス解析を避けるための対策
アクセス解析とは、サイト開設者が自分のサイトに接続してきたユーザの数や内容を調べるためのもので、サイトのデータを置いてあるサーバのアクセスログを解析することで様々な情報が得られます。 ユーザの情報そのものは、IP (利用しているプロバイダなどのアクセスしたポイントの情報) やブラウザの種類、OS の種類が分かる程度なのでたいした情報ではありませんが、問題は、「このページへ、どこのリンクから飛んできたか」「このページの前にどのページを見ていたか」「このページの次にどこのページに行ったか」 などの情報が分かってしまう点でしょうか。
一部のサイトでは、こうした 「どのページからこのページに飛んできたか」 を 「逆アクセスランキング」 のような形で公表している場合もあり、その場合は予期せぬ形で URL が外部に出てしまうケースがあります。
また検索エンジン避けとは直接関係がありませんが、例えばあるタレントの同人サイトをやっていたとして、その利用者がそのタレントの公式サイトを見た後にその同人サイトにアクセスしたら、公式サイトの管理者のアクセス解析によっては、公式サイトに同人サイトの URL が知られてしまうケースもあります。 そのタレントさんの所属事務所が、同人サイトの存在を快く思っていなかったりすると、これが発端でトラブルが起こる可能性もあります。
対応としては、お気に入り (ブックマーク) などを使ってサイトにアクセスするにしても、一旦無関係なサイト (例えば自分の外部向けページや、Yahoo! のトップページなど) を間に挟みワンクッション置いて接続するとか、公式サイトや逆アクセスを公表しているサイトと別窓であっても検索避けしているサイトと同時に開かないとかの対応が必要になります。 ただし指が滑ってマウスを誤操作して開いてしまったりは人間ですから避けられませんし、それを自分だけでなく利用者全てに徹底するのも大変です。
ソーシャルブックマークへの対応
2000年代になって、「はてなブックマーク」(はてブ) や 「Yahooブックマーク」、「Googleブックマーク」、「ニフティクリップ」 など、オンライン上にブックマークをするソーシャル系ブクマが人気です。 これに登録されると検索エンジンが必ずやってきますので、自分は元より、利用者にも自分のサイトを登録したりしないよう、お願いする必要があります。 万が一登録されてしまったら、登録ユーザに削除をお願いするか、運営元にデリートをお願いするしかありません。
万が一、検索結果に拾われてしまったら…
自分のサイトが検索結果に反映しているかどうかは、自分のサイトの URL で検索してみたらわかります。 またオプションで、「site:www.○○.com」 といった感じで、URL の頭にオプション記号 「site:」 をつけることで、その URL 内のインデックスされた一覧を表示させることができるので、それで細かくチェックすることもできます。
万が一、拾われては困るページが検索結果に反映している場合は、検索エンジンを運営している企業に、検索結果の削除を依頼することもできます。 それぞれの検索サイトのメニューに通報や削除要請といったリンクがあるはずですので、自分のサイトで見られてはまずいと考えているページがインデックスされていたら、そこから依頼するのもひとつの手です。
結局、パスワードで守るのが確実な検索よけなんでしょうね
このページの上の方で書いている通り、完全に検索エンジンを避けるのはかなり難しいのが現実です。 それでもネット上にデータをアップロードする必要がある場合は、やはりパスワードによるアクセス制限がある程度確実な方法だと思います。 仮に検索エンジンに一部のページが反映されてしまったとしても、それを見ようとするものがパスワードを持っていなければ見られることはないのですから、技術的に不特定多数にデータを見られたくないのなら、これがもっとも確実に近い方法だと思います。
膨大な数の検索よけのルールを利用者にお願い、あるいは 「強制」 して、そのあまりの数に利用者が 「逆ギレ」 して悪意を持たれたら、どんな制限をしても無意味になってしまいます。 「パスワード制」(パスワード請求制) にも運用上の難しさはあるのですが、新しい技術やサービスなどを色々試してみる柔軟性も大切かと思います。 また利用者の側も、「いろいろ制限があってウザイ」 と思う前に、サイト開設者の悩みや不安に思いをはせる配慮は持ちたいものです。
サイト開設者、利用者が争っても、誰も喜びませんし、良いこともないのですから…。
関連する同人用語 をチェック
○ 検索エンジンリンク集

