クローキング

ユーザと検索エンジンとで異なるコンテンツやURLを表示すること。

例えば、ユーザがアクセスしてきたときは Flash で作成したビジュアル的に綺麗なウェブページを見せる一方、検索エンジンのクローラがアクセスしてきた時にはHTML構造がシンプルなテキストのみを表示し、検索エンジンに最適化されたウェブページを見せる偽装行為が該当する。

User-AgentやIPアドレスに基づいて異なるコンテンツを表示するサイトは、それを行うための合理的理由がない限り、偽装の意図があるとみなされ、検索エンジンからペナルティを受ける可能性がある。

合理的な理由とは、たとえば世界各国別のサイトを開設する会社が、訪問者のIPアドレスを参照して該当する言語・国のサイトにリダイレクトしたり、アクセス元地域に応じて一部のコンテンツを入れ替えること等が挙げられる。こうしたケースでは、クローラも一人の訪問者として取り扱い、該当クローラと同条件のユーザが閲覧するコンテンツと同じものが表示されるように設定しておくことが求められる。