MissWrenchBotについて
アクセスログにMissWrenchBotが現れたなら、誰かがこのサイトのツールを使ってあなたのアドレスをチェックしたということです。このクローラーが自分でウェブを巡回することはなく、インデックスも作りません。
リクエストするもの
典型的なチェックでは、ページを一つ読み込み、ときにはそのページが参照するファイル(スタイルシート、スクリプト、画像など)も読み込んで、容量、ヘッダー、キャッシュを計測します。リンク切れ検出ツールは一つのサイト内のリンクをたどります。時間をかけて進み、決まったページ数で止まります。
名乗り方
リクエストには次のユーザーエージェントが付いています。
Mozilla/5.0 (compatible; MissWrenchBot/1.0; +https://misswrench.com/crawler/)
締め出す方法
リンク検出ツールはrobots.txtに従います。除外するには次を追加してください。
User-agent: MissWrenchBot
Disallow: /1ページだけのチェックは、あなたのサイトを見ている人の代わりに行われるもので、ブラウザでの訪問と同じように振る舞います。