Crawler
クローラ AirsoftNewsCollector について
Japan Airsoft News は、エアソフト関連の公開情報を見つけやすく整理するために、独自のクローラでウェブページを取得しています。このページは、サイト運営者の方がクローラの動作を確認し、必要であれば取得の停止を依頼するためのものです。
Identity
User-Agent
アクセスログには次の User-Agent が記録されます。
AirsoftNewsCollector/1.0 (+https://japan-asn.com/bot.html)
robots.txt でこのクローラを指定する場合のプロダクトトークンは AirsoftNewsCollector です。
Purpose
何のために取得しているか
エアソフト関連の新商品や新着情報を見つけ、出典元へのリンクつきで紹介するためです。価格比較サービスや、商品データベースの販売は行っていません。
取得したページの本文をそのまま転載することはしません。掲載するのは、商品名、メーカー名、価格、公開日といった事実と、出典元へのリンクです。紹介文は掲載時に生成します。
Behavior
取得のしかた
- robots.txt に従います。 取得前に robots.txt を確認し、禁止されているパスは取得しません。robots.txt の取得に失敗した場合や、403 などでアクセスを拒否された場合は、そのサイトの取得を見送ります。robots.txt の内容は最大6時間キャッシュします。
- リダイレクトされた場合は、着地したURLで robots.txt を確認し直します。 転送先が禁止されているパスだった場合、取得した内容は使わずに破棄します。
- 商品ページの探索では、同一サイトへのページ取得を 1.5 秒以上あけます。 また、1回の探索あたりのページ数(既定30ページ)と所要時間(90秒)に上限を設けています。サイト全体をくまなく辿ることはしません。
- 同じサイトの収集元が続けて処理される場合は、8 秒以上あけます。(この値は運用側の設定で変更できます)
- 1ページあたりの待ち時間は最大15秒、取得サイズは最大5MBです。 これを超えた場合は取得を中止します。
- ログインが必要なページ、CAPTCHA、Bot 対策を回避することはしません。
- 会員情報や個人情報の収集は行いません。
- 取得先は主に商品一覧ページと商品ページです。カート、決済、検索結果は対象にしていません。
- 年齢確認ページを挟むサイトについては、そのサイトを収集対象として登録した運用者が個別に設定した場合にかぎり、年齢確認の同意操作を行うことがあります。既定では行いません。
なお、上記のページ間隔は商品ページの探索に適用されるものです。フィールド情報の収集など他の用途では、取得するページ数がごく少数のため、同じ間隔制御は入っていません。
Opt out
取得を停止してほしい場合
次のいずれの方法でも停止できます。
1. robots.txt で指定する
サイトの robots.txt に次を追加してください。次回の確認時(最大6時間以内)に反映されます。
User-agent: AirsoftNewsCollectorDisallow: /
一部のパスだけを対象外にすることもできます。
2. 直接連絡する
掲載済みの内容の削除や訂正を含めて、掲載ポリシーに記載の窓口からご連絡ください。robots.txt の反映を待たずに、対象サイトの収集を停止します。
ご連絡の際に対象のドメインをお知らせいただければ、掲載済みの記事についても確認して対応します。
Updated
更新履歴
- 2026-08-02: このページを公開しました。User-Agent の連絡先をこのページに変更しました。