nog.jp crawler

nog.jp crawlerとは？

erogmap/ラノベマップ用データ収集用ロボットです。

もともとerogmap crawlerという名前を使っていましたが、2007年6月よりnog.jp crawlerに改称されました。

FAQ.になりそうなもの

nog.jp crawler がサイト全体または一部をクロールしないように設定するには？

robots.txtというファイルをユーザーのサーバーに置くことによって、nog.jp crawlerや他のWebクローラを拒否することができます。http://domain/robots.txt でアクセスできる場所に以下のような内容の robots.txt という名のファイルをおいてください。

User-Agent: nog.jp crawler
Disallow: /

最終行は空行でなければいけません。

また、旧名称erogmap crawlerのDisallowも引き続き有効です。

nog.jp crowler に捕捉されるようにするには？

メール・要望フォーム等でご一報いただければと思います。

現状、日次で各種検索サイトより巡回サイトの追加を行っておりますが、不確実かと思われます。

erogmapのデータとして組み込まれる条件は？

RSSのdescriptionかcontent:encodedのフィールドに

• Amazon(http://www.amazon.co.jp/exec/obidos/ASIN/〜)
• Amazon(http://www.amazon.co.jp/gp/product/〜)
• げっちゅ屋(http://www.getchu.com/soft.phtml?id=〜)
• erogmap(http://em.nog.jp/?detail.php?game=〜)
• ゲームのオフィシャルページ

のURLが含まれている場合(ハイパーリンクでなくても可です)にデータが取り込まれます。

ラノベマップのデータとして組み込まれる条件は？

RSSのdescriptionかcontent:encodedのフィールドに

• Amazon(http://www.amazon.co.jp/exec/obidos/ASIN/〜)
• Amazon(http://www.amazon.co.jp/gp/product/〜)

のURLが含まれている場合(ハイパーリンクでなくても可です)にデータが取り込まれます。

その他

商業サイトに関しては上記のルールで運用していない場合があります。なにか不都合等ありましたら連絡頂ければ幸いです。