OpenG-Bot について｜クローラー（収集ボット）ポリシー

日本公的データラボ（open-g.itlibra.com）は、省庁・自治体・公的機関が公開するデータを収集・編纂して提供するプラットフォームです。本サービスは民間（JIT株式会社）が運営する非公式サービスであり、官公庁とは関係ありません。データ収集に用いるボットの User-Agent は、ドメイン名に由来する OpenG-Bot です。

収集の中心は各機関の公式API・公式データ配布（一括ダウンロード等）です。Webページのスクレイピングは公式手段が無い場合の最終手段に限り、控えめに行います。

User-Agent（識別方法）

OpenG-Bot は、リクエストの User-Agent ヘッダに次の形式の文字列を付与します。ログでの識別・遮断にお使いください。

OpenG-Bot/x.y.z (+https://open-g.itlibra.com/about/bot)

x.y.z はバージョン番号、URL 部分はこのページ（連絡先・収集停止の窓口）を示します。この User-Agent を含まないアクセスは当サービスのボットではありません。

アクセス方針

公式API・公式データ配布がある場合はそれを優先。Webスクレイピングは最終手段とします。
robots.txt と各サイトの利用規約を遵守します。
アクセス間隔は控えめに（既定で 1 リクエスト/秒以下・並列数 1）。サーバ負荷に配慮します。
HTTP 429（Too Many Requests）・503 を受けた場合は、指数バックオフ＋ジッターで間隔を空けて再試行します。
連続して失敗した場合は自動的に収集を停止し、運営者へ通知します。

robots.txt での制御

OpenG-Bot のアクセスを制限・拒否したい場合は、サイトの robots.txt に次のように記述してください（OpenG-Bot は robots.txt に従います）。

# サイト全体で OpenG-Bot を拒否
User-agent: OpenG-Bot
Disallow: /

# 特定ディレクトリのみ拒否する例
User-agent: OpenG-Bot
Disallow: /private/

# クロール間隔（秒）を指定する例
User-agent: OpenG-Bot
Crawl-delay: 10

robots.txt の反映には、当サービスが次に robots.txt を取得するまでの時間差が生じます。即時の停止をご希望の場合は、お問い合わせフォームよりご連絡ください。

収集停止・掲載削除のリクエスト

次のようなご依頼に対応します。可能な限り速やかに対応いたします。

自サイトへの収集アクセスの停止（即時のブロック対応も可能です）。
当サイトに掲載された情報の修正・削除（公開データに基づくものでも、ご事情に応じて対応します）。
利用規約・著作権・データの取り扱いに関するご懸念。

お問い合わせフォームよりご連絡ください。対象のURL または対象データの範囲と、ご依頼内容を添えていただけると、対応がスムーズです。

連絡先

運営者: JIT株式会社（日本公的データラボ／非公式サービス）
対象ボット: OpenG-Bot
お問い合わせ: お問い合わせフォーム

収集の停止依頼・掲載に関するご懸念・技術的な不具合は、お問い合わせフォームよりご連絡ください。

個人情報の取り扱い

個人を特定できる情報（破産・相続・公示送達等）は収集対象から除外し、保存・公開しません。データの取り扱いの詳細は、プライバシーポリシーおよび利用規約をご覧ください。