使い方
サイトのURLを入力し、必要に応じて除外パスを設定して「一覧を抽出する」を押してください。
各ページのHTMLのタイトル(titleタグ)を左、URLを右のテーブルで表示します。
「まとめてコピー」では「タイトル:URL」の形で資料やメモに貼り付けられます。
途中で停止しても、取得済みの結果をコピーできます。
投稿記事を除外するには
「投稿記事を推定して除外する」では、WordPressの投稿用サイトマップ、/news/・/blog/・/posts/・/articles/ などのパス、構造化データ等の記事情報を使います。
固定ページが除外されたり、投稿が残ったりすることがあります。
サイト独自の投稿スラッグには「除外するパス」をお使いください。
除外するのは配下の記事ページです。
/news/・/blog/ などの一覧TOPと、除外パスに指定したURL自体は、パス除外・投稿の推定除外のどちらでも残します。
例:/news/ を指定した場合、/news/ は残し、/news/example/ は除外します。
一覧TOPでも、robots.txtによる制限や接続エラーがある場合は取得できません。
取得の範囲と制限
対象は同じホスト名の公開ページです。
別のサブドメイン・ログインが必要なページ・PDF等は対象外です。
サイトマップに載っていないページや、JavaScriptで後から作られるリンク・タイトルは取得できない場合があります。
サイトマップがない場合のリンク巡回では、検索・絞り込み用のクエリー付きリンクはたどりません。
最大200ページ、サイトマップは最大10ファイルを確認します。
サイトの規模や応答速度によって数分かかります。
robots.txtの取得制限を確認し、短時間の大量取得を制限しています。
ご自身のサイトや、調査する許可のあるサイトでお使いください。
データの扱い
入力したURLを当サイトのサーバーへ送り、対象サイトへアクセスして情報を取得します。
取得先には当サイトのサーバーからのアクセスが記録されます。
URLと取得結果は処理用セッションで一時的に扱い、データベースには保存しません。
非公開URLや個人情報を含むURLは入力しないでください。