Web

サイトURL・タイトル抽出ツール

サイト内のページURLとタイトルを最大200ページまで抽出する無料ツール。
表で確認し「タイトル:URL」で一括コピーできます。
記事パスの除外や投稿推定除外に対応し、news・blogなどの一覧TOPは残します。

https:// の公開サイトが対象です。
サイトマップを優先し、見つからない場合は開始ページからリンクをたどります。

例:/news/ を指定すると、その配下の記事を除外します。
一覧TOPの /news/ 自体は残します。
/newsletter/ は除外しません。

投稿用サイトマップ・記事のパス・ページ内の記事情報から判定します。
/news/・/blog/ などの一覧TOPと、指定した除外パス自体は残します。
完全な判別はできないため、確実に除外したい場合はパスも指定してください。

取得したページはここに表示されます。

抽出結果
抽出したページのタイトルとURL
タイトルURL

抽出結果がここに表示されます。

コピー形式:タイトル:URL(1行に1ページ)

使い方

サイトのURLを入力し、必要に応じて除外パスを設定して「一覧を抽出する」を押してください。
各ページのHTMLのタイトル(titleタグ)を左、URLを右のテーブルで表示します。
「まとめてコピー」では「タイトル:URL」の形で資料やメモに貼り付けられます。
途中で停止しても、取得済みの結果をコピーできます。

投稿記事を除外するには

「投稿記事を推定して除外する」では、WordPressの投稿用サイトマップ、/news/・/blog/・/posts/・/articles/ などのパス、構造化データ等の記事情報を使います。
固定ページが除外されたり、投稿が残ったりすることがあります。
サイト独自の投稿スラッグには「除外するパス」をお使いください。

除外するのは配下の記事ページです。
/news/・/blog/ などの一覧TOPと、除外パスに指定したURL自体は、パス除外・投稿の推定除外のどちらでも残します。
例:/news/ を指定した場合、/news/ は残し、/news/example/ は除外します。
一覧TOPでも、robots.txtによる制限や接続エラーがある場合は取得できません。

取得の範囲と制限

対象は同じホスト名の公開ページです。
別のサブドメイン・ログインが必要なページ・PDF等は対象外です。
サイトマップに載っていないページや、JavaScriptで後から作られるリンク・タイトルは取得できない場合があります。
サイトマップがない場合のリンク巡回では、検索・絞り込み用のクエリー付きリンクはたどりません。

最大200ページ、サイトマップは最大10ファイルを確認します。
サイトの規模や応答速度によって数分かかります。
robots.txtの取得制限を確認し、短時間の大量取得を制限しています。
ご自身のサイトや、調査する許可のあるサイトでお使いください。

データの扱い

入力したURLを当サイトのサーバーへ送り、対象サイトへアクセスして情報を取得します。
取得先には当サイトのサーバーからのアクセスが記録されます。
URLと取得結果は処理用セッションで一時的に扱い、データベースには保存しません。
非公開URLや個人情報を含むURLは入力しないでください。

よくある質問

newsやblogの一覧ページも除外されますか?

一覧TOPは残します。
たとえば /news/ を除外パスに指定すると、/news/ 自体は残し、/news/example/ などの配下を除外します。
投稿推定除外でも同様です。

サイト内のすべてのページを取得できますか?

最大200ページ、サイトマップは最大10ファイルまで確認します。
サイトマップやリンクにないページ、ログインが必要なページ、JavaScriptで後から作られる情報などは取得できない場合があります。

URLはどこへ送信されますか?

入力したURLと除外条件を当サイトのサーバーへ送り、対象サイトへアクセスして取得します。
公開サイトのみが対象です。
非公開情報や個人情報を含むURLは入力しないでください。