http:// 也能识别 · # 开头的行当注释 · Ctrl + Enter 直接开始
0 个
手里有一堆页面想让搜索引擎尽快收录,但整站抓一遍太慢、CMS 插件又未必能装——把入口页面地址贴进来,工具只读你给的这几页,把页面上的链接整理成 sitemap。一次最多 5 个页面、每个页面只请求一次,不递归、不顺着链接往下爬,几秒就出结果。
默认只留本站链接,自动去重、去掉 # 锚点、把中文和空格按规范转成 %XX,输出的是可以直接上传到站点根目录的 sitemap.xml(也能切成 sitemap.txt 或给人看的 sitemap.html)。
| 场景 | 要解决的事 | 建议设置 |
|---|---|---|
| 新站刚上线 | 没有插件可用,只想尽快有一份 sitemap 提交到搜索资源平台 | 不勾「含外链」· XML |
| 老站 sitemap 太久 | 页面结构变了,旧文件里的链接早就失效 | 贴首页 + 栏目页 · 不勾「含外链」 |
| 专题页单独提交 | 只想提交某个专题下的页面,不想把整站塞进去 | 贴专题入口页 · 不勾「含外链」 |
| 链接带一堆参数 | 翻页、筛选、utm_source 让同一个页面出现很多次 | 打开「去掉 ? 参数」 |
| 站群互推 | 需要把友情链接、合作站的外链也列出来 | 勾上「含外链」 |
| 做站点底部导航 | 想要一个给访客看的页面,而不是给爬虫读的 XML | 格式切 HTML |
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/</loc>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://example.com/about</loc>
</url>
</urlset>
频率和优先级选了「不写」时,对应的标签不会出现——只有 <loc> 的 sitemap 最干净。生成的网址一律是完整地址(带 https://),顺序与它们在页面里出现的先后一致。
整站爬取要反复请求目标站点,既慢又会给对方服务器添压力,旧版就是因此被拿掉的。现在只读你给的页面(最多 5 个),每个地址请求一次,几秒出结果。代价是深层的、首页没有直接链接的页面不会被自动发现——需要的话把栏目页、专题页的地址一起贴进来,最多 5 个。
按主机名比:与页面同一主机名算内链,www. 前缀视作同一个站(x.com 与 www.x.com 都算)。子域(blog.x.com)算另一个主机,选「仅本站」时不收录,需要就打开「含外链」。
Google 早就明确说这两项不参考,Bing 与部分国产爬虫仍会看。所以默认「不写」最省事;确实想标注更新节奏就选个频率,别把所有页面都填 1.0——全都一样等于没有优先级。
这个工具只读页面、不知道内容真实的改动时间。乱填「今天」会让爬虫以为所有页面天天更新,反而降低信任。需要精确的 lastmod,得由 CMS 在生成页面时输出。
去掉网址里 ? 之后的部分再去重,例如 /list?page=2&utm_source=x 变成 /list。适合站点用参数做翻页/筛选、导致同一页面重复出现的情况;如果翻页页本身要收录,就别打开它。
能。输出是 UTF-8 编码、符合 sitemaps.org 0.9 协议的 urlset,& 等特殊字符已转义,中文网址已转成 %XX。单个文件上限是 50 000 条 / 50 MB,这个工具一次最多 3000 条,远未触顶。
上传到站点根目录,让 https://你的域名/sitemap.xml 能直接打开;然后在 robots.txt 里加一行 Sitemap: https://你的域名/sitemap.xml,再到 Google Search Console(或百度搜索资源平台的「链接提交 → sitemap」)填这个地址即可。
常见几种:地址需要登录才能看、站点开了防爬(返回 403)、页面超过 1.5 MB、或者站点只允许国内/海外其中一边访问。状态行会写出具体原因,把那个页面单独再试一次就能确认。
会——工具只看链接,不判断页面是否 noindex、是否是登录页或搜索结果页。生成后建议在结果框里过一遍,把这类链接删掉再上传;量大的话更适合用能读 robots 与 noindex 的桌面爬虫。
不会。地址只用于本次请求,服务端不落库;每个 IP 每分钟最多发起 6 次解析,防止被程序刷着用。
用手机相机扫描二维码,即可继续使用该工具
遇到问题或有好建议?告诉我们。