Sitemap

Sitemap可方便管理员通知搜索引擎他们网站上有哪些可供抓取的网页。最简单的Sitepmap形式，就是XML文件，在其中列出网站中的网址以及关于每个网址的其他元数据（上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等），以便搜索引擎可以更加智能地抓取网站。

网络抓取工具通常会通过网站内部和其他网站上的链接查找网页。Sitemap会提供此数据以便允许支持Sitemap的抓取工具抓取Sitemap提供的所有网址，并了解使用相关元数据的网址。使用Sitemap协议并不能保证网页会包含在搜索引擎中，但可向网络抓取工具提供一些提示以便它们更有效地抓取网站。Sitemap 0.90是依据创意公用授权-相同方式共享 (Attribution-ShareAlike Creative Commons License) 的条款提供的，并被广泛采用，受Google、Yahoo!和Microsoft在内的众多厂商的支持。