<p>robots.txt定义
机器人排除标准，也被称为机器人排除协议或robots.txt的协议，是一项公约，以防止合作网络抓取工具和其他网络机器人的访问全部或部分的网站，否则是公开可见的。
机器人通常用于搜索引擎网站进行分类和归档，或由网络管理员进行校对的源代码。标准不同，但可以在与一起使用的Sitemaps，一个机器人列入标准的网站。
robots.txt历史
为“robots.txt”的发明，是因为Martijn科斯特，当工作 WebCrawler在1994 年。为“robots.txt”，然后推广与AltaVista的来临，和其他流行的搜索引擎，在接下来的几年。
有关robots.txt标准
如果一个网站的所有者希望网络机器人发出指令，他们必须放置一个文本文件名为：robots.txt 的网站层次结构的根。这个文本文件应该包含在一个特定的格式说明（见下面的例子）。
按照指示的机器人，试图获取这个文件，并宣读前从网站上获取的任何其他文件的说明 。如果这个文件不存在