robots.txt概念 如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？ 答案是：使用一个叫做robots.txt的文件。 robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪...