robots.txt概念共1篇

robots.txt概念和10条注意事项

robots.txt概念和10条注意事项-柠檬小栈
robots.txt概念 如果我们网站内有某些特殊的文件不让搜索引擎收录,那怎么办? 答案是:使用一个叫做robots.txt的文件。 robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取,哪...
柠檬的头像-柠檬小栈柠檬5个月前
05413