前言
Robots.txt在w我用emlog的时候是有的，typecho 默认没有，自己写个吧。对SEO还是有点用的 避免蜘蛛爬取收录不必要的页面，下面是我用的robots.txt， 需要的自己复制，放到博客更目录就行了。
robots
User-agent: *
Disallow: /config.inc.php
Disallow: /admin/
Disallow: /var/
Disallow: /install/
Disallow: /install.php
Sitemap: https://dxoca.cn/sitemap.xmlSitemap.xml
八云酱写的Sitemap Typecho插件
Sitemap.tar.gz
本文作者：Author： 寒光博客
文章标题：typechoSEO之robots.txt与Sitemap.xml插件
本文地址：https://www.dxoca.cn/SiteLog/210.html 百度已收录
版权说明：若无注明，本文皆为“Dxoca's blog （寒光博客）”原创，转载请保留文章出处。
本文地址：https://www.dxoca.cn/SiteLog/210.html 百度已收录
版权说明：若无注明，本文皆为“Dxoca's blog （寒光博客）”原创，转载请保留文章出处。
感谢感谢 之前一直用python程序扫描。