User-agent: * # 允许所有搜索引擎爬虫 # 阻止WordPress常见的管理后台、用户相关、插件、主题文件以及低价值路径 Disallow: /wp-admin/ # WordPress管理后台 Allow: /wp-admin/admin-ajax.php # 允许AJAX文件,因为许多插件和主题依赖它正常工作 Disallow: /wp-includes/ # WordPress核心文件,通常不需索引 Disallow: /wp-content/plugins/ # 插件目录,通常不需索引插件文件 Disallow: /wp-content/themes/*/functions.php # 特定主题的函数文件 Disallow: /wp-content/themes/*/screenshot.png # 主题截图 Disallow: /xmlrpc.php # 用于远程发布的接口,可能存在安全风险且不需索引 Disallow: /feed/ # 全站RSS订阅(如果存在且不需要索引RSS流) Disallow: /comments/feed/ # 评论RSS订阅(如果存在) Disallow: /login/ # 自定义登录页面(如果存在) Disallow: /register/ # 自定义注册页面(如果存在) Disallow: /*? # 阻止带问号参数的URL(如筛选、排序),避免重复内容 # 允许抓取CSS、JS、图片等静态资源,这有助于搜索引擎正确渲染页面 Allow: /*.css$ Allow: /*.js$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.png$ Allow: /*.gif$ Allow: /*.svg$ Allow: /*.webp$ # 告知搜索引擎站点地图的位置,强烈建议确保这个URL是正确的,以便搜索引擎更全面地索引您的网站内容。 Sitemap: https://loongwa.com/sitemap_index.xml Sitemap: https://loongwa.com/blog/sitemap_index.xml Sitemap: https://loongwa.com/docs/sitemap_index.xml