跳到主内容

robots.txt 配置：哪些页面该让爬虫抓取

社恐患者0 浏览
社恐
社恐患者楼主
面包屑导航不仅提升用户体验，还是 SEO 信号。用 BreadcrumbList JSON-LD 结构化数据能让 Google 在搜索结果中显示面包屑路径，提升点击率。Next.js 中可以在 Server Component 渲染面包屑 HTML + JSON-LD。

Vercel 部署的 Next.js 站点 SEO 基础清单：① 设置自定义域名 ② 配置 metadataBase ③ 生成 sitemap.xml ④ 配置 robots.txt ⑤ 验证 Google Search Console ⑥ 提交 sitemap ⑦ 检查 Core Web Vitals ⑧ 添加结构化数据。

Google E-E-A-T（经验、专业、权威、可信）是内容质量的评估框架。提升方法：作者署名 + 作者简介、引用权威来源、展示真实案例、保持内容更新频率。对 YMYL（你的金钱或生活）类站点尤为重要。

robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。
查看历史

58 回复

  1. 结网
    结网的蜘蛛第 2 楼
    我之前也遇到过类似问题，hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。希望对你有帮助。
  2. 潜水
    潜水员第 3 楼
    不同场景下结论可能不同：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。感谢楼主的启发。
  3. 搬家
    搬家的蚂蚁第 4 楼
    从另一个角度看：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。效果因项目而异，建议实际测试。
  4. 并发
    并发摆渡人第 5 楼
    我调研过这块，PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。仅供参考，具体还是要看你的场景。
  5. 老张
    老张第 6 楼
    有个相关问题想请教：hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。感谢楼主的启发。
  6. 无所
    无所谓第 7 楼
    有个更优的方案：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。欢迎私信深入交流。
  7. 需求
    需求翻译机第 8 楼
    实操中我发现：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。希望少走弯路。
  8. 热更
    热更新选手第 9 楼
    结合我最近的项目经验：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。这只是个人经验，不一定通用。
  9. 溪畔
    溪畔听雨第 10 楼
    实操中我发现：sitemap.xml 用 ISR 缓存（revalidate: 3600），发布新内容后 revalidatePath 刷新。如果有更好的方案求分享。
  10. 不将
    不将就第 11 楼
    我做了类似的对比实验：hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。希望少走弯路。
  11. 算法
    算法炼丹师第 12 楼
    我之前也遇到过类似问题，robots.txt 控制抓取，noindex 控制索引，两个不要搞混。
  12. 月下
    月下独酌第 13 楼
    有个相关问题想请教：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。欢迎大家补充。
  13. 熬夜
    熬夜的猫头鹰第 14 楼
    补充一个边界情况：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。细节可以再展开讨论。
  14. 打盹
    打盹的考拉第 15 楼
    补充一个边界情况：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。如有不对请指正。
  15. 潜水
    潜水的海獭第 16 楼
    我的看法略有不同：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。期待更多实战经验分享。
  16. 栈溢
    栈溢出幸存者第 17 楼
    hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。
  17. 吃瓜
    吃瓜群众第 18 楼
    我的项目里也用了这个方案，metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。细节可以再展开讨论。
  18. 冬炉
    冬炉暖茶第 19 楼
    我的结论恰恰相反：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。欢迎大家补充。
  19. 断网
    断网生存者第 20 楼
    我的看法略有不同：metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。希望少走弯路。
  20. 云中
    云中漫步第 21 楼
    从另一个角度看：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。
登录后可回复