CRAWLER TEST ARTICLE
HTTP 401 与 404：爬虫测试中的处理方式
爬虫与 HTTP
本文为静态 Mock 文章，用于 sitemap 爬虫联调。
HTTP 401 表示请求缺少有效身份凭据，客户端通常需要补充认证信息后再请求。HTTP 404 表示服务器找不到请求资源，添加凭据通常不能解决问题。爬虫遇到 401 时应进入认证或权限处理分支，遇到 404 时应记录失效链接，并避免对同一地址无限重试。
dist/static-support-site/index.html:20: HTTP 401 与 404：爬虫测试中的处理方式
dist/static-support-site/index.html:21:HTTP 401 表示请求缺少有效身份凭据，客户端通常需要补充认证信息后再请求。HTTP 404 表示服务器找不到请求资源，添加凭据通常不能解决问题。爬虫遇到 401 时应进入认证或权限处理分支，遇到 404 时应记录失效链接，并避免对同一地址无限重试。