🚀
AI Agent 赋能实战
SEO 搜索引擎全生命周期「七环模型」与开源军火库速查
🔍 第一环：收录门禁
抓取·渲染·去重
Google技术门 / 百度主动推 / Bing链路
🤖 第二至四环：召回与排序
Query理解·精排·重排
语义向量 / E-E-A-T 权威度 / 反作弊
👁️ 第五至七环：展示与转化
展示·点击·回流促活
Schema富文本摘要 / 驻留时间 / 跳出率
⚔️ 核心开源武器库
Agentic-SEO-Skill
16 子技能 / 10 专家 Agent / Screaming Frog
现代 SEO（搜索引擎优化）的本质，就是把互联网上一个孤立的 URL，通过搜索引擎复杂的流水线，最终变成目标用户的一次真实有效点击。从网址被爬虫发现到用户点击回流，本质上必须严丝合缝地闯过「底层七环」：
URL ➔ ① 收录 ➔ ② Query 理解 ➔ ③ 召回 ➔ ④ 精排 ➔ ⑤ 重排 ➔ ⑥ 展示 ➔ ⑦ 点击回流
随着 AI Coding Agent（Claude Code、Codex、Cursor）的普及，我们在 GitHub 上不仅能找到传统的 SEO 抓取分析工具，还迎来了全新的 Agentic SEO（智能体自动化 SEO 审计与自愈）。本文为你全面剖析底层七环原理，并系统盘点 GitHub 上最能打的开源项目与 Agent 技能，为后续实战优化提供权威弹药库！
| 开源项目 / 技能 | 对应七环节点 | 定位与核心技术栈 | 杀手锏特性 | 安装与使用方式 |
|---|---|---|---|---|
| Bhanunamikaze/Agentic-SEO-Skill | 收录 / 召回 / 展示 | Claude Code, Codex, Cursor 专属 Agent 技能库 (⭐ 1k) | 16 个专项子技能、10 个专家 Agent、89 个 Python 自动化取证脚本 | install.sh --online --target claude |
| mshahiddigital/screamingfrog-audit-mcp | 收录门禁 / 抓取与渲染 | Screaming Frog 官方蛛网抓取的 MCP 服务端封装 | 免打开 GUI 客户端，支持免费版，驱动 Headless 爬取并输出结构化问题账本 | uvx screamingfrog-audit-mcp |
| Illyism/seo-skills | 精排 / GEO / 防盗抓 | AI 搜索优化 (GEO) 与防 AI 爬虫拦截技能 | 一键阻断未经授权的 AI 爬虫，保护 Googlebot 正常 SEO 抓取权重 | claude skill install Illyism/seo-skills |
| spindle79/screaming-frog-pp-cli | 收录诊断 / 死链与孤立页 | Screaming Frog 命令行与 SQLite 本地数据库桥梁 (Go) | 将全站抓取数据存入本地 SQLite，支持 SQL 查询 404 死链与 301 重定向链 | screaming-frog-pp-cli audit orphan-pages |
| i365dev/awesome-seo | 全七环架构 / 知识库 | 中英文优质 SEO / GEO / 技术门禁资源合集 | 收录 Google Search 官方白皮书、百度主动推送规范与站长变现指南 | GitHub Repo |
🔍 一、 深度解构：搜索引擎「底层七环」与各大引擎准入真相
第 1 环：收录门禁（Crawl & Index）——网址的生死关
这是所有 SEO 的基石。如果网页连进库的资格都没有，后面的排序全部是空谈。各大搜索引擎在收录阶段有着截然不同的“门槛哲学”：
- Google 的技术门三步走（发现 ➔ 抓取 ➔ 渲染）：
Googlebot 会分配“抓取预算（Crawl Budget）”。如果你的网页 JS 过于臃肿（LCP/FID 极差）、存在未闭合的死循环重定向链，Google 会延迟或直接放弃渲染；进库阶段还会运行 SimHash 等算法强行去重，低质内容直接丢入“已发现但未编入索引”冷宫。 - Screaming Frog（尖叫青蛙）的本地自查法则：
官方与极客团队推崇的技术门自检：逐项核查robots.txt是否误封了爬虫、Canonical 规范标签是否自指冲突、是否存在没有内链指向的孤立页面（Orphan Pages）、是否有超过 3 跳的重定向链。 - 四大主流引擎的准入铁律：
Bing：极度重视全网的反向链接质量与真实社交流量对标；
百度：国内特色准入，强制要求 ICP 备案、站长平台实名、以及API 接口每日主动推送（Active Push），不主动推送的新站甚至几个月不会被收录；
Yandex：俄系引擎核心看“真实搜索需求度”与商业信任指标，完全没有人搜的话题冷启动极慢。
第 2~4 环：Query 理解、召回与精排
- 第 2 环：Query 理解：分析用户搜索的意图（买东西、查教程、找官网）、同义词扩展与实体识别；
- 第 3 环：倒排索引与向量召回：从百亿网页库中，通过 BM25 关键词匹配 + 深度语义向量（Dense Retrieval），初筛出几千个候选 URL；
- 第 4 环：精排打分（Rank）：运用 GBDT / 深度排序模型，结合 Google E-E-A-T（经验、专业度、权威度、可信度）、PageRank 权威链接分、Core Web Vitals 网页性能分进行综合加权。
第 5~7 环：重排、展示与点击回流
- 第 5 环：重排与反作弊（Rerank & Diversity）：打散同域名霸屏，过滤 SEO 作弊、堆砌关键词（Keyword Stuffing）网站；
- 第 6 环：展示（Rich Snippets & AEO）：如果网页配置了标准的 Schema.org (JSON-LD) 结构化数据，搜索结果会展示为星级评分、FAQ 折叠问答、文章发布者头像等“富媒体卡片”，大幅提升吸引力；在 AI 时代，还会被 ChatGPT / Perplexity / Google AI Overviews 提取为直接答案；
- 第 7 环：点击回流（CTR & Dwell Time）：用户点击搜索结果后，在站内的停留时间（Dwell Time）与跳出率（Bounce Rate）会实时反馈回搜索引擎算法中。如果用户点进去立马按返回键，该网页的排名会在几小时内暴跌！
🛠️ 二、 GitHub 现象级 SEO 技能与项目深度剖析
1. Bhanunamikaze/Agentic-SEO-Skill（⭐ 1k · AI 智能体 SEO 终极大成之作）
这是目前 GitHub 上针对 Coding Agent 体系最完备、最硬核的 LLM-first SEO 审计技能库。它专为 Claude Code、Codex、Cursor、Windsurf 深度定制：
- 16 个细分专项 Sub-skills：涵盖
seo technical（抓取与 Core Web Vitals）、seo content（E-E-A-T 质量评估）、seo schema（JSON-LD 语法校验与生成）、seo geo（针对 Perplexity/ChatGPT 等生成式引擎优化）、seo aeo（精选摘要与常见问答知识面板）； - 10 个专家 Agent 矩阵：内置技术分析师、性能分析师、Schema 验证器、GitHub SEO 专家与全局验证器（Verifier），所有结论必须基于数据证据，严禁 AI 凭空假想；
- 89 个现成 Python 取证脚本：包含
indexability_matrix.py（自动出具可索引矩阵报告）、pagespeed.py、robots_checker.py、sitemap_checker.py，支持一键导出包含评分与行动计划的SEO-REPORT.html。
2. mshahiddigital/screamingfrog-audit-mcp（爬虫巨头 MCP 化）
Screaming Frog 是全球 SEO 工程师的标配工具，但传统用法必须在桌面打开臃肿的 Java GUI 界面。这个项目将其封装成了标准的 MCP (Model Context Protocol) 服务端：
- 支持免费版（Unlicensed）：直接调用本地 Screaming Frog CLI 执行无头抓取；
- 与 Agent 实时对话：你可以直接在终端对 Claude 或 Hermes 说：“帮我抓取当前站点的 500 个页面，列出所有 404 死链与没有 Canonical 标签的页面”，Agent 会自动调用该 MCP 工具并吐出结构化问题清单。
3. Illyism/seo-skills（AI 时代的新防线：GEO 与反恶意抓取）
针对 2026 年生成式搜索的新痛点，该项目提供了两个极具代表性的技能：
- seo-autopilot：全天候自动化 Agent 守护，自动根据关键词地图补齐长尾文章与竞品对比页；
- block-ai-scrapers：智能识别并拦截无节制的 AI 训练爬虫与 CLI 抓取器，但严格白名单放行官方验证过的 Googlebot / Bingbot，保护站点的正规 SEO 排名不被爬虫拖垮。
💡 三、 后期自建站点（Halo / 导航站）SEO 落地实战指南
为后续我们自己站点的全流程 SEO 改造，梳理出以下清晰的落地方案：
- 基建层（收录保障）：
配置自动化sitemap.xml与规范robots.txt；配置 Caddy 开启 Gzip/Zstandard 极致压缩与 HTTP/2，降低 TTFB；在 Caddy 反代层对 HTML 自动插入 Canonical 规范网址。 - 呈现层（展示与点击率）：
在 Halo 博客主题模板中，自动注入标准的 Schema.orgArticle与BreadcrumbListJSON-LD 标签，让 Google 搜索结果直接浮现发布时间、作者与分类胶囊。 - 全自动巡检脚本化（落地 Agentic-SEO-Skill）：
在服务器引入Agentic-SEO-Skill的 Python 检验脚本，将其配置为周常定时任务：自动扫描全站内链健康度、死链、图片缺失alt属性等常见硬伤，真正实现技术 SEO 自动化闭环！