web-content-fetcher · diff
git:20260316.46bc4f4 to git:20260326.8eaf5ef
44 added, 29 removed. Audit A to A.
---
name: web-content-fetcher
description: >
网页内容获取技巧集合。当用户需要抓取网页内容、提取文章正文、获取社交媒体帖子内容、读取任意 URL 的文本或 Markdown 格式内容时使用。
无论用户是想"获取某个网页的内容"、"抓取这个链接"、"读取这篇文章"、"把这个页面转成 Markdown"，还是想访问 X/Twitter、微信、知乎、Medium 等平台的内容，都应触发此 skill。
包含多种方法，覆盖不同场景：Markdown 提取、绕过付费墙、结构化数据抓取等。持续迭代更新中。
---
# 网页内容获取技巧集合
- 本 skill 收录各种实用的网页内容获取方法，持续迭代扩充。每个方法说明适用场景、使用方式与注意事项。
+ 本 skill 的核心思路：**渐进回退，确保拿到内容。**
- 根据用户的目标选择合适的方法：先判断内容类型和访问限制，再选最简单可行的方案。
+ ## 回退策略
+ 任何 URL 都按以下顺序尝试，不区分网页类型：
+
+ 1. **WebFetch 直接抓取** — 最快，先试
+ 2. **如果失败或内容不完整** — 并行尝试 `r.jina.ai` 和 `defuddle.md` 两种代理前缀，取内容更完整的结果
+ 3. **如果代理也失败** — 使用 WebSearch 搜索相关内容作为兜底
+
+ "不完整"的判断：返回正文少于 200 字、明显缺失关键段落、或返回错误/空白页面。
+
---
- ## 方法一：defuddle.md —— 任意网页转 Markdown
+ ## 方法一：r.jina.ai 前缀
- **适用场景**
- - 获取任意公开网页的正文内容
- - 社交媒体帖子（X/Twitter、微信公众号等）
- - 新闻文章、博客、文档页面
- - 需要 Markdown 格式输出时
+ 在目标 URL 前加上 `https://r.jina.ai/` 前缀，用 WebFetch 抓取：
- **使用方式**
+ ```
+ https://r.jina.ai/<目标URL>
+ ```
- 在目标 URL 前加上 `https://defuddle.md/` 前缀，用 WebFetch 工具抓取：
+ **示例**
```
+ https://r.jina.ai/https://x.com/qoder_ai_ide/status/2036437931867644016
+ https://r.jina.ai/https://www.anthropic.com/engineering/some-post
+ https://r.jina.ai/https://any-website.com/any-page
+ ```
+
+ **特点**
+ - 会自动执行 JS 渲染，对动态页面和 SPA 支持好
+ - 返回经过清洗的 Markdown 格式正文
+ - 响应稍慢但内容覆盖面广
+
+ ---
+
+ ## 方法二：defuddle.md 前缀
+
+ 在目标 URL 前加上 `https://defuddle.md/` 前缀，用 WebFetch 抓取：
+
+ ```
https://defuddle.md/<目标URL>
```
**示例**
```
- # 获取 X/Twitter 帖子内容
- https://defuddle.md/https://x.com/op7418/status/2033202960843563484?s=46
-
- # 获取新闻文章
+ https://defuddle.md/https://mp.weixin.qq.com/s/ERSjcq9YURHvlsdTUv_Paw
https://defuddle.md/https://example.com/some-article
-
- # 获取文档页面
- https://defuddle.md/https://docs.anthropic.com/some-page
+ https://defuddle.md/https://any-website.com/any-page
```
- **注意事项**
- - 仅支持公开可访问的页面，需要登录的内容无法获取
- - 返回内容已去除广告、导航栏等干扰元素，只保留正文
- - 图片等媒体资源不会返回，仅返回文字内容
- - 部分反爬较强的网站可能无法正常解析
+ **特点**
+ - 自动去除广告、导航栏等干扰元素，只保留正文
+ - 返回 Markdown 格式
+ - 响应较快
---
- <!-- 后续方法将在此追加 -->
-
- ## 方法索引
+ ## 通用注意事项
- | 方法 | 适用场景 | 输出格式 |
- |------|----------|----------|
- | defuddle.md 前缀 | 任意公开网页、社交媒体帖子、文章 | Markdown |
+ - 两种代理方式都仅支持公开可访问的页面，需要登录的内容无法获取
+ - 图片等媒体资源不会返回，仅返回文字内容
+ - 两种方式各有擅长，无法预知哪个对特定网站效果更好，所以失败时应并行尝试两者
---
- > 本 skill 持续更新中。如需添加新的获取方法，直接在"后续方法将在此追加"注释后面按照相同格式补充即可。
+ > 本 skill 持续更新中。如需添加新的获取方法，按照相同格式补充即可。