web-content-fetcher · git:20260316.46bc4f4 · 2026-03-16 · sha256 8aff89f289942377
web-content-fetcher git:20260316.46bc4f4A
Immutable. This exact content never changes and is served at /api/v1/blob/8aff89f289942377.
--- name: web-content-fetcher description: > 网页内容获取技巧集合。当用户需要抓取网页内容、提取文章正文、获取社交媒体帖子内容、读取任意 URL 的文本或 Markdown 格式内容时使用。 无论用户是想"获取某个网页的内容"、"抓取这个链接"、"读取这篇文章"、"把这个页面转成 Markdown",还是想访问 X/Twitter、微信、知乎、Medium 等平台的内容,都应触发此 skill。 包含多种方法,覆盖不同场景:Markdown 提取、绕过付费墙、结构化数据抓取等。持续迭代更新中。 --- # 网页内容获取技巧集合 本 skill 收录各种实用的网页内容获取方法,持续迭代扩充。每个方法说明适用场景、使用方式与注意事项。 根据用户的目标选择合适的方法:先判断内容类型和访问限制,再选最简单可行的方案。 --- ## 方法一:defuddle.md —— 任意网页转 Markdown **适用场景** - 获取任意公开网页的正文内容 - 社交媒体帖子(X/Twitter、微信公众号等) - 新闻文章、博客、文档页面 - 需要 Markdown 格式输出时 **使用方式** 在目标 URL 前加上 `https://defuddle.md/` 前缀,用 WebFetch 工具抓取: ``` https://defuddle.md/<目标URL> ``` **示例** ``` # 获取 X/Twitter 帖子内容 https://defuddle.md/https://x.com/op7418/status/2033202960843563484?s=46 # 获取新闻文章 https://defuddle.md/https://example.com/some-article # 获取文档页面 https://defuddle.md/https://docs.anthropic.com/some-page ``` **注意事项** - 仅支持公开可访问的页面,需要登录的内容无法获取 - 返回内容已去除广告、导航栏等干扰元素,只保留正文 - 图片等媒体资源不会返回,仅返回文字内容 - 部分反爬较强的网站可能无法正常解析 --- <!-- 后续方法将在此追加 --> ## 方法索引 | 方法 | 适用场景 | 输出格式 | |------|----------|----------| | defuddle.md 前缀 | 任意公开网页、社交媒体帖子、文章 | Markdown | --- > 本 skill 持续更新中。如需添加新的获取方法,直接在"后续方法将在此追加"注释后面按照相同格式补充即可。