采集管理
标准版及以上商业版功能
校对日期:2026-11-16。需要商业版标准版及以上(采集管理、定时任务均属标准版)。
采集按事先写好的规则抓取其它网站的列表页和文章页,把标题、正文等内容保存为本站某个栏目下的文章。 一个采集任务对应一组列表页和一个保存栏目;规则用“前后标记 + (*)”的写法从网页源代码里截取内容。 程序只按地址读取网页的源代码:需要登录才能看的页面、内容由浏览器脚本加载的页面采集不到。
一、新增采集任务
进入 内容 → 采集管理,点击 新增。窗口分三步,用 下一步、上一步 切换,到第三步才能 保存。
第一步:基础信息

保存栏目:采集到的文章保存到这个栏目,只能选末级栏目,并且要在操作员自己的文章权限之内 (见文章数据权限)。
字符集:被采集页面的编码,默认
UTF-8。填错了采集到的内容是乱码;在浏览器里查看页面源代码,<meta charset=里写的就是它。"…"> 自动提交:开启时,采集到的文章直接以已发布状态保存,栏目设有审核流程的则进入审核;关闭时保存为草稿, 之后在 内容 → 文章管理 里手动提交。
下载正文图片:把正文里的图片和链接到的附件下载到本站的附件存储点,并把正文里的地址改成本站地址。 下载失败的保留原地址。
允许重复标题:关闭时,本站已有相同标题的文章就不再保存。
最小间隔时间 / 最大间隔时间:采集每篇文章之前等待的秒数,在两者之间随机取值,用来避免请求过于频繁。 最小间隔时间为 0 时不等待。
用户代理:请求页面时发送的 User-Agent,一般不用改。
采集列表地址:列表页的地址,一行一个。带页码的地址用
(*)代替页码,下方的 页码(*) 从…到… 决定代入哪些页码。如:texthttps://www.example.com/news/ https://www.example.com/news/index_(*).html页码从 2 到 10 时,第一行是列表首页,第二行展开成第 2 到第 10 页,一共采集 10 个列表页。
倒序采集:从最后一个列表页、每页的最后一条开始采集。
第二步:列表页数据
这一步告诉程序怎样从列表页里找出每篇文章的地址。假设列表页的源代码是这样:
<ul class="list">
<li><a href="/news/1001.html">标题一</a><span>2026-11-12</span></li>
<li><a href="/news/1002.html">标题二</a><span>2026-11-11</span></li>
<li><a href="https://other.example.com/a.html">外站文章</a><span>2026-11-10</span></li>
</ul>| 项目 | 填写 | 得到 |
|---|---|---|
| 列表区域(必填) | <ul class= | 包含全部条目的那一段,即三个 <li> |
| 条目区域(可选) | <li>(*)</li> | 每个条目各一段,如 <a href= |
| 文章地址 的 匹配表达式(必填) | <a href="(*)" | /news/1001.html、/news/1002.html、https: |
| 文章地址 的 过滤表达式(可选) | ^https?://.* | 外站那一条被删成空白,不再采集 |
相对地址会按列表页的地址补全。条目区域不填时,直接在列表区域里找出全部文章地址;填了条目区域, 第三步的字段才能从列表页取值(如列表上的日期、缩略图),文章地址的过滤表达式也才起作用。
不必凭空写规则:点击 列表区域 或 文章地址 下面的 设置,打开试匹配窗口。

- 窗口打开时已经抓取了第一个列表页,左侧是它的源代码。上方可以换一个地址,点击 抓取 重新读取。
- 在右侧填写规则,从上到下依次点击匹配(填了过滤表达式的再点 过滤):每点一次,左侧就换成这一步的结果, 下一步在这个结果上继续。结果不对时点 抓取 回到源代码,改了规则再来。
- 最后一步的结果应当是一行一个文章地址。点击窗口里的 保存,规则带回表单(此时任务还没有保存)。

本文截图里采集的是演示站自己的“国内”栏目页。
第三步:详细页数据

这一步给文章的每个字段写规则。默认有 标题 和 正文,其余的从下方的 新增字段 里添加:发布日期、标题图、附件、 副标题、完整标题、SEO关键词、摘要、作者、编辑、来源。标题不能删除,其它字段可以 删除,拖动“数据来源”右边的图标调整顺序。
每个字段先选 数据来源:
- 详细页:从文章页的源代码里取,写法与上一步相同。如标题
<h1>(*)</h1>。 - 列表页:从该文章在列表页的条目区域里取(第二步填了条目区域才能选)。
- 固定值:不采集,直接使用填写的内容,如来源固定为某个网站名。
几个字段另有要求:
- 发布日期 要填 日期格式(Java 的日期格式),必须与页面上的写法完全一致,如页面上是
2026-11-12 13:06就填yyyy-MM-dd HH:mm。没取到日期时用采集的时间;取到了但格式对不上,任务会出错停止。 - 标题图、附件 取到的是文件地址,文件会下载到本站。附件另有 数据URL:取到的只是一个编号时, 用它拼出下载地址,
$1代表取到的内容,如/download?id=$1。 - 正文 取到的是一段 HTML,保存时会做安全过滤。不想要的部分(如正文里的广告、“责任编辑”一行)用过滤表达式去掉。
字段下面的 设置 同样打开试匹配窗口,抓取的是第一个列表页里的第一篇文章。
二、规则的写法
- 匹配表达式:
(*)前面的文字是开始标记,后面的是结束标记,取两者之间的内容并去掉首尾空白。 标记要与源代码一字不差(包括空格和引号)。(*)后面不写结束标记时,一直取到末尾。 - 是否正则表达式:开启后匹配表达式按 Java 正则表达式处理,取第一个捕获组,如
<a href="(.*?)"。 - 是否JS字符串:要取的内容写在页面的脚本里(形如
"url":)时开启, 取到之后会还原转义字符。"\/ news\/ 1001. html" - 过滤表达式:对匹配到的内容再加工,一行一条 Java 正则表达式,删除匹配到的内容,只保留其中的捕获组。 如
<a [^>]*>(.去掉链接标签、保留链接文字;*?)</ a> <script[\s\S]*?</整段删除脚本。script>
三、运行与查看结果
在列表的操作列点击 启动,任务在后台执行,列表不会自动刷新,点击 查询 查看最新进度:
- 页数:正在采集第几个列表页 / 列表页总数;采集数:已保存的文章数 / 已处理的文章数。
- 状态:未运行、运行中、完成、出错。出错时点击 查看错误 可以看到错误信息。
- 停止:采完手头这一篇后停下,状态回到未运行。
采集到的文章在 内容 → 文章管理 里,录入类型为“采集”,录入人是创建这个采集任务的用户(列表的 用户 一列)。
几条规则:
- 只采新的。 每个任务会记下采集过的文章地址,再次启动时跳过它们,所以同一个任务可以反复执行。 想全部重新采集,先点 清空记录。删除任务不会删除已经采集到的文章。
- 没有取到标题的文章不保存,下次启动时会重试;因标题重复而跳过的文章不会重试。
- 读取列表页或文章页失败(地址打不开、对方返回错误、连接或读取超时)时,整个任务停在“出错”; 排除原因后重新 启动,已采集的不会重复。单个图片或附件下载失败不影响任务。
- 最多同时运行 10 个采集任务,超过时启动会提示“采集任务执行器已满,请稍后再试”。
四、定时采集
- 进入 系统 → 定时任务,点击 新增(定时任务的执行计划、时区与执行状态见定时任务)。
- 类型 选择 定时采集,采集任务 选择要执行的任务。
- 在 执行计划 里选择每小时、每天、每周、每月的执行时间,或选择 自定义 填写 Cron 表达式。
- 打开 是否启用,保存。
到点时等同于点了一次 启动。上一次采集还没有结束时,这一次不会执行,定时任务的执行状态记为失败, 错误信息是“采集任务正在运行中”——出现这种情况说明执行间隔设得太密。
五、常见问题
- 采集到的内容是乱码:字符集与被采集页面不一致,按第一步的说明核对。
- 状态变成“出错”:点击 查看错误。常见的是对方返回了 403、404 一类的错误,或发布日期的日期格式与页面不一致。
- 采集数是 0 / n:处理了 n 篇但一篇都没有保存,原因是标题没有取到(核对标题的规则)或标题在本站已经存在 (需要保存时开启 允许重复标题)。
- 改了规则,以前采过的文章没有变化:采集过的地址会被跳过。删除这些文章并 清空记录 后重新启动。
- “设置”窗口里匹配不出结果:
(*)前后的标记与源代码不一致,常见的是多了或少了空格、换行,或属性的顺序不同。 以窗口左侧显示的源代码为准,它与浏览器“检查元素”里看到的不一定相同。