跳到导航

公众号历史文章翻完了吗?每天遇到旧文章就停会不会漏掉新文章?

公众号历史导出只完整到扫描停下的位置,所以报告覆盖范围时写明账号、栏目、实际页数和停止原因。wechat_mp.v2.fetch_account_articles 成功返回且 data.is_end=1 时,可以写「本轮接口可见列表已翻到末页」。先到页数上限时,写实际查到的范围。列表没有保证严格按时间排序,某页出现旧文章不是停止信号。

用一行报告说明覆盖情况

例如原计划研究半年,实际只查了三页,最早看到的文章是 10 月 12 日发的。报告可以写「本轮查公众号文章栏 3 页,去重 26 篇,所见日期为 10 月 12 日至 11 月 17 日,因页数预算停止」。用这批文章挑案例时保留这个范围。需要比较半年的发文频率时,再续页补足目标期间。

实际停止原因交付时怎么写
接口明确返回末页本轮接口可见列表结束,记录末页及采集时间。
到达页数或金额上限本轮查到设定上限,剩余范围待查。
游标缺失或重复分页中止,保留最后一份成功响应和游标。
请求失败本轮未完成,保留已查到的范围和错误记录。

当天查新从哪一页开始?

每轮查新都从首页开始,用 raw:false 读取 data.articles。按「账号 + app_msg_id + idx」比对已存记录,同一次群发里不同位置的文章分别保存。首页可能出现已经保存过的文章,按本轮设定的页数用本轮的游标继续翻。翻到末页前先遇到旧文章时,也继续查完本轮设定的范围。

每日查新 · 历史导出

重放或失败页会怎样影响已存历史?

每日查新处理器每次写一个新的状态文件,不覆盖上一轮的状态文件:

  • 用一批页面产生的状态重放同一批已保存页面,新增 ID 为零。
  • 已知 ID 的标题或其他列表元数据变化,写入 changed-articles.csv,不写入 new-articles.csv。
  • 尾页失败时,保留已经校验的前面几页,并标记 gateway_failed。
  • 空页不删除旧文章。

历史检查点怎样交给日扫描?

历史处理器生成两个文件:继续同一次回填用的检查点,和按账号记录的 state.json。所有历史批次都保留作来源证据。日扫描只读取 state.json,首个请求用空 offset,不沿用历史检查点。旧游标被拒绝时,用明确的 --restart 流程从首页重启,同时保留已知的文章身份。首次历史回填因预算停止时,即使后来日扫描成功,覆盖范围仍是部分历史。