跳到导航

BettaFish 没有小红书和抖音数据,怎样补入首批研究样本?

BettaFish 报告缺小红书和抖音时,先看 InsightEngine 能否从其连接的数据库读到小红书和抖音样本。用 BeatAPI 在每个平台各取一条与题目相关的公开内容,按已安装版本的表结构导入测试库,再用下面的 MediaCrawlerDB 只读查询验证。例如为咖啡机清洗报告准备一篇小红书笔记和一条抖音视频。

确认 InsightEngine 读的是哪一个库

在运行 BettaFish 的环境里核对 DB_HOST、DB_PORT、DB_NAME 和 DB_DIALECT。用同一版本的迁移或初始化流程准备测试库,先检查下表四张表是否存在。Docker 部署要在应用容器内核对连接。INSIGHT_ENGINE_* 配置的是模型调用,数据库连接另外设置。

目标InsightEngine 查询使用的表
小红书笔记及评论xhs_note、xhs_note_comment
抖音视频及评论douyin_aweme、douyin_aweme_comment

表不存在时,先核对部署版本和初始化。表里已有数据时,先用已知标题里的短词做一次不带日期条件的定向查询,再加时间范围。整个排查先在测试库跑通,不直接操作生产数据。

准备一条笔记和一条视频

按小红书搜索与详情和抖音搜索与评论,在每个平台各选一条与清洗问题有关的内容。保留实际对象 ID、原帖链接、关键词、请求号、响应原件和字段来源。已有材料直接复用。先只导入内容行;内容行能读回后,再读取确有必要的评论。

字段去向映射
xhs_note用该笔记的 ID、标题、实际描述、已确认的 note_url 和 source_keyword。time 按目标查询使用的毫秒单位处理。
douyin_aweme用该视频的 ID、可用标题或描述、已确认的 aweme_url 和 source_keyword。create_time 要先确认来源单位,再转成毫秒。
两类评论表每条保留实际评论 ID、正文及其真实父作品 ID。子回复另外保留父评论,给出的赞数缺失时记录为空或保留缺失原因。

按实际运行的 BeatAPI 动作读取响应结构并映射字段。来源只有搜索摘录时,在自己的来源表里标注「搜索摘录」,并写上请求号。用你已有的导入程序写测试库之前,按同一版本的表定义检查必填列、字段长度和唯一键。重跑落库时按平台对象 ID 更新,保留已记录的人工审核。字段以当前库的定义为准,尤其要确认评论外键和时间字段。

验收一次读回

在 BettaFish 项目自己的 Python 环境运行下面的只读检查。把 topic 换成刚保存的标题或描述里实际出现的一小段文字。第一次不加日期范围,分别打印两个平台的来源表和一条实际内容。

from InsightEngine.tools.search import MediaCrawlerDB
source = MediaCrawlerDB()
for platform in ("xhs", "douyin"):
result = source.search_topic_on_platform(platform=platform, topic="清洗", limit=5)
print(platform, result.results_count, result.error_message)
for item in result.results[:2]:
print(item.source_table, item.title_or_content, item.url, item.publish_time)

例如选了一篇标题包含「清洗后异味」的笔记,和一条描述包含「清洗水箱」的视频。分别用素材里确实出现的短词读回后,检查笔记的来源表是 xhs_note、视频的来源表是 douyin_aweme,链接和时间都与存下的原件一致。两条都能读回后,再生成一份报告,对照其中一条引用。报告缺某一条时,先查报告采用的关键词、日期和平台。

按下表定位缺失发生在哪一步。核对时用刚导入那条记录的 ID 和原链接,避免匹配到同标题的其他素材。

查到哪里接着查什么
测试库里按对象 ID 查不到看导入结果,核对写入的库和记录 ID
库里有记录,InsightEngine 用原文短词查不到查运行日志、实际连接和数据库方言
不加日期能读到,加日期变空查字段的毫秒单位、运行时区和筛选边界
InsightEngine 能读到,报告里没有核对生成报告实际采用的平台、词和时间范围,再看报告有没有选用这条引用

排查时沿用已保存的样本。新增样本产生数据查询费用,重新生成报告产生模型调用费用,数据查询与模型调用分别按实际用量计算。见 BeatAPI 价格页。

BettaFish 接入文档 · InsightEngine 查询实现