video similarity · pipeline

素材搬运检测 · 数据流转架构

离线建库把历史成品抽帧入向量库 → 队列清空触发就绪门控 → 在线比对查询向量库,命中即把证据帧落地取证。两条定时任务,一座自建向量库。

建库写入 /v1/index
门控就绪信号
比对查询 /v1/match
命中取证落库
建库就绪 · 队列清空才放行 写入 查询 命中 → 落库 成品素材库 已发布的历史视频成品 material_asset 待检测成品 新提交 / 重跑的视频 similarity_task 建库任务 回填扫描 · 低速入库 video_index · @20s 比对任务 受门控 · 并发消费 video_similarity · @10s 建库就绪门控 videoready · 单调置位 Python 服务 视频特征 · CLIP + pHash /v1/index 抽帧 · 提特征 · 写库 infer /v1/match 取候选 · 阈值过滤 [0.18 0.92 0.07 …] [0.44 0.11 0.63 …] [0.05 0.71 0.39 …] [0.88 0.26 0.14 …] 自建向量库 Qdrant · 特征向量基准库 对象存储 证据帧 · 逐帧对比图 S3 / CDN 命中结果表 疑似搬运 · 取证字段 similarity_result
建库 @every 20s · 单例 · 回收僵尸>30min 比对 @every 10s · 受门控 · 回收僵尸>10min 命中阈值 dup_score ≥ 30 失败重试 3 次 后置 failed 启动 ResetOrphans 清扫残留 running