video similarity · pipeline
素材搬运检测
· 数据流转架构
离线
建库
把历史成品抽帧入向量库 → 队列清空触发
就绪门控
→ 在线
比对
查询向量库,
命中
即把证据帧落地取证。两条定时任务,一座自建向量库。
建库写入
/v1/index
门控就绪信号
比对查询
/v1/match
命中取证落库
建库就绪 · 队列清空才放行
写入
查询
命中 → 落库
成品素材库
已发布的历史视频成品
material_asset
待检测成品
新提交 / 重跑的视频
similarity_task
建库任务
回填扫描 · 低速入库
video_index · @20s
比对任务
受门控 · 并发消费
video_similarity · @10s
建库就绪门控
videoready · 单调置位
Python 服务
视频特征 · CLIP + pHash
/v1/index
抽帧 · 提特征 · 写库
infer
/v1/match
取候选 · 阈值过滤
[0.18 0.92 0.07 …]
[0.44 0.11 0.63 …]
[0.05 0.71 0.39 …]
[0.88 0.26 0.14 …]
自建向量库
Qdrant · 特征向量基准库
对象存储
证据帧 · 逐帧对比图
S3 / CDN
命中结果表
疑似搬运 · 取证字段
similarity_result
建库
@every 20s
· 单例 · 回收僵尸>30min
比对
@every 10s
· 受门控 · 回收僵尸>10min
命中阈值
dup_score ≥ 30
失败重试
3 次
后置 failed
启动
ResetOrphans
清扫残留 running