01
方向调研 · 文献阅读
从视频异常检测研究中确定项目问题
项目首先梳理视频异常检测、交通事故识别、多目标跟踪、边缘计算与大模型复核相关研究。调研发现，单一算法往往集中于离线精度，较少同时处理边缘算力、连续监控、候选事件传输与结果解释，因此将研究目标收敛为“前端快速筛查、服务器中转、后端可信复核、网页统一展示”的系统路线。
BUILD IN PUBLIC
路瞳团队开发历程
从一篇论文引发的工程性设计构想，到系统设计与落地
- 21
- 关键节点
- 4
- 协同层级
- V1.1
- 当前版本
02
模型基线 · 目标感知
建立YOLO道路目标检测基线
以轻量YOLO权重建立车辆、行人和两轮车目标检测基线，并逐步比较不同规模模型的速度、显存占用和检测稳定性。这个阶段验证了开发板承担第一层视觉筛查的可行性，也明确了后续不能只依赖单帧检测框，需要继续加入时序关联与风险判别。
03
数据准备 · 视频输入
统一视频预处理与逐帧分析入口
编写视频预处理脚本，统一输入视频的尺寸、帧率与编码条件，并建立逐帧读取、模型推理和结果保存流程。原始数据、处理数据与输出结果被分开管理，为后续跟踪、光流、事件缓存和重复实验提供了稳定的数据入口。
04
本地联调 · 可视化
搭建首版本地Dashboard与分析预览
首版展示工具将视频输入、检测帧和分析状态放到同一界面中，用于观察模型输出是否连续、风险区域是否合理以及处理进度是否正常。该工具主要服务开发调试，也成为后来网页工作台中“上传任务、前端返回帧、任务状态”三类界面的原型。
05
时序关联 · 多帧检测
从单帧检测升级为多目标连续跟踪
加入多目标跟踪与轨迹历史维护，为每个交通参与者建立连续ID、位置序列和对象间关系。系统由“当前帧看到了什么”进一步发展为“目标是谁、如何移动、是否持续接近”，为对象对风险计算、异常持续性约束和事件前后帧留存提供基础。
06
数学判别 · 风险状态机
设计对象对几何风险与持续性判别
围绕目标距离、边界框重叠、相对接近趋势、轨迹变化和持续帧数构建风险评分，再通过normal、suspicious、danger状态控制事件进入条件。短时持续性约束用于抑制单帧抖动和偶然遮挡，让前端输出保留可解释的几何依据。
07
运动证据 · 光流增强
用光流补足检测框失稳与高速碰撞场景
加入平均运动强度、高运动像素比例、运动突变和方向冲突等光流统计量。当目标框能够稳定关联时，光流作为额外风险证据；当高速碰撞、形变或遮挡导致检测掉线时，热点区域仍可维持异常关注，使系统同时支持pair-driven与flow-driven两类候选路径。
08
事件管理 · 结构化传输
形成连续监控下的事件缓存与事件包机制
事件管理器负责候选状态维护、触发合并、前后帧缓存、事件clip导出与结构化文件组织。事件包将视频片段、逐帧关注区域、目标标注和事件摘要绑定为同一个可传递单元，避免上传整段监控视频，也让后端获得可复核的上下文与证据线索。
09
任务中心 · 服务器中转
建立以任务ID为核心的前后端通信链路
服务器负责接收网页视频、创建任务ID、保存任务状态、向板端分发视频、接收事件包并等待后端结果。网页、开发板和复核服务不再直接互相依赖文件路径，而是围绕同一任务记录读取和回写状态，形成可追踪、可恢复的中转机制。
10
后端复核 · 多视角理解
构建事件包解析、VLM分析与LLM复核流程
后端从事件包读取clip、摘要和逐帧关注区域，重建注意力计划并生成全局、ROI、上下文与关键帧等多视角输入。VLM负责抽取视觉事实和事故线索，LLM负责整合前端结构化信息、多视角结论与排除证据，最终输出事件类别、目标命中关系、证据摘要和中文复核说明。
11
参数校准 · 稳定化评测
以500+项派生数据开展多轮后端复核
后端围绕人工校验候选事件包、多个后端版本、提示词方案、稳定化参数和多视角输入开展反复复跑。每条事件进一步派生全局视频、ROI视频、上下文视频、关键帧、注意力计划与结构化JSON，累计整理500余项中间数据和复核记录。当前文档记录的global_presence一致率为0.7500，final_label一致率为0.5667；结果证明候选事件复核路线可运行，同时也暴露出目标对齐和误报抑制仍需继续校准。
12
板端Worker · 结果回写
打通任务领取、分析上传与复核结果回传
板端Worker定时从服务器领取任务，下载视频后调用前端分析链并上传事件包、预览帧和阶段状态；后端完成复核后将结果写回同一任务。围绕结果目录与任务ID进行修正后，网页能够读取对应任务的复核包，而不会混入其他任务结果。
13
网页结果 · 关键截图
同步前端返回帧与后端结构化复核结果
网页开始按任务状态展示上传、板端分析、事件包就绪和后端完成等阶段，并读取关键帧、风险等级、置信度、结构化标签、证据摘要与推理说明。同期整理五张关键截图和项目标识，用于技术文档与答辩材料说明完整工作链路。
14
公网部署 · 故障排查
完成域名、反向代理与跨网络联调
系统通过Nginx反向代理将网页和任务接口统一到公网域名，并围绕SSH连接、HTTPS握手、移动热点网络、服务器结果目录和接口状态进行多轮排查。测试表明HTTP可到达但特定热点可能重置TLS连接，因此部署说明中保留了网络替换、证书握手和健康接口等检查步骤。
15
路线评估 · 音视频多模态
评估音频碰撞线索与连续监控升级方案
项目曾设计将关键音频按事件clip起止时间同步截取，并与两个JSON文件和视频片段共同组成多模态事件包。进一步检索发现，MAVAD公开仓库仍标注数据与代码待发布，现阶段缺少适合直接训练的同步道路碰撞音视频数据，因此音频模块暂未写入V1.1主链，连续事件缓存机制则继续保留。
16
场景数据 · 人工标注
开发四帧拼图式视频场景标注工具
围绕Balanced Accident Video Dataset建立视频级场景标注流程，每段视频均匀截取四帧并合成为一张预览图，标注网页只需选择交通密度类别即可写入CSV。训练集用于模型学习，测试集保留为独立验证来源，减少逐帧标注造成的重复劳动和同一视频标签不一致。
17
场景CNN · 四分类实验
验证恶劣场景与三档交通密度四分类方案
使用MobileNetV3-Large在AutoDL RTX 5090上训练四分类模型，训练输入包含7144张图像，验证输入包含1256张图像。30轮训练最高验证准确率为58.20%，训练准确率接近98%；混淆矩阵显示正常与稀疏边界、正常与密集边界，以及样本较少的特殊场景均存在明显混淆。
18
标签重构 · 三分类实验
取消特殊类并将验证准确率提升至66.85%
考虑公开数据中恶劣天气和强模糊样本不足，重新标注原特殊类视频，将任务收敛为密集、正常、稀疏三类。采用384×216输入、强数据增强、batch size 96和1e-4学习率训练20轮，最高验证准确率达到66.85%。该模型定位为风险参数校准器，因此采用置信度门控，而不承担事故最终判断。
19
场景自适应 · 板端融合
将场景CNN接入风险阈值校准链路
场景分类器以低频方式与目标检测并行运行，输出三类交通密度概率。当最高置信度达到0.70时，系统按密集、正常或稀疏场景调整suspicious、danger阈值与持续帧条件；置信度不足时自动回退到原有规则判断。该模块的目标是减少非必要事件包，而不会覆盖几何风险与光流证据。
20
技术报告 · 板端交付
完成V1.1技术报告与新版板端代码整理
在保留V1.0主体内容的基础上，将CNN场景分类、动态风险校准、模块顺序和后续优化方向写入V1.1技术报告，并重新核对公式下标、章节位置和前端层次。新版板端文件夹只保留运行所需Python脚本和简要说明，训练模型作为独立资产管理，便于开发板测试和版本回退。
21
产品界面 · 多层网页
重构首页、资料、分析与复核详情页面
网页由单一展示界面升级为多层产品站：首页承担项目路线与价值概览，资料页提供十篇参考论文，分析页负责视频上传与板端返回帧，详情页承接关键帧、硬指标、VLM分析、LLM复核和最终判断。各页面统一使用浅色粒子背景、独立主题色和明确跳转关系，目前开发者日志已加入同一页面体系。