《The Devil is in Temporal Token: High Quality Video Reasoning Segmentation》读文笔记 1. 文章主题 这篇文章研究的是 Video Reasoning Segmentation（VRS，视频推理分割）。 任务输入是一段视频和一句带有推理性质的文本，输出是视频中目标在每一帧上的分割 mask。 和传统的 referring video object segmentation 不同，VRS 的文本往往不是直接描述外观，而是带有 时序关系、语义推理或常识推理，例如： * 视频最后只露出尾巴的猫 * 靠风驱动的物体 *

Read More

这篇文章做的是视频推理分割，也就是给模型一段视频和一句比较复杂的文本指令，让它不仅要看懂视频，还要结合语言去推理“目标到底是谁”，最后把这个目标在视频每一帧里分割出来。它和普通的 referring VOS 不一样，普通任务里的文本通常比较直接，比如“左边的人”或者“红色的车”，而 ViLLa 面对的是更复杂、更接近真实用户表达的描述。 这篇文章的核心目标，是解决前面一些方法在复杂视频场景里的问题。作者认为，以前的方法在简单视频上还能用，但一遇到长视频、多目标、快速运动、遮挡这些情况，就容易出问题。比如 VISA 很依赖关键帧选得准，如果一开始选错了，后面传播就会越错越多；VideoLISA

Read More

VISA 论文简记 1. 这篇文章做了什么 这篇文章提出了一个新任务：ReasonVOS（推理式视频目标分割）。 和传统 VOS / Referring VOS 不一样的地方在于： 它不是分割那种“外观很明确”的目标，而是分割需要推理才能确定的目标，比如： * 哪辆车最可能赢 * 哪个交通工具载客量最大 * 那只狗害怕什么 也就是说，这篇文章想做的是： 把“视频理解 + 世界知识推理 + 像素级分割”结合起来。 2. 核心思路 作者提出了一个框架：VISA 全流程可以概括成： 1 2 3 4 5 文本指令 + 视频 → 找关键帧 → 用多模态 LLM 推理目标是

Read More

VideoLISA 总结 论文核心问题 文章要解决的是：给定一个视频和一段自然语言指令，输出该目标在整段视频中所有帧的像素级分割结果。 这里的语言指令不是简单类别词，而是可能包含： * 隐式意图 * 世界知识 * 时序关系 * 动作与行为描述 所以这个任务不只是普通的 RVOS / VOS，而是更难的 language-instructed reasoning segmentation in videos。 现有方法的问题 图像推理分割方法（如 LISA）的问题 它们在图像上可以做“语言推理 + 分割”，但直接迁移到视频会遇到两个核心困难： 1. 视频多了时间维度

Read More

今年过年回家，感觉格外地忙。跑东跑西的吃饭，还有很多小事儿，加上放假时间也短，搞科研应该是行不通了。趁这个时间搞了个个人网站出来，以后就有地方可以写博客了。大概是年初三开始研究，初五初六做完了，一共耗时6个小时，这里把具体的过程写在这里，给有需要的同学参考。 选域名 说到做网页，尤其是做个人网页，第一件事肯定是选域名，我是在GoDaddy上买的域名，也可以在Namecheap之类的域名网站买，尽量找大一些的网站。 我在检索的时候发现没有rendawei.com了，在rendawei1210.com、rendawei.me和rendawei.dev这三个域名中纠结了蛮久的，最后选了最便宜的.

Read More

面向 Ubuntu 20.04 / 22.04 + NVIDIA 2080 Ti × 8 服务器，从显卡驱动到 Conda 环境及 多用户协同规范 一篇搞定。 目录 1. 选择 Miniconda 的理由 2. 系统前置：驱动与 CUDA 3. 下载并安装 Miniconda 4. 首次启动与基础配置 5. 配置国内镜像.condarc 6. CUDA Toolkit & cuDNN 安装方案 7. 创建深度学习环境示例 8. 多 GPU 调优要点 9. 多人协作与 GPU 使用公约 10. 环境管理速查表 11. 提速技巧与最佳实践 12. 常见问

Read More