计算机视觉¶

图像识别、目标检测、图像生成等视觉AI技术。

计算机视觉概述¶

**计算机视觉（Computer Vision, CV）**是使计算机能够"看懂"图像和视频的技术领域。

核心任务¶

图像 → [计算机视觉算法] → 理解/生成

图像分类¶

任务定义¶

将输入图像分类到预定义的类别中。

输入：图像（如224×224×3） 输出：类别概率分布

经典网络演进¶

迁移学习¶

概念：使用预训练模型作为起点，在新任务上微调。

流程： 1. 加载预训练模型（ImageNet上训练） 2. 替换最后一层（适应新类别数） 3. 冻结前面层或降低学习率 4. 在新数据上训练

优势： - 减少训练数据需求 - 加速收敛 - 提高泛化能力

目标检测¶

任务定义¶

在图像中定位并识别多个目标。

输出：边界框（x, y, w, h）+ 类别 + 置信度

两阶段检测器¶

R-CNN系列：

流程：

图像 → 候选区域提取 → 特征提取 → 分类+回归

单阶段检测器¶

YOLO系列：

SSD： - 多尺度特征图 - 不同尺度的anchor - 速度与精度平衡

检测器对比¶

精度：Faster R-CNN > YOLOv8 > YOLOv5
速度：YOLOv5 > YOLOv8 > Faster R-CNN

选择建议： - 精度优先：Faster R-CNN / Mask R-CNN - 速度优先：YOLO系列 - 平衡：YOLOv8 / SSD

图像分割¶

语义分割¶

任务：将每个像素分类到预定义类别。

应用： - 自动驾驶（道路/车辆/行人分割） - 医学影像（器官/病灶分割） - 遥感图像（地物分类）

经典网络：

实例分割¶

任务：分割出每个独立实例。

与语义分割区别： - 语义分割：只分类，不区分实例 - 实例分割：每个目标单独标注

代表方法： - Mask R-CNN：在Faster R-CNN基础上增加分割分支 - YOLACT：实时实例分割

全景分割¶

任务：同时完成语义分割和实例分割。

统一框架： - 背景用语义分割 - 前景实例用实例分割

人脸识别¶

技术流程¶

人脸检测 → 关键点定位 → 特征提取 → 比对识别

人脸检测¶

方法： - MTCNN：多任务级联CNN - RetinaFace：单阶段检测 - YOLO-Face：基于YOLO

特征提取¶

经典模型： - DeepFace（Facebook） - FaceNet（Google） - ArcFace（当前主流）

损失函数： - Softmax Loss：基础分类 - Triplet Loss：学习embedding - ArcFace Loss：加性角度间隔

应用场景¶

图像生成¶

生成对抗网络（GAN）¶

原理：生成器与判别器对抗训练。

应用： - 人脸生成 - 风格迁移 - 图像超分辨率 - 图像修复

扩散模型（Diffusion Model）¶

原理： 1. 前向过程：逐步加噪 2. 反向过程：逐步去噪生成图像

代表模型： - DDPM：去噪扩散概率模型 - Stable Diffusion：潜在空间扩散 - DALL-E 2：OpenAI的文本到图像 - Midjourney：艺术创作

文本到图像生成¶

流程：

文本描述 → 文本编码器 → 扩散模型 → 图像

关键技术： - CLIP：连接文本和图像 - 注意力机制：控制生成内容 - CFG：分类器自由引导

视频分析¶

任务类型¶

动作识别¶

方法： - Two-Stream：空间流+时间流 - 3D CNN：直接处理时空信息 - LSTM+CNN：CNN提取特征，LSTM建模时序 - Transformer：ViT扩展到时序

目标跟踪¶

流程： 1. 第一帧初始化目标 2. 后续帧预测目标位置 3. 处理遮挡、形变、尺度变化

主流方法： - SiamFC：孪生网络 - YOLO+跟踪：检测+数据关联 - DeepSORT：深度学习+卡尔曼滤波

计算机视觉应用¶

自动驾驶¶

感知系统： - 目标检测（车辆、行人、交通标志） - 车道线检测 - 可行驶区域分割 - 深度估计

代表公司： - Tesla（纯视觉方案） - Waymo（激光雷达+视觉）

医疗影像¶

应用： - 病灶检测（肺结节、肿瘤） - 器官分割 - 疾病诊断辅助 - 病理分析

挑战： - 数据隐私 - 标注成本高 - 需要可解释性

工业质检¶

应用： - 缺陷检测 - 尺寸测量 - 装配验证 - OCR识别

优势： - 24小时工作 - 一致性高 - 可检测微小缺陷

零售与电商¶

应用： - 商品识别 - 货架分析 - 虚拟试衣 - 智能结算

计算机视觉工具¶

开源框架¶

预训练模型¶

• ImageNet预训练：通用特征
• COCO预训练：检测/分割
• 人脸预训练：人脸识别

发展趋势¶

当前热点¶

1. 视觉Transformer：ViT在CV领域崛起
2. 自监督学习：减少标注依赖
3. 多模态融合：视觉+语言
4. 神经渲染：3D场景生成
5. 高效模型：移动端部署

未来方向¶

• 3D视觉：深度估计、点云处理
• 神经辐射场（NeRF）：3D重建
• 具身智能：视觉+机器人

小结¶

计算机视觉是AI最成熟的应用领域之一，从图像分类到复杂的视频分析，技术不断进步。

学习路径： 1. 掌握深度学习基础 2. 学习经典网络架构 3. 实践项目（Kaggle、GitHub） 4. 关注最新论文

延伸阅读：

• 深度学习革命
• 大语言模型专题
• AI应用场景全景