LESSON · 08
AI 长出
眼睛、耳朵
和声音
多模态:从 CLIP 到 Sora,从语音到 3D。
同一
语义
空间
把图片、文字、音频映射到一个向量空间。
CLIP · 奠基工作
- 2021, OpenAI
- 4 亿组 (图, 文) 对训练
- 对比学习:相关的拉近、不相关的拉远
- 奠定"图文对齐"的基础
- → Stable Diffusion / DALL-E 等都基于 CLIP
扩散
模型
DM
从纯噪声反推出图像。
diffusion intuition
正向过程: 图像 → 加噪声 → 加噪声 → ... → 纯噪声
反向过程: 纯噪声 → 去噪 → 去噪 → ... → 图像
训练目标: 让模型学会"在 t 步该去多少噪声"
推理过程: 从随机噪声出发,迭代去噪 25-50 步
Stable Diffusion · 开源王者
- Latent Diffusion:在隐空间扩散,省算力
- U-Net + CLIP 文本条件
- SD 1.5 / SDXL / SD 3 几代演进
- FLUX 是其精神继承者
- LoRA + ControlNet 生态爆炸
ControlNet · 精确控制
- 问题:纯文本难控制构图
- 方案:再喂一张"条件图"(边缘 / 姿态 / 深度)
- 让 AI 按照你给的轮廓画
- 设计师 / 漫画家 的福音
闭源标杆
- Midjourney · 美学统治者
- DALL-E 3 · 文本理解最强
- Imagen 3 · Google 出品
- Ideogram · 文字渲染好
视频
爆发
2024 是文生视频的"GPT 时刻"。
视频生成代表
- Sora · OpenAI · 1 分钟级别
- Veo 3 · Google · 同步音效
- Kling · 快手 · 国产代表
- Hailuo / Vidu / Runway · 各显神通
- 技术:DiT(Diffusion Transformer)
多模态 LLM
- GPT-4V / 4o · 视觉旗舰
- Claude 3.5 Sonnet · 图表与 OCR 之王
- Gemini 2 · 原生多模态
- Qwen-VL / InternVL · 开源代表
- → 截图 + 提问 已成为新工作流
GPT-4o Vision API(5行可跑)
# pip install openai
from openai import OpenAI
client = OpenAI()
resp = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": [
{"type": "text", "text": "这张图片里有什么?"},
{"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
]}]
)
print(resp.choices[0].message.content)
Whisper 语音转文字
# pip install openai-whisper
whisper audio.mp3 --model base --language zh
# Python API
import whisper
model = whisper.load_model("base")
result = model.transcribe("audio.mp3", language="zh")
print(result["text"])
视觉理解能力
- OCR · 票据、表格、手写
- 图表理解 · 看图说数据
- VQA · 视觉问答
- UI 理解 · GUI 自动化(Computer Use)
语音生态
- Whisper · 多语言 ASR 标杆
- TTS · ElevenLabs / OpenAI / 字节火山
- 实时对话 · GPT-4o Voice / Realtime API
- 歌声合成 · Suno / Udio
3D 与新兴方向
- Gaussian Splatting · 3D 重建新范式
- Tripo / Meshy / Hunyuan3D · 文/图生 3D
- NeRF · 神经辐射场
- 世界模型 · Genie / SIMA
本课收获
CLIP 对齐
扩散模型
SD + ControlNet
Sora 视频
多模态 LLM
语音 / 3D
下一课 · AI Coding 实战:程序员的形态正在改变