LESSON · 08

AI 长出
眼睛、耳朵
和声音

多模态:从 CLIP 到 Sora,从语音到 3D。

同一
语义
空间

把图片、文字、音频映射到一个向量空间。

CLIP · 奠基工作

  • 2021, OpenAI
  • 4 亿组 (图, 文) 对训练
  • 对比学习:相关的拉近、不相关的拉远
  • 奠定"图文对齐"的基础
  • → Stable Diffusion / DALL-E 等都基于 CLIP

扩散
模型
DM

从纯噪声反推出图像。

diffusion intuition


正向过程: 图像 → 加噪声 → 加噪声 → ... → 纯噪声
反向过程: 纯噪声 → 去噪 → 去噪 → ... → 图像

训练目标: 让模型学会"在 t 步该去多少噪声"
推理过程: 从随机噪声出发,迭代去噪 25-50 步

Stable Diffusion · 开源王者

  • Latent Diffusion:在隐空间扩散,省算力
  • U-Net + CLIP 文本条件
  • SD 1.5 / SDXL / SD 3 几代演进
  • FLUX 是其精神继承者
  • LoRA + ControlNet 生态爆炸

ControlNet · 精确控制

  • 问题:纯文本难控制构图
  • 方案:再喂一张"条件图"(边缘 / 姿态 / 深度)
  • 让 AI 按照你给的轮廓画
  • 设计师 / 漫画家 的福音

闭源标杆

  • Midjourney · 美学统治者
  • DALL-E 3 · 文本理解最强
  • Imagen 3 · Google 出品
  • Ideogram · 文字渲染好

视频
爆发

2024 是文生视频的"GPT 时刻"。

视频生成代表

  • Sora · OpenAI · 1 分钟级别
  • Veo 3 · Google · 同步音效
  • Kling · 快手 · 国产代表
  • Hailuo / Vidu / Runway · 各显神通
  • 技术:DiT(Diffusion Transformer)

多模态 LLM

  • GPT-4V / 4o · 视觉旗舰
  • Claude 3.5 Sonnet · 图表与 OCR 之王
  • Gemini 2 · 原生多模态
  • Qwen-VL / InternVL · 开源代表
  • → 截图 + 提问 已成为新工作流

GPT-4o Vision API(5行可跑)

# pip install openai
from openai import OpenAI
client = OpenAI()

resp = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "这张图片里有什么?"},
        {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
    ]}]
)
print(resp.choices[0].message.content)

Whisper 语音转文字

# pip install openai-whisper
whisper audio.mp3 --model base --language zh
# Python API
import whisper
model = whisper.load_model("base")
result = model.transcribe("audio.mp3", language="zh")
print(result["text"])

视觉理解能力

  • OCR · 票据、表格、手写
  • 图表理解 · 看图说数据
  • VQA · 视觉问答
  • UI 理解 · GUI 自动化(Computer Use)

语音生态

  • Whisper · 多语言 ASR 标杆
  • TTS · ElevenLabs / OpenAI / 字节火山
  • 实时对话 · GPT-4o Voice / Realtime API
  • 歌声合成 · Suno / Udio

3D 与新兴方向

  • Gaussian Splatting · 3D 重建新范式
  • Tripo / Meshy / Hunyuan3D · 文/图生 3D
  • NeRF · 神经辐射场
  • 世界模型 · Genie / SIMA

本课收获

CLIP 对齐 扩散模型 SD + ControlNet Sora 视频 多模态 LLM 语音 / 3D

下一课 · AI Coding 实战:程序员的形态正在改变