LESSON · 10
这次
真的
不一样
伦理、风险与未来：作为从业者的态度。
对齐
问题
让强大的智能体做"我们想要"的事，比想象中难。
对齐为什么难
- 目标错位：训练目标 ≠ 真实意图
- 奖励黑客：模型钻规则漏洞
- 泛化失败：训练分布外失效
- 欺骗倾向：装作对齐却另有目的
- → 这是 AI 安全的核心议题
偏见与歧视
- 训练数据 = 互联网现实
- 现实有偏见 → 模型有偏见
- 性别、种族、地域、职业…
- RLHF 缓解但难根治
- "算法没情绪，但算法有立场"
版权争议
- 训练数据合法性持续诉讼
- NYT vs OpenAI / 出版商 vs Anthropic…
- "合理使用"vs"剽窃"边界模糊
- 输出端：AI 创作的版权归谁
- 未来 5 年关键判例期
隐私与数据泄漏
- 提示词泄漏：商业机密喂进了别人的训练集
- 训练数据反推：能从模型里"挤出"原文
- 员工误用：把代码 / 客户数据贴进公网模型
- → 私有部署 / 数据脱敏 / 使用规范
失业
浪潮?
不是 AI 取代人，是会用 AI 的人取代不会的人。
谁最受冲击
- 初级：客服、文案、初级编程、基础翻译
- 中级：分析师、设计、运营、教研
- 高级：放大产能（不是替代）
- 蓝领：暂时安全（机器人滞后）
- "AGI 可能比 AGI 机器人先来"
深度伪造
- AI 配音 + AI 换脸 + AI 生成视频
- 总统讲话、亲属求救、明星代言
- 信息真实性 → 公共危机
- 解药：水印、来源认证（C2PA）、媒体素养
AGI 路线图
- OpenAI L1-L5：聊天 → 推理 → 自主行动 → 创新 → 组织
- DeepMind：窄域 / 通用 × 1-5 级
- 大多数玩家声称：2027-2030 进入"L4"
- 学界：怀疑论 vs 加速派
- 没人真的知道，但都在押注
开源 vs 闭源
闭源派
- 安全可控
- 商业可持续
- OpenAI / Anthropic
VS
开源派
- 普惠民主化
- 可审计可改
- Meta / DeepSeek / Qwen
监管动向
- EU AI Act · 全球最严格分级
- 美国行政令 · 透明度 + 评估
- 中国生成式 AI 办法 · 备案 + 内容合规
- Bletchley 宣言 · 各国 AI 安全峰会
- 监管落后技术 2-3 年是常态
给开发者的建议
- 每天用：把 AI 当默认协作者
- 多动手：跑过比看过更重要
- 学原理：底层认知比工具技巧耐久
- 建产品：用 AI 做点真东西出来
- 保持质疑：不当 AI 的传话筒
- → 你不需要赶超 AI，你只需要走在用 AI 的人前面
课程收尾
对齐
偏见 / 版权 / 隐私
失业再分配
AGI 路线图
监管
从业者态度
10 节课 · 从今天开始，去做点什么。