【学习笔记】WWDC 2026 全部视频讲座总结:Keynote + PSOTU + 100+ 技术会话(不含 Labs)

34 min

想快速了解 WWDC26 全貌与导航,见《WWDC 2026 总览》导读。本篇是 WWDC26 所有视频讲座(Keynote、Platforms State of the Union、100+ 技术会话、Dub Dub Daily)的统一总结,按主题分类。不含 Group Lab——全部 19 场 Group Lab(小组讨论属实时互动环节)已独立整理在《WWDC 2026 全部 19 场 Group Lab 要点合集》一篇中。Apple 官方对单场技术讲座并不按”第几天”打标签,讲座是大会级目录、全周持续上线,因此本篇不再按天组织,而是汇总成一份完整的技术参考。

说明:本篇 纳入了最重要的两个视频(Keynote / PSOTU)要点,并附 全部会话编号速查表;各技术会话的逐场要点见下文按主题分类的章节。

概览

视频类型代表编号说明
Keynote(主题演讲)#101 / #111(ASL)面向所有人的产品与平台发布,76 分钟
Platforms State of the Union#102 / #112(ASL)面向开发者的技术综述,61 分钟
技术会话(Sessions)#201#393100+ 场,横跨 13 大主题
Dub Dub Daily#397每日速览视频
本文不含Group Labs #8006–#8018实时小组讨论(见 Day 2 / Day 3)

官方明确:「Throughout the week, developers and students can watch more than 100 new video sessions」(Apple 新闻室)。经直接抓取官方目录逐项核实

117 场(另有 19 场 Group Lab,本文不含)。本文已覆盖全部 117 场。


一、全部会话编号速查表

按编号排序,便于查找。完整 100+ 目录以 developer.apple.com/videos/wwdc2026/ 为准。

编号标题分类
101Keynote特别
102Platforms State of the Union特别
111Keynote (ASL)特别
112Platforms State of the Union (ASL)特别
121Announcing Apple’s next big step for Siri and iPhone特别
122WWDC26 Platforms State of the Union Recap特别
201Secure your apps with App Attest安全
203Read between the strokes with PencilKit手写/媒体
204What’s new in WebKit for Safari 27Web
205Enhance your presence on the App StoreApp Store
206What’s new in managing Apple devices设备管理
207Deliver workout insights with HealthKit workout zones健康
209What’s new in Wallet钱包
210What’s new in Apple In-App Purchase钱包/支付
212Rev up your CarPlay appCarPlay
213Translate your app using agents in XcodeXcode
215Get started with the HTML Model ElementWeb
216Create web extensions for SafariWeb
219Enhance the accessibility of your reading app无障碍
220Refine accessibility for custom controls无障碍
221Prepare your tvOS apps for Dynamic TypetvOS
222Meet the new MetricKit性能
223Live Activities essentials实时体验
224Expand the capabilities of your Virtualization app开发工具
226Create live communication experiences实时体验
227Create UI prototypes using agents in XcodeXcode
230What’s new in assessment on macOS评估/安全
232Run local agentic AI on the Mac using MLXAI
233Explore distributed inference and training with MLXAI
234Design immersive environments for visionOS apps and the spatial web设计/visionOS
237What’s new in image understanding视觉智能
240Build intelligent Siri experiences with App SchemasSiri
241What’s new in the Foundation Models frameworkAI
242Build agentic app experiences with the Foundation Models frameworkAI
243Debug and profile agentic app experiences with InstrumentsAI
246LLM search using Core Spotlight视觉智能
250Principles of great design设计
251Communicate your brand identity on iOS设计
252Design no-code games with Reality Composer Pro 3visionOS
253Meet the Music Understanding framework媒体
254Integrate MusicKit into your app媒体
256Discover generated subtitles and subtitle styles媒体
258What’s new in Xcode 27Xcode
259Xcode, agents, and youXcode
260Get the most out of Device HubXcode
261Build, deliver, and automate with Xcode CloudXcode
262What’s new in SwiftSwift
265Build real-time apps and services with gRPC and SwiftSwift
267Migrate to Swift TestingSwift
268Profile, fix, and verify: Improve app responsiveness with Instruments性能
269What’s new in SwiftUISwiftUI
271Code-along: Build powerful drag and drop in SwiftUISwiftUI
272Use SwiftUI with AppKit and UIKitSwiftUI
274What’s new in SwiftDataSwift
275Code-along: Add persistence with SwiftDataSwift
277WidgetKit foundationsSwiftUI
278Modernize your UIKit appUIKit
279Explore advances in RealityKitvisionOS
280Iterate your spatial scenes faster with Reality Composer Pro 3visionOS
281Extend Reality Composer Pro 3 functionality with XcodevisionOS
282Discover the Spatial Preview frameworkvisionOS
283Explore enhancements to visionOS object trackingvisionOS
284Collaborate on structured 3D models in visionOSvisionOS
285Discover USDKit and what’s new in OpenUSDvisionOS
286Use foveated streaming to bring immersive content to visionOSvisionOS
287Build next-generation experiences with visionOS 27visionOS
289Modernize your AppKit appAppKit
290Craft clear names for features and labels in your app设计
292Design intuitive search experiences设计
295Validate your App Intents adoption with AppIntentsTestingSiri
297Best practices for integrating visual intelligence in your app视觉智能
298Meet the Evaluations frameworkAI
299Create robust evaluations for agentic appsAI
303Build a responsive camera app that launches quickly相机
304Implement high resolution photo capture相机
305Enhance RAW image processing with Core Image媒体
309Explore Retention Messaging in App Store Connect其他
310What’s new in ShortcutsSiri
312Meet the Now Playing framework媒体
314Learn CSS Grid LanesWeb
315Rediscover the HTML select elementWeb
319Build with the new Apple Foundation Model on Private Cloud ComputeAI
320Explore immersive website environments in visionOSvisionOS/Web
321Dive into lazy stacks and scrolling with SwiftUISwiftUI
322Compose advanced graphics effects with SwiftUISwiftUI
324Meet Core AIAI
325Dive into Core AI model authoring and optimizationAI
326Integrate on-device AI models into your app using Core AIAI
328Explore numerical computing in Swift with MLXAI
330Optimize custom machine learning operations with Metal tensorsMetal
334Build AI-powered scripts with the fm CLI and Python SDKAI
335Improve your prompts by hill-climbing with EvaluationsAI
338Build live production tools for Apple Immersive VideovisionOS
339Bring an LLM provider to the Foundation Models frameworkAI
341Support the Center Stage front camera in your iOS app相机
343Explore advanced App Intents features for Siri and Apple IntelligenceSiri
344Code-along: Make your app available to SiriSiri
345Discover new capabilities in the App Intents frameworkSiri
347Secure your app: mitigate risks to agentic featuresAI/安全
356Bringing Cyberpunk 2077 to Mac游戏
357Speedrun your game port with agentic coding游戏
358Make your game great with touch游戏
359Build real-time neural rendering pipelines with MetalMetal
369Find your accessory with Bluetooth Channel Sounding蓝牙
370Elevate your app’s text experience with TextKitUIKit/文本
372Unwrap PaperKit手写/媒体
375Create high-quality images using Image Playground视觉智能
378Unlock in-game content with StoreKit and Background Assets游戏
379Meet Trust Insights安全
388Find and fix performance issues in your Metal games游戏
389Discover container machines开发工具
391Offer subscriptions to groups and organizationsApp Store
393Supercharge your spatial workflows with Reality Composer Pro 3visionOS
394Get ready for WWDC26特别
397Dub Dub Daily: Day 2特别
398Dub Dub Daily: Day 3特别
399Dub Dub Daily: Day 4特别

二、Keynote(#101)要点

WWDC26 主题演讲,时长 76 分钟,约 70% 内容与 AI 相关。

Siri AI:自 2011 年以来最彻底的重构

  • 与 Google 合作,基于定制 Gemini 打造,正式从语音助手进化为 AI Agent
  • 首次拥有独立 App(类 ChatGPT 聊天界面),支持多轮对话、行程规划、自动删除聊天记录、iCloud 跨设备同步。
  • 三大核心能力:上下文记忆、屏幕感知(联动相册/短信等本地信息)、视觉智能(相机实时识别食物热量/翻译/营养标签/名片)。
  • 模型自由:可将 ChatGPT、Claude 等设为默认引擎;系统级 Extensions 让 App Store 聊天机器人直接接入 Siri。
  • 隐私:设备端 + Private Cloud Compute 双架构,数据不存储不外传;与 Google 合作的 Gemini 运行在 Apple PCC 服务器。
  • 首发仅限美国(英语),暂不支持中国大陆和欧盟。

Apple Intelligence 系统级升级

  • 照片 AI 编辑:Extend(智能扩图)、Reframe(空间重构)、Clean Up(清理重建)、自然语言编辑;自动携带隐藏 SynthID 水印。
  • Safari:Tab Topics 整理标签、Notify Me 网页更新通知、Describe an Extension 自然语言生成扩展。
  • 密码 App:一键修复弱密码/泄露密码,可代用户安全登录。
  • 快捷指令支持自然语言创建;Image Playground 支持照片级写实风格(运行在 PCC)。

六大操作系统

  • iOS 27:Snow Leopard 式务实进化,内存占用减少 20%、续航延长 1-2 小时、应用启动提速 30%;iPhone 11 起可升级;相机新增”Siri 模式”。
  • macOS 27 Golden Gate正式停止支持 Intel Mac(仅 M1 及后续);系统级透明度调节滑块。
  • iPadOS 27:共享 iOS AI 能力,台前调度 AI 自动整理窗口。
  • watchOS 27:AI 分析心率睡眠提前预警;Siri AI 登陆 Apple Watch。
  • visionOS 27:Siri 以可移动 3D 悬浮球呈现,无需唤醒词直视对话。
  • tvOS 27:AI 将普通视频超分至 4K,支持 HDR10+。

Liquid Glass 设计语言优化

系统级透明度滑块、全新图标设计、控件层叠优化。

人事变动

Tim Cook 作为 CEO 的最后一次 WWDC;John Ternus 于 2026 年 9 月 1 日接任 CEO,Cook 转任董事会执行董事长(Apple 新闻室)。


三、Platforms State of the Union(#102)要点

面向开发者的技术综述,时长 61 分 38 秒,围绕三大支柱:Apple Intelligence(AI 框架)、平台设计(Liquid Glass)、开发者生产力(Xcode 27 代理编码)

Apple Intelligence 开发者框架

  • Foundation Models 框架重建:与 Google 合作基于 Gemini 技术重建,支持图像输入与云端模型集成。
  • Dynamic Profiles:声明式 agentic 原语,单个会话动态切换指令和工具。
  • Core AI 框架:全新设备端模型运行框架,内置于操作系统,充分发挥 Apple Silicon。
  • 免费 PCC 访问:首启下载量 < 200 万的开发者可免费使用 Apple Foundation Models。
  • 开源:Foundation Models 框架夏季末开源。

Liquid Glass 开发者迁移

退出 Liquid Glass 的选项被移除,Xcode 27 重新编译自动采用新设计;macOS 统一更紧凑圆角;iPhone 应用可在 iPad / Mac iPhone Mirroring 上调整大小。

SwiftUI 与 Swift

  • SwiftUI:可重排容器、嵌套布局调整大小提速 2 倍、懒状态初始化、自动异步图像缓存。
  • Swift 6.4:anyAppleOS 可用性简写、defer 块中的 async 支持。
  • Notion 作为从跨平台 Web 迁移到原生 SwiftUI 的主要案例。

Xcode 27 与开发者工具

  • 体积缩小 30%,为 Apple Silicon 打造;设置 iCloud 同步、可自定义工具栏、色彩主题。
  • Device Hub:取代 Simulator,整合虚拟与物理设备。
  • 代理编码扩展:可运行测试、使用 Playground、端到端驱动应用。
  • 插件生态:Agent Client Protocol,Figma / GitHub 首发插件;与 Anthropic、OpenAI、Google 合作引入代理。

四、AI / Foundation Models / Core AI

What’s new in the Foundation Models framework(#241

重建的设备端模型具备更强推理与工具调用能力;新增视觉(Attachment(UIImage(...)));PrivateCloudComputeLanguageModel 提供 32K 上下文、推理级别、无需账户/密钥;LanguageModel 协议统一本地与服务器模型(开源 CoreAILanguageModelMLXLanguageModel);Anthropic/Google 发布 Swift 包;Dynamic Profiles、Evaluations 框架、fm CLI + Python SDK;核心框架开源可跑 Linux。

Build agentic app experiences(#242

DynamicProfile 声明多 agent 配置;DynamicInstructions 组合可复用指令;按阶段配置模型(brainstorming/planning/reviewing);historyTransform 管理历史;onResponse/@SessionProperty 生命周期;Baton-pass、Phone-a-friend 两种编排模式。

Debug agentic apps with Instruments(#243

FoundationModels Instrument 模板检查 agentic 流程;三大指标 time-to-first-token / tokens-per-second / total latency。

Meet the Evaluations framework(#298

衡量智能功能质量的新 Swift 框架;五步构建评估;与 Swift Testing 集成(@Test + .evaluates);Xcode Evaluations Report;Hill-climbing 评估驱动开发;ModelJudgeEvaluator 模型评判。

Create robust evaluations for agentic apps(#299

makeSamples 合成数据;validator 闭包;工具调用评估验证 how 不仅 what;轨迹期望(Trajectory Expectation)。

Build with Apple Foundation Model on PCC(#319

一行切换 PrivateCloudComputeLanguageModel;三级推理(light/moderate/deep);quotaUsage 限额处理;设备端 4K 上下文 vs PCC 32K。

Meet Core AI(#324

设备端 AI 部署框架,驱动 Apple Intelligence,利用 CPU/GPU/ANE;coreai-torch 将 PyTorch 转 .aimodelAIModel 加载、NDArray 输入、run(inputs:) 推理;KV 缓存优化、模型特化与 AOT 编译、Core AI instrument。

Dive into Core AI model authoring(#325

coreai-models 开源仓库;torch.exportTorchConverteroptimize()save_asset();SAM3(850M 参数)int4 量化从 3GB 压至 430MB;独立 Core AI Debugger;TorchMetalKernel 自定义 Metal kernel。

Integrate on-device AI models with Core AI(#326

SAM3 图像分割(CoreAIImageSegmenter);CoreAILanguageModel 结合 @Generable 宏;xcrun coreai-build compile AOT 预编译。

Bring an LLM provider to Foundation Models(#339

LanguageModel 协议 + LanguageModelExecutor;Transcript 映射;prewarm() 预热;流式响应;LanguageModelError

Build AI scripts with fm CLI and Python SDK(#334

fm respond/fm chat/fm schema object(预装 macOS 27);fm.generable 装饰器;管道到 shell 脚本。

Improve prompts by hill-climbing(#335

基于评估反馈迭代改进提示词;Cohen’s Kappa 衡量一致性;Few-shot 示例改进模型评判。

Secure your app: mitigate risks to agentic features(#347

间接提示注入;“致命三要素”(私有数据 + 不可信内容 + 外部通信);.onToolCall 安全检查点;PII 脱敏、Spotlighting。

Run local agentic AI on the Mac using MLX(#232

mlx_lm.server 本地运行 LLM;mlx.launch 分布式;MLXLanguageModel 接入 Foundation Models。

Explore distributed inference and training with MLX(#233

JAXCL over Thunderbolt 5 RDMA;mesh/ring 拓扑;张量并行(默认)与管道并行;分布式微调。

Explore numerical computing in Swift with MLX(#328

惰性求值、eval()grad 自动微分;conv2d;NumPy 风格 Swift API、GPU 加速。


五、Siri / App Intents / Shortcuts

  • Build intelligent Siri experiences with App Schemas(#240:预定义 Schema Domains 让 Siri 理解应用内容;IndexedEntity 语义搜索;屏幕感知。
  • Code-along: Make your app available to Siri(#344:日历领域实体(CalendarEntity/EventEntity);system.open schema 打开事件。
  • Discover new capabilities in App Intents(#345ValueRepresentation/PlaceDescriptorRelevantEntitiesSyncableEntity 跨设备同步;LongRunningIntent 后台运行。
  • Explore advanced App Intents features(#343ProvidesDialogShowsSnippetViewIntentDonationManager;View 注解。
  • Validate with AppIntentsTesting(#295:基于 XCUITest 的集成测试;无需 UI 自动化即可测 Intent/实体/Spotlight。
  • What’s new in Shortcuts(#310:截图/键盘连击/通知触发;“Use Model” 操作内置 AI;Storage 跨快捷指令共享数据。

六、视觉智能 / 图像 / Image Playground

  • What’s new in image understanding(#237GenerateIterativeSegmentationRequest 多种分割输入;Foundation Models 图像输入;BarcodeReaderTool/OCR 工具;Vision 登陆 watchOS。
  • Best practices for visual intelligence(#297IntentValueQuery + SemanticContentDescriptor.pixelBufferGenerateImageFeaturePrintRequest 图像相似度。
  • LLM search using Core Spotlight(#246SpotlightSearchTool 一行代码;GuidanceProfile 限定范围;ContactResolver 消歧。
  • Create high quality images using Image Playground(#375:新模型运行在 PCC,支持照片写实;多人物生成;风格预设;.imagePlaygroundSheet SwiftUI 集成。

七、Xcode 27 / 开发工具

  • What’s new in Xcode 27(#258:内置编码代理(Explore/Build/Refine/Orchestrate);Device Hub 独立应用;个性化选项。
  • Xcode, agents, and you(#259:Explore 用 walkthrough;Build 用 plan mode;Refine 用 Swift Charts 迭代;Orchestrate 描述高级目标自动协调。
  • Create UI prototypes using agents(#227:一次生成多种 UI 变体;填充真实示例数据;自定义调优面板。
  • Translate your app using agents(#213:上下文感知翻译;分批委派子代理;TRANSLATION.md 提供术语/语气指导。
  • Build with Xcode Cloud(#261:连接仓库即云端构建测试;Webhooks 扩展。
  • Improve app responsiveness with Instruments(#268:Swift Concurrency instrument + Time Profiler + System Trace 定位瓶颈。
  • Get the most out of Device Hub(#260:紧凑/完整窗口模式;画布实时显示设备画面;devicectl CLI。
  • Discover container machines(#389:Container 应用中轻量级持久化 Linux 环境。
  • Expand your Virtualization app(#224:macOS 客户机预配置;Accessory Access 框架 USB 直通;vmnet 自定义网络;DiskImageKit。

八、SwiftUI

  • What’s new in SwiftUI(#269:全新视觉风格;新 Document 协议;任意视图滑动操作;工具栏增强、AsyncImage 缓存、懒状态初始化。
  • Dive into lazy stacks and scrolling(#321:LazyVStack 仅加载可见视图;数据层用 Predicate 过滤;.onScrollTargetVisibilityChange 编程式滚动。
  • Compose advanced graphics effects(#322colorEffect/distortionEffect/layerEffect 三种着色器;Domain Warping;TimelineView 驱动动画。
  • Code-along: drag and drop(#271.reorderable()/.reorderContainer(for:)DragContainer 多项目拖动;pile/list/stack 预览。
  • Use SwiftUI with AppKit and UIKit(#272:AppKit Observation;集成 SwiftUI 组件;引入手势识别器。
  • WidgetKit foundations(#277:可瞥见/相关/可个性化三品质;新增 system extra large portrait 家族;containerBackground 玻璃材质。

九、Swift / SwiftData

  • What’s new in Swift(#262:人体工程学更新、并发改进、Swift-C 互操作(@C)、嵌入式 Swift。
  • What’s new in SwiftData(#274:Sectioning fetches;Codable 持久化自定义类型;ModelResultsObserver/HistoryObserver
  • Code-along: Add persistence with SwiftData(#275:Model 宏 + @Relationship@Query + Predicate 查询。
  • Build real-time apps with gRPC and Swift(#265:Protocol Buffers;双向流式 RPC(TaskGroup);客户端生命周期管理。
  • Migrate to Swift Testing(#267:利用测试框架互操作性增量迁移。

十、UIKit / AppKit / TextKit

  • Modernize your UIKit app(#278:全屏游戏模式;UIView Body 协议;可调整大小 iPhone 应用;Tab bar/sidebar 增强。
  • Modernize your AppKit app(#289:手势识别器替代跟踪循环;Liquid Glass 新角落同心性 API。
  • Elevate text experience with TextKit(#370:四层文本架构;NSTextViewportRenderingSurface 协议;代码编辑器行号、可折叠章节示例。

十一、Web / Safari

  • What’s new in WebKit for Safari 27(#204:超 1000 项引擎改进;CSS Grid Lanes;Customizable Select;HTML Model element;Immersive Website Environments。
  • Create web extensions for Safari(#216:manifest.json;Declarative Net Request;Content Scripts;App Store Connect 分发;跨 iOS/iPadOS/macOS/visionOS。
  • Get started with HTML Model Element(#215<model src> 加载 USDZ;stagemode="orbit"playbackRate 动画;usdcrush 压缩。
  • Learn CSS Grid Lanes(#314display: grid-lanes;结构化一轴释放另一轴;flow-tolerance
  • Rediscover the HTML select element(#315appearance: base-select::picker(select);富内容 <option>selectedcontent

十二、visionOS / RealityKit / 空间计算

本节汇总空间计算方向的会话,从平台级 visionOS 27 到 RealityKit、Reality Composer Pro 3、USD 工具链与 Apple Immersive Video:

  • Build next-generation experiences with visionOS 27(#287:本场介绍 visionOS 27 的新能力,指导开发者构建下一代 App、游戏以及空间体验;内容覆盖从应用到游戏再到空间体验的多种开发路径,帮助开发者选择适合自身场景的实现方式;面向已有 Apple visionOS 平台开发基础的受众,重点讲解如何利用新版系统的能力打造更具沉浸感的空间计算体验。
  • Explore advances in RealityKit(#279:本场 session 介绍 RealityKit 在 WWDC26 上的最新进展,目标是帮助开发者为应用和游戏打造更具沉浸感和真实感的体验;新增的能力包括交互式布料模拟(cloth simulations)、基于 NavMesh 的寻路(pathfinding)、混合现实光照(mixed reality lighting),以及可自定义的混响网格(reverb meshes)用于增强空间音频效果;视觉保真度方面带来改进的阴影、角色渲染增强,以及对 Gaussian splatting(高斯泼溅)技术的支持,可呈现更逼真的 3D 场景;RealityKit 是 Apple 的空间/3D 渲染框架,常用于 visionOS 与 AR 场景下的应用与游戏开发,本场适合希望提升空间应用表现力的开发者观看。
  • Discover the Spatial Preview framework(#282:介绍全新的 Spatial Preview 框架,它能将 Mac 上的内容直接带入 visionOS,让 Mac 应用以空间化的方式呈现;讲解如何构建支持实时同步与跨 Mac 和 visionOS 双向编辑的动态工作流,两平台间内容保持联动;深入介绍 SpatialPreview API,涵盖设备发现、2D 与 3D 会话集成等核心能力;还介绍了新的 Quick Look 功能,帮助开发者进一步提升 Mac 应用的空间化体验。
  • Explore enhancements to visionOS object tracking(#283:本场 session 介绍 visionOS 在物体追踪(object tracking)方面的最新增强,帮助开发者更好地将现实物体融入空间体验;讲解了空间配件输入(spatial accessory input)的相关进展,探讨如何通过配件与 visionOS 应用进行交互;展示了追踪移动中和手持物体(moving and handheld objects)的新方式,扩展了 visionOS 对动态物体的识别能力;面向 visionOS 开发者,帮助理解并应用更新后的物体追踪与配件输入能力,提升混合现实应用的交互表现。
  • Collaborate on structured 3D models in visionOS(#284:本场讲解如何在 visionOS 中让结构化 3D 模型真正可用,重点覆盖 USDZ 文件的准备工作,使导出后的各个部件在运行时仍可独立选择和操控;介绍如何在层级化装配(hierarchical assemblies)中操控单个实体(entity),从而对模型内部结构进行精细化交互;演示用剖切面(cross-sectional plane)查看模型内部组件,以及创建爆炸视图动画,用于设计评审与协作场景;整体面向 Apple Vision Pro 上的设计评审与协作体验,帮助开发者呈现更精细、可拆解的结构化 3D 内容。
  • Discover USDKit and what’s new in OpenUSD(#285:本场介绍 Apple 平台对通用场景描述 (USD/OpenUSD) 支持的最新进展,重点推出基于 Swift 的 USDKit 框架,让开发者能以原生 Swift 方式打开、遍历与编辑 USD 内容;介绍新的 USD 原语类型 Particle Fields(由 Apple 与 NVIDIA、Adobe、Pixar 通过 Alliance for OpenUSD 共同开发),使高斯泼溅 (Gaussian Splats) 可在 USD 中原生表示并与传统网格、材质合成进同一场景;讲解 USD 在 Web 端的落地——通过 Safari 的 Model 标签在 macOS 与 iOS 上直接将 USD 内容嵌入网页,并在 visionOS 上提供完整空间呈现,使 USD 像图片和视频一样成为 Web 的原生格式;梳理 USD 基础概念(Layers、Composition、Stages、Prims、Schemas、Attributes、Metadata)并结合 Swift 代码示例,同时介绍 MaterialX、OpenVDB 跨平台更新以及 Mac 版 Preview 中扩展的 USD 编辑与渲染工具。
  • Use foveated streaming to bring immersive content to visionOS(#286:介绍 FoveatedStreaming 框架,讲解其如何将远程渲染的沉浸式场景以完整保真度无线传输到 Apple Vision Pro;该框架将 visionOS 原生能力与第三方流式渲染技术相结合,演示案例基于 OpenXR 场景与 NVIDIA CloudXR 完成;讲解与 NVIDIA CloudXR SDK 的集成方式,说明动态注视点(foveated)流式传输如何在带来性能收益的同时仍保护用户隐私。
  • Supercharge your spatial workflows with Reality Composer Pro 3(#393:本场 session 聚焦 Reality Composer Pro 3,介绍如何完全在该工具内构建丰富的交互体验与精美的视觉特效,用于打造 visionOS 空间计算内容;Reality Composer Pro 是 Apple 为 visionOS 应用构建 3D 场景、动画与素材的核心创作工具,本场重点演示其内置的完整工作流,减少对外部工具的依赖;内容面向提升空间内容创作的效率与表现力,帮助开发者与设计师利用其强大的功能集实现更复杂的空间交互与视觉表现。
  • Iterate your spatial scenes faster with Reality Composer Pro 3(#280:本场 Session 介绍 Reality Composer Pro 3 的新功能,帮助开发者更高效地构建与迭代空间(spatial)场景内容;Reality Composer Pro 是 Apple 官方用于 visionOS 等空间体验的 3D 内容编辑工具,本版带来更多创作能力,包括添加内容和视觉效果等方面的新特性;讲解如何利用这些新功能加速空间体验的开发流程,提升场景制作的迭代速度;面向构建空间体验的开发者,聚焦于在实际工作流中用该工具更快地完成场景内容的搭建与调整。
  • Extend Reality Composer Pro 3 functionality with Xcode(#281:本场介绍 Reality Composer Pro 3 如何借助 Xcode 支持更大规模、更具挑战性的空间计算项目开发;讲解如何创建项目专属插件,用于在编辑器中编辑自定义组件并运行自定义系统;演示如何构建自定义 ScriptGraph 节点,从而完全掌控空间内容创作工作流;内容覆盖扩展编辑器、自定义组件与系统、自定义动画动作以及 Script Graph 节点等空间创作相关主题。
  • Design no-code games with Reality Composer Pro 3(#252:本场介绍如何使用 Reality Composer Pro 3 中的 ScriptGraph 功能,为 app 和游戏创作无需编写代码的 3D 内容;ScriptGraph 是 Reality Composer Pro 3 提供的可视化逻辑编辑工具,开发者可通过节点式编排而非手写代码来构建交互行为;Reality Composer Pro 是 Apple 用于创作 3D 与空间内容的工具,本session聚焦其第 3 代版本中面向无代码开发的新工作流程;讲解如何将上述无代码创作的 3D 内容集成到自己的 app 与游戏之中。
  • Design immersive environments for visionOS apps and the spatial web(#234:本场介绍如何为 visionOS 应用、网站以及 SharePlay 体验创建照片级真实感的沉浸式环境;讲解让环境真正具有沉浸感的设计原则,并覆盖应用与空间 Web(spatial web)等场景;内容涵盖如何创建或采集参考素材、准备高保真 CG 资产,并打造运动与光照等实时效果;还涉及如何将运动与空间音频(Spatial Audio)融入场景,呈现真实感的自然景观等环境内容。
  • Explore immersive website environments in visionOS(#320:本场介绍面向 visionOS 与 Apple Vision Pro 的新 JavaScript Immersive API,让网页能够将访客带入沉浸式虚拟环境;讲解如何用该 Web API 在网站内容中呈现空间化的虚拟环境,拓展 Safari/WebKit 在 visionOS 上的沉浸式 Web 体验能力;围绕 Web 开发场景展开,演示把普通网站升级为可在 Vision Pro 中沉浸式浏览的实现思路与用法。
  • Build live production tools for Apple Immersive Video(#338:本场聚焦 Apple Immersive Video(苹果沉浸式视频)的实时直播制作流程,带开发者走进现场制作背后的技术细节;讲解如何将沉浸式视频、空间音频与场景元数据打包,并依据 SMPTE 2110 标准通过 IP 网络进行实时传输;演示如何借助 Apple 的 Immersive Media Support、Video Toolbox 与 AVFoundation 三大框架来驱动实时的 Apple Immersive Video 工作流;内容涵盖实况制作概览、沉浸式直播的差异、沉浸式实况格式、实时媒体传输以及录制与回放等环节。

十三、Metal / 游戏 / 图形

  • Build real-time neural rendering pipelines(#359:MetalFX Denoising 统一放大 + 去噪;ML 命令编码器(MTLPackage);神经色调映射;TensorOps API。
  • Optimize custom ML with Metal tensors(#330:M5/A19 Pro GPU 每核心内嵌神经加速器;4/8 位量化(新增浮点与 2 位整数);协作张量;Core AI 集成。
  • Find and fix performance issues in Metal games(#388:Metal Performance HUD;Game Performance Overview 模板;metalperftrace CLI;StateReporting API;MetricKit。
  • Bringing Cyberpunk 2077 to Mac(#356:CD Projekt Red 移植经验;Game Porting Toolkit 评估;Shader Converter;MetalFX + Dynamic Resolution。
  • Speedrun your game port(#357:Game Porting Toolkit 4 AI 辅助;移植助手代理 discover/plan/validate;gpucapture/gpudebug CLI;Metal 4 显式内存管理。
  • Make your game great with touch(#358:Touch Controller 框架,触控布局 + 触觉反馈。
  • Unlock in-game content with StoreKit and Background Assets(#378:Unity 集成;Steam Asset Converter;新 Apple Unity 插件(C#);iOS 27 横屏支付页。

十四、相机 / 照片 / 媒体

  • Build a responsive camera app(#303:延迟启动 API;isResponsiveCaptureEnabled;确定性文件写入(ProRes)。
  • Implement high resolution photo capture(#304:12/24/48MP;四种捕获类型(全处理/曝光包围/Bayer RAW/ProRAW)。
  • Support Center Stage front camera(#341:iPhone 17 系方形传感器 95° 视场角;dynamicAspectRatiosmartFramingMonitor
  • Discover generated subtitles(#256:语音转文字 + 语言翻译;支持 HLS/直播;字幕样式预览。
  • Enhance RAW processing with Core Image(#305:RAW 9 基于分块 CoreML 模型在 ANE 运行;CIRAWFilter 20 参数。
  • Meet Music Understanding framework(#253:Key/Rhythm/Structure/Pace/Instrument/Loudness 六维分析;完全设备端。
  • Meet Now Playing framework(#312:连接媒体播放到锁屏/控制中心/灵动岛/CarPlay/StandBy。
  • Integrate MusicKit(#254:开发者令牌、授权、Music Picker、SystemMusicPlayer。

十五、其他框架 / 设计 / 隐私安全

  • 健康:HealthKit workout zones(#207)运动区间洞察。
  • 钱包/支付:Wallet(#209)新卡片类型;IAP(#210)12 个月月度订阅、Bundles/Suites、优惠码 API。
  • CarPlay/tvOS:CarPlay(#212)视频应用/MiniPlayer/语音模板;tvOS(#221)Dynamic Type。
  • 蓝牙/手写:Bluetooth Channel Sounding(#369)精确测距;PencilKit(#203PKStrokeRecognizer;PaperKit(#372)PaperMarkup 子元素。
  • App Store:Enhance presence(#205);Retention Messaging(#309);Group subscriptions(#391)。
  • 评估/安全:assessment on macOS(#230)逐功能无障碍控制;App Attest(#201)安全隔区绑定、启动验证类别、macOS ACL Blob OID;Trust Insights(#379)检测社交工程/胁迫,IsLikelyBeingCoachedInsight 三结果值。
  • 性能/实时:MetricKit(#222);Live Activities(#223);live communication(#226)。
  • 设备管理:managing Apple devices(#206)Apple Business 平台、声明式管理标准、ManagedApp 框架。
  • 设计:Principles of great design(#250);brand identity on iOS(#251)Liquid Glass 下 UI 层/内容层区分;intuitive search(#292);clear names(#290)。
  • 无障碍:custom controls(#220.adjustable trait;reading app(#219accessibilityNextTextNavigationElement、SwiftUI accessibilityLinkedGroup

十六、Dub Dub Daily 系列

官方每日推出的速览视频,汇总当天的大会要点与社区动态:

  • Dub Dub Daily: Day 2(#397:这是 WWDC26 第二天(Day 2)的官方每日回顾视频,集中汇总当日最重要的发布内容,方便开发者一站式了解大会进展;视频定位为「将最大的公告汇聚于一处」,帮助观众快速补齐当天 WWDC26 揭晓的全部信息;内容不止于罗列新闻,还会深入探讨塑造今年大会主题的关键方向,帮助开发者把握 WWDC26 的整体脉络;Dub Dub Daily 是贯穿 WWDC26 期间的每日系列节目,本集对应大会第 2 天的内容。
  • Dub Dub Daily: Day 3(#398:本场是 WWDC26 第三天的「Dub Dub Daily」每日总结栏目,聚焦当天 Apple Intelligence 相关的最新 AI 公告;内容围绕 Apple Intelligence 平台的演进展开,讲解最新动态对开发者 App 的实际影响与意义;节目帮助开发者了解当日 AI 公告要点,并探讨这些能力在应用中落地的可能性;「Dub Dub Daily」以每日回顾形式串联大会信息,便于开发者快速跟进 WWDC26 各天的重要发布。
  • Dub Dub Daily: Day 4(#399:本场为 WWDC26 第 4 天的「Dub Dub Daily」每日回顾节目,聚焦 Xcode 与开发者工具链的最新动态;围绕「让开发者构建得更快、更智能」这一主题,介绍本年度开发工具的升级方向;内容定位为当日要闻汇总,帮助开发者快速了解 Day 4 公布的开发工具相关更新;所涉背景常识:Xcode 是 Apple 官方集成开发环境,承担代码编写、调试、构建与上架等完整开发流程。

说明:Dub Dub Daily 为每日概览短片,官方未对其逐项内容单独详述,以上要点基于官方页面描述概括。

数据来源

  1. Apple Developer — WWDC26 Videos 目录
  2. Apple Developer — Platforms State of the Union(#102)
  3. Apple 新闻室 — WWDC26 开幕(100+ sessions)
  4. Apple 新闻室 — Tim Cook / John Ternus 人事任命
  5. Apple Developer — Core AI 主题页