CoreAI Models

📌 核心价值：苹果在 WWDC 2026 重磅推出的端侧 AI 框架 Core AI，对标 CoreML 的下一代推理引擎，原生支持 20+ 主流开源模型导出到设备本地运行

Apple CoreAI Models 是 Apple 官方开源的端侧 AI 全栈工具包，把 Hugging Face 上的主流模型（GPT-OSS、Qwen3、Whisper、Stable Diffusion、SAM3 等）一键导出成 .aimodel 文件，让 iPhone、iPad、Mac 在不联网的情况下本地跑大模型。

---

🚀 什么是 CoreAI Models？

2026 年 6 月 9 日的 WWDC 大会上，苹果正式发布 Core AI 框架，接替服役 9 年的 CoreML。CoreAI Models 是配套的官方开源仓库（GitHub: apple/coreai-models，2026-06-08 上线），定位是「模型导出 + Python 原语 + Swift 运行时 + Agent Skills」的一站式端侧 AI 工具链。

仓库截至 2026-06-12 已经攒到 816 ⭐ / 56 🍴，托管在 BSD-3-Clause 协议下。它解决的痛点非常具体：开发者想在自己的 App 里跑开源大模型，但 Hugging Face → CoreML 的转换链路复杂、Swift 运行时缺位、KV cache 与精度配置踩坑无数。

核心定位：把 20+ 主流开源模型（LLM、多模态、ASR、检测、扩散）一键导出到 .aimodel，配合 Swift Package 嵌入 App，无网本地推理

---

✨ 仓库四大组件

仓库结构按职能切分成 4 个子目录，对应"导出 → 编写 → 运行 → 接入"全链路：

目录	职能	典型内容
models/	模型目录 + 导出 recipe	22 个模型族，每个含 README + 转换脚本
python/	Python 原语 + 导出工具	coreai-torch、coreai-opt 压缩器
swift/	Swift Package 运行时	coreai-models 包，含加载 / 推理 / 资源管理
skills/	Coding Agent 技能插件	Claude Code / Codex CLI / Gemini CLI 三家插件

---

🛠️ 5 分钟跑通示例：把 Qwen3 导出到 iPhone

步骤 1 — 安装 uv（仓库推荐的 Python 包管理）

brew install uv
# 或
curl -LsSf https://astral.sh/uv/install.sh | sh

步骤 2 — 克隆仓库并列出支持的模型

git clone https://github.com/apple/coreai-models.git
cd coreai-models
uv run coreai.model.registry --list-models

执行后会打印出当前所有可导出的模型族，例如 gpt_oss、qwen3、mistral、whisper、stable-diffusion、sam3 等。

步骤 3 — 按模型 README 操作（以 GPT-OSS 为例）

每个模型目录下都有一份独立 README，详细列出：

• 该模型的 PyTorch checkpoint 来源（Hugging Face repo）
• 推荐的导出参数（精度、KV cache、tokenizer 路径）
• 转换完成后产物结构（.aimodel + 资源文件夹）

注意：语言模型必须搭配 tokenizer、扩散模型必须串联多个 .aimodel 形成 pipeline，转换脚本会自动生成完整的 resource folder，无需手动拼接

步骤 4 — 在 Swift App 中加载 .aimodel

import CoreAI
import CoreAIModels

let bundle = try await CoreAIModelBundle.load(
    url: Bundle.main.url(forResource: "qwen3-0.6b", withExtension: "aimodel")!
)
let session = try await LanguageModelSession(bundle: bundle)

let response = try await session.generate(
    prompt: "用一句话介绍 WWDC 2026。"
)
print(response)

---

🧠 性能实测：M4 Mac 上 Qwen3 0.6B 是 MLX 的 2.47 倍

根据 Wccftech 在 M4 Mac 上的实测数据（2026-06-10 发布）：

推理框架	端侧 Qwen3 0.6B 解码速度	相对 CoreML
Core AI	~ 87 tokens/s	2.47×
MLX	~ 35 tokens/s	1.0×
CoreML	~ 22 tokens/s	0.63×

Core AI 比 MLX 快 2.47 倍，比上一代 CoreML 快近 4 倍，推理延迟首次进入「可实时对话」区间

来源：新浪财经 - 苹果 CoreAI 端侧 AI 架构测试

---

🏗️ 整体架构（4 层栈）

整个工具链是一套 4 层分层架构，从上层开发者到下层 Apple 芯片硬件：

• L1 — 开发者 / Coding Agent：直接通过 coreai-skills 插件调用 Claude Code / Codex CLI / Gemini CLI
• L2 — CoreAI Skills：3 个 expert skill（working-with-coreai / model-authoring / model-compression-exploration）把 PyTorch 模型作者经验沉淀成可复用流程
• L3 — Runtime：Python（coreai-torch 导出 + coreai-opt 压缩） + Swift（coreai-models 包运行时）
• L4 — Models：.aimodel 文件 + 资源文件夹（tokenizer、KV cache 索引、pipeline 配置）

---

🤖 独家亮点：Agent Skills 插件

这是仓库最容易被忽视、却最实战的部分。苹果直接给 Claude Code / Codex CLI / Gemini CLI 三大主流 coding agent 写了 3 个 expert skill：

Skill 1：working-with-coreai

端到端 PyTorch 模型部署工作流，覆盖 coreai-torch 导出 + Core AI runtime 推理。

Skill 2：model-authoring

模型作者经验沉淀：BC1S layout、op 兼容性、KV cache 模式、精度规则、MoE、常见问题 — 把苹果内部工程团队的踩坑经验全部文档化。

Skill 3：model-compression-exploration

系统化探索权重压缩配置（量化 + palettization），用 coreai-opt 自动跑 sweep 找出精度 / 体积最优解。

安装命令

Claude Code：

/plugin marketplace add git@github.com:apple/coreai-models.git
/plugin install coreai-skills@coreai-models

Codex CLI：

codex plugin marketplace add https://github.com/apple/coreai-models
codex
/plugins

Gemini CLI：

gemini extensions install /path/to/coreai-models/skills

装上 skill 后，coding agent 会自动按苹果官方推荐流程处理 PyTorch 模型，避免踩 KV cache / 精度 / op 兼容性三大坑

---

📊 与竞品对比

横向对比 CoreAI Models 与另外 4 个端侧推理方案：

维度	CoreAI Models	llama.cpp	Ollama	Apple MLX	Core ML
模型覆盖	22 个官方 model	100+ 社区	100+ 社区	数十个	数十个
Apple 官方维护	✅	❌	❌	✅（社区）	✅
Swift 一等公民	✅	⚠️ 需 C bridge	⚠️ 需 server	⚠️ 实验性	✅
PyTorch 直转	✅ coreai-torch	❌ GGUF	❌ GGUF	⚠️ 需脚本	⚠️ 需 coremltools
Agent Skills	✅ 3 个 expert	❌	❌	❌	❌
模型压缩工具	✅ coreai-opt	⚠️ 自写	⚠️ 自写	⚠️ 实验性	⚠️ 需 coremltools
开源协议	BSD-3-Clause	MIT	MIT	MIT	Apple EULA（部分）

CoreAI Models 是唯一同时具备「Apple 官方维护 + PyTorch 直转 + Swift 一等公民 + Agent Skills」四要素的方案

---

📦 已支持的 22 个模型族

按职能分类（截至 2026-06-12 仓库 models/ 目录）：

• 大语言模型（LLM）：gpt_oss、gemma3、mistral、mixtral、qwen2、qwen3、qwen3_moe、roberta、t5
• 多模态 / 视觉：clip、depth-anything、efficient-sam、pvt、sam3、yolo
• 音频：wav2vec2、whisper、clap
• 图像生成：flux2、stable-diffusion
• 超分辨率：edsr

每个模型目录下都有一份独立 README，说明 PyTorch checkpoint 来源、导出参数、Swift 调用示例。开发者只需按 README 操作即可，无须自己研究 conversion recipe。

---

💡 适用场景

场景 1：iOS / macOS App 嵌入本地 LLM

功能说明：把 Qwen3-0.6B 或 GPT-OSS 导出为 .aimodel，嵌入自家 App，无需联网即可在用户手机上做对话、文本总结、翻译。

输入要求：训练好的 PyTorch checkpoint + tokenizer + 模型 README 中指定的精度配置。

输出效果：iPhone 上 87 tokens/s 实时对话体验（基于 M4 Mac 实测等比推算）。

适用场景：

• 离线写作助手 / 翻译 App
• 隐私敏感的医疗 / 法律助手
• 弱网 / 无网环境（飞行模式、地下停车场）

场景 2：图像 / 视频 App 集成 SAM3 / Stable Diffusion

功能说明：用 sam3 模型做精准分割，用 stable-diffusion 做本地图像生成，用 depth-anything 做 AR 深度估计 — 全部跑在用户设备上。

输入要求：PyTorch checkpoint + 资源文件夹（VAE / CLIP / scheduler 配置）。

输出效果：iPad 上实时图像分割 / 生成，无云端 API 调用成本。

适用场景：

• 创意类 App（滤镜、修图、AI 绘图）
• AR 应用（深度估计、空间重建）
• 移动端离线 OCR / 表单识别

场景 3：Coding Agent 自动调用 Core AI 工具链

功能说明：开发者用 Claude Code / Codex CLI 时，安装 coreai-skills 插件后，agent 会自动调用 coreai-torch 导出模型、自动用 coreai-opt 跑压缩 sweep、自动生成 Swift 集成代码。

输入要求：本地有 PyTorch 模型代码 + uv 包管理 + 任意一种 coding agent CLI。

输出效果：从「模型作者」到「App 集成」全流程由 agent 自动完成，无须手动研究 Apple 内部文档。

适用场景：

• 独立开发者快速验证端侧模型
• 团队批量集成多个开源模型到产品
• AI 工程团队沉淀「模型部署 SOP」

---

💰 定价方案

完全免费 + 开源（BSD-3-Clause）

• ✅ 仓库代码：BSD-3-Clause 协议，可商用、可改源码、闭源分发
• ✅ Apple 官方维护：与 iOS 27 / macOS 27 / Xcode 27 同步迭代
• ✅ 模型本身：仍受各模型原始 license 约束（如 GPT-OSS 用 Apache-2.0，Qwen3 用 Apache-2.0，Stable Diffusion 用 CreativeML Open RAIL-M）
• ✅ 无 token 计费、无 API 调用费、无云端依赖

💡 与 Ollama / OpenAI API 相比，CoreAI Models 永久 0 调用费，模型权重一次下载永久本地使用

---

🎯 总结

Apple CoreAI Models 是 WWDC 2026 端侧 AI 战略的开发者基础设施：把 22 个主流开源模型、Python 导出工具、Swift 运行时、Coding Agent 技能插件打包进一个 BSD-3 开源仓库。对 iOS / macOS 开发者而言，这是 9 年来首次出现的「Apple 官方端侧推理全家桶」。

实测在 M4 Mac 上跑 Qwen3 0.6B 比 MLX 快 2.47 倍、比 CoreML 快近 4 倍 — 端侧实时对话终于进入「生产可用」区间。

推荐指数： ⭐⭐⭐⭐⭐（满分 5 星，端侧 AI 赛道年度最佳开源项目）

适合人群：

• ✅ iOS / macOS App 开发者（想在自家产品里集成 LLM / 多模态）
• ✅ 端侧 AI 研究者（关注 Apple 芯片推理性能）
• ✅ Coding Agent 重度用户（Claude Code / Codex CLI / Gemini CLI）
• ✅ 隐私敏感行业（医疗 / 法律 / 金融 — 必须本地推理）

不太适合：

• ❌ 仅做云端 API 调用的开发者（用 OpenAI / Anthropic SDK 即可）
• ❌ 非 Apple 生态（CoreAI 仅支持 Apple Silicon，Android / Windows 需走 llama.cpp）

GitHub 仓库： apple/coreai-models

Apple 官方介绍： Core AI 框架

---

数据截至 2026-06-12，最新模型列表请以 GitHub 仓库 models/ 目录为准。