大模型微调与部署
动手实践手册
面向参赛学生的上手手册:按模块动手完成云端调用、模型微调与部署、端侧 Demo。
应用赛道说明
了解赛题方向与赛事阶段,再对照下方模块动手练习
应用赛道聚焦移动终端应用开发,要求参赛团队将创意转化为可行的 AI 解决方案, 并落地 vivo 终端设备,提升对大模型的应用能力与编程技能。
运用 AI 大模型等工具,围绕手机 AI 助手、手机系统 AI 体验, 探索移动办公/学习、出行、影像等场景的创意创新开发。 作品形态包括但不限于 APP、智能体、快应用、插件 等,最终须能在 vivo 手机上运行。
vivo 开放云测平台与蓝心端侧大模型能力, 鼓励队伍考虑产品的端侧化设计。 对应本手册模块四(Android 端侧)及相关官方文档。
为晋级队伍提供模型微调支持,帮助进一步完善作品。 对应本手册模块二、三(模型微调平台训练 → 部署 API 调用)。 模块二提供可直接上传的 STEM 示例训练集。
本手册与赛道的关系
四个实践模块覆盖「云端调用 → 微调训练 → 部署验证 → 端侧落地」链路,与应用赛道「创意落地 vivo 终端」的目标一致。建议先通读本节,再按模块顺序完成实验。
怎么用这本手册
建议按模块顺序操作;先完成「核心步骤」,再按需做「进阶实践」
| 模块 | 内容 | 目标 |
|---|---|---|
| 准备 | 环境与凭证 | Python 依赖就绪,拿到 AppKey |
| 模块一 | 云端 API | OpenAI SDK 跑通一次对话 |
| 模块二 | 模型微调平台 | 下载示例训练集 → 创建 LoRA 任务 → 转换/部署 |
| 模块三 | 模型微调平台 API | 用部署凭据调用微调模型 |
| 模块四 | Android 端侧 | 专用手机安装官方 Demo;接入见 id=1802 |
| 答疑 | 常见问题 | 对照 FAQ / 官方文档 |
- 云端
/v1/chat/completions调用成功 - 在 模型微调平台走通训练,并理解转换/部署两个出口
- 分清两套鉴权(AppKey vs sk-xuanji)
- 比赛专用手机跑通官方端侧 Demo
- 等训练成功后完成转换与部署
- 自建 Android 工程接入 SDK + 文本审核
- 多模态 / LoRA 端侧加载
- 把能力嵌进参赛作品
环境准备
开始实践前完成账号与依赖准备
开始前准备
先安装 Python 3.9+(端侧同学另装 Android Studio),并准备好竞赛账号与 AppKey。
- 竞赛平台 → 复制
AppKey - 模型微调平台
- 文档中心:云端 / 模型微调平台 API / 端侧
pip install openai requests
# 端侧另备:Android Studio、adb
-
确认 AppKey 已复制,且
pip install openai requests成功
端侧实验设备
培训课程统一使用现场提供的比赛专用手机(USB 连接 + ADB),不需要登录云真机平台。详见 模块四 · Android 端侧。
两套凭证别混
- 模块一:
Bearer {AppKey} - 模块三:部署后
Bearer sk-xuanji-{app_id}-{base64(app_key)}