← 全部项目
案例研究 · RK3588 edge AI + on-device LLM
离线思考的相机
在 RK3588 NPU 上运行 CNN（ONNX → RKNN），并在 RKLLM 上结合 RAG 与 TinyLLM。
在 Rockchip RK3588 单板计算机上实现的边缘 AI，为 2026 年的自由职业项目。卷积神经网络（CNN）经 ONNX 到 RKNN 转换后在 RK3588 的 NPU 上对摄像头图像进行分类，结合检索增强生成（RAG）与 RKLLM 上运行的 TinyLLM 生成具备上下文的语音与文字回复，全部在设备端完成，无需云端。
- 机构
- Freelance
- 年份
- 2026
- 状态
- Prototype
- 通道
- CH3CH1
问题
视觉与语言模型通常依赖云端。目标：在小型设备上完全离线地完成图像分类并解释结果。
我做了什么
- 通过 ONNX → RKNN 转换，将 CNN 部署到 RK3588 NPU 上进行硬件加速推理
- 在 RKLLM 上结合 RAG 与 TinyLLM，完全在设备端生成具备上下文的语音与文字回复
技术栈
Rockchip RK3588 · CNN · ONNX · RKNN · RKLLM · RAG
成果
- 完全在设备端运行，无需云端调用
- 自由职业项目（2026）
视觉模型从 ONNX 转换为 RKNN，在 NPU 上进行硬件加速推理。语言部分由 RKLLM 在本地运行小型语言模型，RAG 流程以本地上下文为依据生成回答，设备无需联网即可工作。
我在 NVIDIA Jetson 板卡（Nano、Orin）、Rockchip 系列（RK3588、RK3576、RK3566）以及 Raspberry Pi 上从事设备端 AI、嵌入式 Linux 与计算机视觉开发。
图集
从我的存档里翻出来的：这个项目能找到的照片都在这里了。
