Roofline,端侧AI部署工具链,Roofline 做的是边缘 AI 的部署工具链，目标是把模型顺利塞进各种芯片里跑起来。 产品分三件。SDK 基于他们自研的新一代 AI 编译器，负责一站式部署；Runtime 是 SoC 级的推理引擎
Roofline 定位于边缘 AI 部署工具链主要使命只有一个：把模型顺利塞进各种芯片里跑起来。它不造模型、不造芯片，专攻从训练好模型到芯片高效落地的“中间地带”。
1. SDK —— 基于自研新一代 AI 编译器的一站式部署引擎
解决实际问题：“模型转换失败、算子不支持、量化精度损失大、图调整耗时久”
-
自研编译器前端： 原生支持 PyTorch/ONNX/TFLite，自动处理算子融合、Layout 转换、死代码消除。说起来，
-
硬件感知的后端调整： 针对目标 SoC 的 ISA、内存层级、 搬运自动生成调度代码。
免去手写汇编/Intrinsic 的痛苦。
-
混合量化工具链： 支持 PTQ/QAT 一键量化至 INT8/INT4/FP16。内置校准数据自动采样与精度补偿策略，守住精度底线。
2. Runtime —— SoC 级统一推理引擎。屏蔽硬件差异
解决实际问题：“每款芯片写一套推理代码、多线程调度乱糟糟、热插拔/动态加载不支持”
-
统一 C API / C++ API： 上层应用同一套代码，无缝切换底层 CPU/GPU/NPU/DSP 背端。
* 零拷贝内存管理，支持零拷贝互操作。*
* 内置多流并发调度器，自动平衡计算负载与功耗热设计功耗。*
* 支持模型热更新与动态 Shape 推理，适配真实量产场景。*
3. 性能仪表盘 —— 拒绝“实验室数字”，还原真实场景表现
|
| 指标维度 | 实验室理想值 | Roofline Dashboard 实测关注点 | ||||||||||
| 延迟 | Batch=1。冷启动忽略 | P99 延迟冷启动耗时连续推理抖动 | ||||||||||
| 吞吐 | 纯计算峰值 FPS | 端到端 FPS多流并发吞吐 | ||||||||||
| 内存 | 模型权重大小 | 峰值工作集内存碎片率共享内存开销 | ||||||||||
| 功耗 | 芯片 TDP理论值 | 推理平均功耗性能功耗比热节流触发点 |
|