底层分析

比如做一个NPU功能的分析：

1. 输入：数据（视频，音频），算法（模型）， 输出：运行结果数据

2. HOST和DEVICE之间除了数据交互，还有命令交互，状态交互。

3. 模型的编译放在HOST侧，可离线，可JIT

4. 数据并行：每个执行流处理一部分数据，处理的结果保存到不同的位置。

5. 模型并行：每个执行流执行同一个模型，也可以是不同模型。

6. 执行流可以有依赖，一个执行流执行完了，如何通知另一个执行流启动？要启动哪一个核，PC设置到哪儿，SP设置到哪儿？有多少资源空闲？如何调度。

7. HOST和DEVICE之间的数据搬运，是否使用DMA?

8. 模型空间如果不够用了，怎么管理?内存怎么管理？

9. NPU的内部高速缓存如何充分利用起来？