如何让AI推理更高效?(如何让ai推理更高效一点)
一,如何让AI推理更高效?
这个更多依赖于要处理的场景的计算需求和延迟需求，如果计算量非常小而延迟要求非常高的话，比如人脸闸机或是过关时候人脸比对这些场景的，其实计算量是非常小的，可能在每个闸机放一个比如功耗不到5W的的芯片就能满足计算和延迟需求；但是如果是在大的公共场合比如火车站这种计算量大的场景，就要放到后端去做整体的分析处理，所以是根据场景的不同去决定是在终端还是数据中心做处理。
二,如何让ai推理更高效一些
AI推理的问题在于数据量变小，模型参数固定，那么在给定模型且低并发的场景下，如何发挥推理的效果。理论上说这已经是不完全的软件问题了。虽然软件方面可以通过底层的并行设计、优化调度策略之类的方式提高在当前硬件上面的运行效率，但是这一切优化不如让硬件配合软件变一下来得痛苦。
但整体来讲，这是一个磨合模式，首先要有模型，才知道参数和网络结构，以及数据倾向性。而数据的类型和倾向性确定以后，硬件方面可以做进一步适配，以提供更高的性能和表现力。
总结：以上内容就是 推手游 提供的如何让AI推理更高效?详细介绍，大家可以参考一下。