ONNX 作为当下深度学习框架中最流行的中间表达方式,社区活跃。即使当下性能最佳的 TensorRT 早已支持 ONNX Parser,逐渐摒弃 CaffeParser,倒底这种 IR 有什么魔力?今天我们来一探究竟。

阅读全文 »

关于OnnxRuntime推理框架的介绍到框架的源码剖析以及项目中使用onnxruntime部署遇到的问题总结

阅读全文 »

关于应用FasterTransformer部署Transformer模型的经验总结与原理解读

阅读全文 »

近日,PyTorch 发布了1.12 版本,其中针对 Torchscript 部署优化做了一些改进, 并引入了 nvFuser,我们来一起看看吧。

阅读全文 »

如果不了解编译器对我们的C++代码做了什么手脚,很多困惑永远都解不开。

阅读全文 »