ONNX 作为当下深度学习框架中最流行的中间表达方式,社区活跃。即使当下性能最佳的 TensorRT 早已支持 ONNX Parser,逐渐摒弃 CaffeParser,倒底这种 IR 有什么魔力?今天我们来一探究竟。

阅读全文 »

关于 OnnxRuntime 推理框架的介绍到框架的源码剖析以及项目中使用 onnxruntime 部署遇到的问题总结

阅读全文 »

关于应用 FasterTransformer 部署 Transformer 模型的经验总结与原理解读

阅读全文 »

近日,PyTorch 发布了 1.12 版本,其中针对 Torchscript 部署优化做了一些改进,并引入了 nvFuser,我们来一起看看吧。

阅读全文 »

如果不了解编译器对我们的 C++ 代码做了什么手脚,很多困惑永远都解不开。

阅读全文 »