膜拜大佬。可以了解下onnx和tensorrt对推理性能的提升效果吗？需要制定的GPU设备吗（V100，T4）可以执行吗？期待infer脚本的发布。
推理脚本可以参考https://github.com/Tlntin/ChatGLM-6B-TensorRT项目，有详细的推理脚本以及转转tensorrt的工具
· Sign up or log in to comment
