ONNX Runtime

简介

ONNX Runtime 是微软开源的机器学习推理引擎，支持 ONNX 格式模型的高性能推理。支持 CPU、GPU、NPU 等多种硬件后端，广泛用于语音识别、图像处理等 AI 应用。

特性

• 多硬件后端支持
• ONNX 标准格式
• 模型量化优化
• 跨平台运行
• Python/C++/JS API
• 生产级性能

安装

# Python
pip install onnxruntime
# Node.js
npm install onnxruntime-node
# GPU 版本（CUDA）
pip install onnxruntime-gpu

常用命令

# Python 推理
import onnxruntime as ort
session = ort.InferenceSession("model.onnx")
result = session.run(None, {"input": data})
# Node.js 推理
const ort = require("onnxruntime-node")
const session = await ort.InferenceSession.create("model.onnx")