Optimum

Optimum은 Intel, Furiosa, ONNX Runtime, GPTQ 및 저 수준의 PyTorch 양자화 함수를 지원하는 최적화 라이브러리입니다. Intel CPU/HPU, AMD GPU, Furiosa NPU 등 특정 하드웨어와 ONNX Runtime과 같은 모델 가속기의 성능을 향상시키기 위해 설계되었습니다.

Update on GitHub