onnx_run_rust
ONNX-инференс на Rust
Запуск инференса ONNX-моделей на Rust — без Python и PyTorch во время выполнения.Running ONNX-model inference in Rust — no Python or PyTorch at runtime.Запуск інференсу ONNX-моделей на Rust — без Python і PyTorch під час виконання.
О проектеOverviewПро проєкт
Обучать модель удобно в Python с PyTorch, но тащить весь Python и PyTorch в продакшен — тяжело: огромные зависимости, медленный старт. Этот проект показывает другой путь.
Модель обучается в PyTorch и экспортируется в формат ONNX — самодостаточный вычислительный граф. После этого инференс идёт на чистом Rust через ONNX Runtime, с опциональным ускорением на видеокарте NVIDIA через CUDA.
Демонстрация на классике: свёрточная сеть, обученная распознавать рукописные цифры MNIST. Соединяет две мои темы — машинное обучение и Rust как язык для надёжного продакшена.
Training a model is convenient in Python with PyTorch, but dragging all of Python and PyTorch into production is heavy: huge dependencies, slow startup. This project shows another way.
The model is trained in PyTorch and exported to the ONNX format — a self-contained computation graph. After that inference runs in pure Rust via ONNX Runtime, with optional NVIDIA-GPU acceleration through CUDA.
Demonstrated on a classic: a convolutional network trained to recognize handwritten MNIST digits. It connects two of my themes — machine learning and Rust as a language for reliable production.
Навчати модель зручно в Python із PyTorch, але тягнути весь Python у продакшен — важко. Цей проєкт показує інший шлях.
Модель навчається в PyTorch і експортується в ONNX — самодостатній граф. Інференс іде на чистому Rust через ONNX Runtime, з опційним CUDA.
Демонстрація на класиці — згорткова мережа на MNIST.
ОсобенностиFeaturesОсобливості
- Инференс ONNX-моделей на чистом Rust
- Без Python и PyTorch во время выполнения
- Опциональное ускорение на GPU через CUDA
- Обучение в PyTorch, экспорт в ONNX, запуск в Rust
- ONNX-model inference in pure Rust
- No Python or PyTorch at runtime
- Optional GPU acceleration via CUDA
- Train in PyTorch, export to ONNX, run in Rust
- Інференс ONNX-моделей на чистому Rust
- Без Python і PyTorch під час виконання
- Опційне прискорення на GPU через CUDA
- Навчання в PyTorch, експорт в ONNX, запуск у Rust