4
将 AI 推理速度提高 5-20 倍 Nebullvm
source link: https://www.oschina.net/p/nebullvm
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
将 AI 推理速度提高 5-20 倍
Nebullvm 利用多个深度学习（DL）编译器提高 AI 推理能力，只需几行代码就能将 AI 推理的速度提高 5-20 倍.
这个开源库将你的 AI 模型作为输入，并输出一个优化版本，在你的机器上运行速度快 5-20 倍 。Nebullvm 测试多个深度学习编译器，以确定在你的特定硬件上执行你的模型的最佳方式，而不影响你的模型的准确性。
nebullvm 的目标是让任何开发者都能从 DL 编译器中受益，而不必花费大量的时间来理解、安装、测试和调试这项强大的技术。
- Deep learning model agnostic。nebullvm 支持所有最流行的架构，如 transformers、LSTM、CNN 和 FCN。
- Hardware agnostic。该库现在可以在大多数 CPU 和 GPU 上工作，并将很快支持 TPU 和其他深度学习专用 ASIC。
- Framework agnostic。nebullvm 支持最广泛使用的框架（PyTorch、TensorFlow和Hugging Face），并将很快支持更多框架。
- 安全。一切都在你的机器上本地运行。
- 易于使用。只需几行代码就可以安装库和优化你的模型。
- 充分利用最好的深度学习编译器。有大量的 DL 编译器可以优化你的 AI 模型在硬件上的运行方式。开发人员需要花费大量的时间在每个模型部署时安装和测试它们。这个库为你做了这个工作。
展开阅读全文
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK