发文章
发文工具
撰写
网文摘手
文档
视频
思维导图
随笔
相册
原创同步助手
其他工具
图片转文字
文件清理
AI助手
留言交流
你在用 PyTorch 写 transformer 吗?请关注下这个项目。
推理服务器:Nvidia Triton(它接受查询,传输给引擎,并添加对推理有用的功能,如动态批处理或多推理引擎调度)
推理引擎:Microsoft ONNX Runtime(用于 CPU 和 GPU 推理)和 Nvidia TensorRT(仅限 GPU)
源代码:https://github.com/ELS-RD/transformer-deploy/blob/main/demo/quantization/quantization_end_to_end.ipynb
项目 GitHub:https://github.com/ELS-RD/transformer-deploy
来自: 520jefferson > 《机器学习/深度学习/tensorflow》
0条评论
发表
请遵守用户 评论公约
RetinaFace MXNet模型转ONNX转TensorRT
RetinaFace MXNet模型转ONNX转TensorRT.RetinaFace MXNet模型转ONNX转TensorRT1. github开源代码。RetinaFace: onnx_file: "../R50...
【杂谈】当前模型量化有哪些可用的开源工具?
TensorFlow Lite是谷歌推出的面向嵌入式设备的推理框架,支持float16和int8低精度,其中8bit量化算法细节可以参考白皮书“Quantizing de...
H100推理飙升8倍!英伟达官宣开源TensorRT-LLM,支持10 模型
英伟达官宣开源TensorRT-LLM,支持10 模型。根据英伟达官方博客,TensorRT-LLM通过四种方式优化了Nvidia GPU上的LLM推理性能。其次,Ten...
NLP界“威震天”袭来!英伟达1小时成功训练BERT,83亿参数打造史上最大语言模型
英伟达1小时成功训练BERT,83亿参数打造史上最大语言模型。然而,对于超过10亿参数的超大型的模型,单个GPU上的内存不足以匹配模型以及...
TensorRT(1)
TensorRT(1)1 简介。/usr/include/x86_64-linux-gnu/NvCaffeParser.h/usr/include/x86_64-linux-gnu/NvInfer.h/usr/include/x86_64-linux-gnu/NvInferPlugin.h/usr/include/x86_64-linux-gnu/NvOnnxCon...
Facebook致力人工智能 开源PyTorch1.0 AI框架
Facebook近日宣布,将于近期开源PyTorch 1.0 AI框架,据悉,该框架是PyTorch与Caffe 2的结合,可以让开发者无需迁移就从研究转为生产。...
这12个最新AI开源项目,你一定要收下
这12个最新AI开源项目,你一定要收下转载自:https://www.jiqizhixin.com/articles/2018-09-07-7,mark自己看 这12个最新AI开源项目,你...
【干货】基于深度学习的人工智能技术架构体系 你要的都有!
NCNN 是腾讯开源的终端侧AI 软件框架,支持多种训练软件框架的模型转换,是主要面向CPU 的AI 模型应用,无第三方依赖具有较高的通用性,...
模型部署翻车记:pytorch转onnx踩坑实录
模型部署翻车记:pytorch转onnx踩坑实录作者丨nihate审稿丨邓富城编辑丨极市平台。接下来我就尝试把pytorch模型转换到onnx文件,然后使...
微信扫码,在手机上查看选中内容