Product.
产品详情
模型库
计算机视觉分类/检测/分割
自然语言处理
transformer/bert
语音识别Istm/rnn
接口层
模型转换
自定义算子接口
推理接口
编译层
计算图优化
自动并行
内存优化
张量优化
产品模块
模型部署引擎包含六个模块：模型库，接口层，编译层，运行时，基础库和硬件库。其中硬件模块由第三方提供，例如x86_CPU,GPU,ARM_CPU等。
图迅基于不同的硬件平台打造对应的基础库、运行时、编译层和模型库，并且封装成接口提供给用户。
AI模型部署优化引擎
AI模型部署优化引擎具有完备的算子库、模型库和上下游工具链，API友好，操作简单。同时AI模型部署优化引擎可以适应多种硬件和操作系统，也可以达到高吞吐、低时延、优化内存和便捷实现自定义算子的效果，集可用性、易用性和高效、高可扩展性于一体。
产品介绍
AI模型部署引擎涉及很多方面，包括底层硬件，基于硬件的指令集和加速库，以及上层的张量优化和计算图优化。图迅自研的高性能计算优化引擎，其底层技术可以方便的迁移到神经网络部署引擎中，达到降低资源开销，减少处理时延的目的。
AI模型部署优化引擎结构图如下：
运行时
消息中枢
状态机
基础库
算子实现
张量计算库
通用转化工具
编译及代码生成
硬件库
系统管理
文件管理
硬件通信
加速计算库
