• advantage

    Advantage

    优势特点

    全新编程模型，，，开放编程接口

    通用编程接口库

    执行和存储模型简化数据切分和数据流操作

    自适应图优化策略及算子泛化

    进行算子融合等高层图优化，，，并提供动态性支持

    全新profiling工具

    准确定位系统的软、、硬件性能瓶颈，，提高性能分析的效率

    系统级设备虚拟化

    虚拟化实现计算、、存储、、、、网络的解耦

    资源可灵活切分，，，实现最大化利用率从而降低成本

    高加速比分布式训练能力

    云燧集群通信库添加了RDMA peer-direct特性，，，节约了网卡成本且支持多租户隔离

    在拓扑算法上进行了升级以更好地支持资源弹性分配

    Architecture

    Architecture

    AI计算及编程软件平台

    Platform

    Platform

    训练推理引擎

    训练加速引擎

    基于算子泛化技术及图优化策略，，，支持主流深度学习框架下的各类模型训练；利用Horovod分布式训练框架与GCU-LARE®互联技术相互配合，，，为超大规模集群高效运行提供解决方案。。

    开放升级的编程模型和可扩展的算子接口，，，，为客户提供了自定义的开发能力。。。。

    推理加速引擎

    自研AI推理框架TopsInference，，，提供了更轻量通用的推理图优化能力。。支持众多推理模型，，，，并在高吞吐量和低延迟上做了大量优化工作，，，能满足各种推理场景的需求。。

    可以提供Python、、、、C++的API接口，，大量内建的算子融合策略，，，模型量化和混精支持，，以及多模型调度。。。

    站点地图