
AI推理框架
Tengine是OPEN AI LAB(開放智能)推出的AI推理框架,致力于解決AIoT應(yīng)用場景下多廠家多種類的邊緣AI芯片與多樣的訓(xùn)練框架、算法模型之間的相互兼容適配,同時提升算法在芯片上的運行性能,將從云端完成訓(xùn)練后的算法高效遷移到異構(gòu)的邊緣智能芯片上執(zhí)行,縮短AI應(yīng)用開發(fā)與部署周期,助力加速AI產(chǎn)業(yè)化落地。
簡介
為了解決AIoT應(yīng)用落地問題,Tengine重點關(guān)注嵌入式設(shè)備上的邊緣AI計算推理,為大量AIoT應(yīng)用和設(shè)備提供高性能AI推理的技術(shù)支持。一方面可以通過異構(gòu)計算技術(shù)同時調(diào)用CPU、GPU、DSP、NPU等不同計算單元來完成AI網(wǎng)絡(luò)計算,另一方面,它支持PaddlePaddle [3], PyTorch, TensorFlow,Caffe, MXNet, DarkNet, One Flow, ONNX等主流訓(xùn)練框架及網(wǎng)絡(luò)模型格式。 [1]ONNX官方認(rèn)證的戰(zhàn)略合作伙伴之一。
Tengine于2017年12月31日在Github上開源。
2018年11月9日Tengine與Arm中國AIPU構(gòu)成人工智能平臺“周易”在“2018年烏鎮(zhèn)世界互聯(lián)網(wǎng)大會”發(fā)布。
Tengine應(yīng)用了技術(shù)創(chuàng)新。在產(chǎn)品化上具備商用級標(biāo)準(zhǔn),框架開源與商業(yè)服務(wù)同步并行。目前已經(jīng)與20家以上的SoC芯片廠商完成對接適配。
CSDN 2019年發(fā)布的《中國AI應(yīng)用開發(fā)者報告》顯示,Tengine是開發(fā)者最喜愛的本土AI推理框架 [2],在全球開發(fā)者生態(tài)中,Tengine 排名第八位。 [3]
Tengine與Open CV建立長期戰(zhàn)略合作,與主流國產(chǎn)操作系統(tǒng)完成相互兼容認(rèn)證,全面支持國產(chǎn)芯片、國產(chǎn)操作系統(tǒng)。