一種深度學(xué)習(xí)推理運算方法及中間件,所述方法通過推理中間件用于具有不同推理運算庫的硬件平臺,所述方法包括:根據(jù)硬件環(huán)境,初始化所述推理中間件支持的推理運算庫;調(diào)用當(dāng)前使用的推理運算庫,對數(shù)據(jù)進(jìn)行推理運算;輸出推理運算的結(jié)果.本申請的方法及中間件可以根據(jù)不同的硬件平臺選擇運行模式,選出最適合該硬件平臺的推理運算庫,使硬件平臺發(fā)揮最優(yōu)性能,本申請可根據(jù)不同的硬件平臺,支持其對應(yīng)的推理加速方案,無需專業(yè)技術(shù)人員進(jìn)行繁瑣的移植工作,提高了用戶體驗.