聯想發佈端側AI新技術 可使PC本地推理能力媲美o1-mini
【太平洋科技快訊】5 月 7 日,聯想在創新科技大會(Tech World)上展示了其在端側算力方面的最新創新成果——“聯想推理加速引擎”。這款由聯想、清華大學及無問芯穹聯合研發的推理引擎,是專爲高效 AI PC 推理而設計的軟硬件協同優化平臺,可以讓一臺普通PC的本地推理能力媲美OpenAI去年發佈的o1-mini雲端模型。
“聯想推理加速引擎”採用了多項前沿技術,包括高性能並行解碼、算子融合優化以及異構計算技術。這些技術的協同作用,使得該引擎在多種應用場景下能夠大幅提升推理速度,同時顯著降低功耗和內存佔用。此外,當與大模型推理芯片相結合時,硬件加速與軟件優化的無縫協作進一步放大了性能提升,形成了強大的疊加效應。
爲了直觀展示“聯想推理加速引擎”的強大實力,大會現場設置了一場別開生面的“競速賽”。三臺配置相同的 AI PC 同時解答 2024 年高考數學壓軸題。結果顯示,初代大模型耗時 27 秒,答案得分爲 0 分;二代大模型耗時 26 秒,答案滿分;而搭載了“聯想推理加速引擎”的二代大模型僅耗時 13 秒,答案同樣滿分。
聯想集團董事長兼 CEO 楊元慶在大會上表示:“很快,大家就會在即將發佈的下一代 AI PC 上體驗到‘聯想推理加速引擎’帶來的強大本地推理能力。其性能可以與雲端大模型相媲美,但成本卻低得多。”這一創新技術的發佈,預示着 AI 在個人計算領域的應用將更加廣泛和高效,爲用戶帶來更加智能和便捷的體驗。