我在筆記本本地運行DeepSeek:全過程是這樣的

在沒有網絡連接的情況下運行人工智能模型,這聽起來很棒,但通常需要強大且昂貴的硬件。然而,情況並非總是如此:DeepSeek的R1模型對低性能設備來說是一個有用的選擇——而且它的安裝也出奇地容易。

當你使用像ChatGPT這樣的在線人工智能聊天機器人時,你的請求是在OpenAI的服務器上處理的,這意味着你的設備無需承擔繁重任務。你需要持續的網絡連接來與人工智能聊天機器人通信,而且你永遠無法完全掌控自己的數據。爲人工智能聊天機器人提供支持的大型語言模型,如ChatGPT、Gemini、Claude等,運行起來要求極高,因爲它們依賴於具有大量顯存(VRAM)的圖形處理器(GPU)。這就是爲什麼大多數人工智能模型是基於雲的。

本地人工智能聊天機器人就像其他軟件一樣直接安裝在你的設備上。這意味着你使用人工智能聊天機器人時不需要持續的網絡連接,而且隨時都能發出請求。DeepSeek - R1是一個可以安裝在許多設備上的本地大型語言模型。其精簡的7B(70億參數)模型是一個更小、經過優化的版本,在中等性能的硬件上運行良好,讓我無需雲處理就能生成人工智能響應。簡單來說,這意味着響應更快、隱私性更好,並且能完全掌控自己的數據。

在設備上運行DeepSeek - R1相當簡單,但要記住,你使用的是一個比DeepSeek基於網絡的人工智能聊天機器人功能較弱的版本。DeepSeek的人工智能聊天機器人使用大約6710億個參數,而DeepSeek - R1大約有70億個參數。

你可以按照以下步驟在你的計算機上下載並使用DeepSeek - R1:

這將把70億參數的DeepSeek - R1模型下載到你的計算機上,允許你在終端中輸入查詢並接收響應。如果你遇到性能問題或者崩潰,可以嘗試使用要求較低的模型,在上述命令中用1.5b替換7b。

雖然該模型在終端裡運行得十分順暢,但如果你想要一個像ChatGPT那樣具有適當文本格式、功能齊全的用戶界面(UI),你也可以使用像< a href="#" rel="noopener noreferrer nofollow">Chatbox< /a>這樣的應用程序。

如前所述,由於它使用的是更強大的模型並且所有處理都在雲端進行,所以其響應不會像DeepSeek的在線人工智能聊天機器人那樣好(或那樣快!)。但讓我們看看較小的模型表現如何。

爲了測試7B參數模型的性能,我給了它一個方程式並讓它求積分。它的表現讓我挺滿意的,特別是因爲基礎模型通常在數學方面表現不佳。

我得承認,這不是最複雜的問題,但這正是在本地運行大型語言模型(LLM)如此有用的原因。就是要有個能隨時處理簡單查詢的東西,而不是所有事情都依賴雲端。

我發現本地運行DeepSeek - R1的最佳用途之一是它對我的人工智能項目有幫助。這特別有用,因爲我經常在飛行途中編寫代碼,那時沒有網絡連接,而且我在調試時非常依賴大型語言模型(LLM)。爲了測試它的效果如何,我給了它一段故意添加了愚蠢錯誤的代碼。

X = numpy數組([1, 2, 3, 4, 5]).重塑爲(-1, 1)的形狀

y = numpy數組([2, 4, 6, 8, 10])

模型 = 線性迴歸模型

模型對X和y進行擬合

新的X = numpy數組([6, 7, 8])

預測結果 = 模型.predict(新的X)

它輕鬆處理了代碼,但要記住,我是在一臺僅配備8GB統一內存的M1版MacBook Air上運行這個程序的。(統一內存是在CPU、GPU以及片上系統(SoC)的其他部分之間共享的。)

在打開集成開發環境(IDE)並且運行着幾個瀏覽器標籤頁的時候,我的MacBook性能受到了嚴重影響——我不得不強制退出所有程序才能讓它恢復響應。如果你有16GB內存,甚至是一箇中等水平的GPU,你可能就不會遇到這些問題。

我還使用更大的代碼庫對它進行了測試,但它陷入了思考循環,所以我不會依賴它完全取代更強大的模型。也就是說,它對於快速生成小型代碼片段仍然是有用的。

我也很好奇這個模型處理謎題和邏輯推理的能力如何,所以我用蒙提·霍爾問題對其進行了測試,它輕鬆地解決了這個問題,但我因爲另一個原因開始真正欣賞DeepSeek了。

如屏幕截圖所示,它不只是給你答案——它會帶你逐步瞭解整個思考過程,解釋它是如何得出解決方案的。這表明它是在對問題進行推理,而不是簡單地從其訓練數據中回憶一個記住的答案。

在本地運行大型語言模型(LLM)最大的缺點之一是其知識更新截止點過舊。由於它無法訪問互聯網,查找近期事件的可靠信息可能頗具挑戰性。在我的測試中,這種侷限性很明顯,而當我要求對初代iPhone進行簡要概述時,情況變得更糟——它生成的回答既不準確又無意間很滑稽。

初代iPhone顯然不是搭載iOS 5系統發佈的,也不是在不存在的“iPhone 3”之後推出的。幾乎所有內容它都答錯了。我用其他幾個基本問題對它進行了測試,但不準確的情況仍在繼續。

在DeepSeek(深極智能)遭受數據泄露之後,知道我可以在本地運行這個模型而不用擔心我的數據被泄露,這讓人感到安心。雖然它並不完美,但擁有一個離線的人工智能助手是一個巨大的優勢。我很樂意看到更多這樣的模型被整合進智能手機等消費設備中,特別是在我對蘋果智能(Apple Intelligence)失望之後。