AI 上新｜我讓 AI「偷窺」了我的屏幕，它有機會變成我第二個大腦
行業深度文章的撰寫，在堆積如山的數據分析文件和瀏覽器標籤頁中掙扎了整整兩天。
那種感覺，就像在自己的知識庫裡溺水——你明確地記得看過某個數據、某段論述，卻無論如何也無法在信息的洪流中重新定位它。
我們早已習慣了這種數字時代的「失憶症」，也習慣了將希望寄託於 AI。我們像一個耐心的飼養員，不斷地在應用之間複製、粘貼、切換，把上下文一點點「喂」給 ChatGPT，只爲換取一次靈光乍現。
此時，一個名爲「Glass」的項目引起了我的注意。這款據開發團隊介紹致力於成爲用戶「數字大腦拓展」的應用，並非又一個 AI 聊天框的變體，而是一個完全迥異的存在。
它將「被動觀察」這一理念，原汁原味地注入了我的 macOS，並由此讓我得以一窺，當 AI 成爲你心智的延伸時，人機交互的終極形態，究竟有多遠。
01
面向未來的AI助手，但是開發者版
Glass 沒有任何傳統意義上的「界面」。它的「安裝」，更像是一套開發者環境的配置流程，需要你熟悉 Python 和 Node.js。它的「實體」，則只是一個靜默地躺在菜單欄的圖標。
進入 Glass，首先是幾個直接的權限請求：
屏幕錄製權限
麥克風訪問權限
輔助功能權限
Glass 需要的用戶隱私權限都非常敏感｜ 圖片來源：極客公園
沒有任何花哨的引導，每一個權限都直指其核心：一個需要完整觀察你、傾聽你的 AI。
如果僅看 Glass 安裝完成之後的效果，可能很難意識到這是一個 AI 應用——你甚至是可以選擇是否將其隱藏：這裡並非物理意義上的隱藏，而是在數字世界中隱藏，即使你將屏幕分享給其他用戶，他們也無法看到 Glass 的存在。
Glass 以一個懸浮藥丸的形式運行於系統中｜ 圖片來源：極客公園
這正是 Glass 的核心理念：AI不應是一個需要被頻繁喚起注意到的「工具」，而應是一個與你伴生的「記憶體」。
傳統 AI 助手的工作模式是「你問，我答」，這個過程是割裂的、非連續的。而 Glass 顛覆了這一點，它的工作模式是「我觀察，你隨時問」。它在後臺默默地記錄你的一切數字化行爲，並將其內化爲自己的記憶。
它不再需要你費力地去「解釋上下文」，因爲它本身，就活在你的上下文裡。
02
當記憶不再是負擔
看完了它極簡的「頁面佈局」，我很好奇 Glass 的實戰表現如何。
先說結論，Glass 主要有我們已經熟悉的部分，也有不同於現有任何 AI 工具使用體驗的部分。
首先，它並不是一個現有 AI 大模型工具的便捷訪問入口，Glass 雖然可以直接提問，但問題的內容總是與屏幕中顯示的內容相關。你可以直接通過快捷鍵，來向它提問各種關於當前屏幕的內容。
但這只是 Glass 真正能力的冰山一角：當你點擊懸浮欄中的 Listen 按鈕，Glass 就會切換爲監聽模式，從靜態讀取你當前桌面上的內容，變爲持續記錄你電腦屏幕過去出現過的各種畫面信息與音頻，並基於此生成一份總結報告。
在會議紀要場景中，Glass 不僅能實時生成一份會議紀要重點，並且還能實時轉錄音頻，當然目前的體驗中還只支持英文，對於中文語音的支持欠佳。
但 Glass 比起其他會議紀要類 AI 工具最大的不同，是它不受某個 App 的限制，可以全局記錄並提取過去屏幕中的內容，並且根據記錄下來的內容實時生成摘要以及問題總結。
除了老生常談的會議記錄功能，Glass 的應用場景還能體現在看視頻上：我在 Glass 開啓的狀態下，打開一個主題是關於 F1 車手劉易斯-漢密爾頓的採訪視頻。在不到三分鐘之後，Glass 就通過目前讀取到的內容，幫我生成了一份當前內容摘要。
在這份摘要中，Glass 還會主動提供數個進一步問題，供你進一步瞭解視頻內容，當然在這個階段，你同樣可以自己提問你仍然感覺疑惑的問題。
這份摘要內容本身會隨着屏幕內容數據的不斷增加，進一步更新更多相關內容，目前 Glass 分析本身支持中文內容，但自動生成的內容彙總目前還只能以英文的方式展示——這種情況我們在如今的 Apple Intelligence 中 ChatGPT 的體驗中也曾見過，都是模型本身支持中文內容、應用層沒有做適配產生的問題。
Glass 的屏幕內容摘要功能支持中文，但支持的不多｜ 圖片來源：極客公園
在直接針對屏幕內容的提問中，由於我可以直接使用中文提問，因此回答也會採用中文回覆，這很大程度上提高了這一功能對中文用戶的友好程度。
Glass 可以針對記錄的屏幕內容提問｜ 圖片來源：極客公園
全局讀取屏幕信息並記錄，是一個潛力幾乎無上限的功能，我遇到的第一個震撼瞬間，是在 VSCode 裡重構一個複雜的項目。
當我使用 Gemini 修改完一串代碼，然後腦中突然閃過一絲不確定。此時，我沒有急於修改撰寫的那段代碼，而是直接通過快捷鍵喚出 Glass，問道：「幫我分析一下修改的那部分代碼的核心邏輯。」
幾秒種後，一個對話框以通知的方式彈出，用清晰的列表總結了函數的用途和我的修改點。
我沒有複製任何代碼，沒有跳轉任何頁面。我只是提出了一個基於「屏幕內容」和「需求」的問題，Glass 就從屏幕中爲我提取了答案。
另一個，則是 Glass 對非結構化信息（如會議語音）的驚人處理能力。在一場持續一個多小時的線上腦暴會中，我全程投入討論。會議結束後，Glass 已經自動生成了一份詳盡的會議紀要，不僅區分了不同發言人，甚至提煉出了關鍵的結論和待辦事項列表。
它就像一個永不疲倦的書記員，將稍縱即逝的多模態內容流，沉澱爲結構化的信息資產。
可以說，Glass 的首秀，就將目前AI助手最大的痛點——上下文的缺失和跨應用操作的割裂感解決了。同時作爲一個開源項目，Glass 即使是全時監控屏幕下，也沒有對電腦的內存產生特別巨大的壓力——這一點足以讓我願意讓它全天運行在我的電腦上，在我需要它的時候將它喚醒。
話雖如此，但我仍然不建議電腦內存在 16GB 以下的 Mac 設備（當前 Glass 只有 macOS 版本，Windows 版本在開發中）長時間運行 Glass，仍然給電腦造成明顯的卡頓現象。
但簡單的產品應用邏輯，也說明 Glass 放棄了所有取巧的路徑，它依賴雲端服務器對你的行爲進行分析（至少在開源版本中），同時選擇在本地進行大量的結構化信息整理任務。這意味着所有的屏幕錄製、語音識別，幾乎都直接壓在了處理器本身上，自然也就帶來了更高的硬件負載。
03
記憶延伸的源流與未來
Glass 的推出，雖然只是一個名爲 Pickle 的小團隊的開源項目，但其背後的理念，卻可以追溯到上個世紀。
1945 年，在美國科學家範尼瓦·布什（Vannevar Bush）發表於《大西洋月刊》的著名文章《誠如所思》（As We May Think）中，一個名爲「記憶擴展器」（Memex）的革命性概念被首次提出。這個構想遠早於個人電腦和互聯網的誕生，卻以驚人的前瞻性預示了未來信息技術的發展方向，並對後來的超文本（Hypertext）和個人計算領域產生了深遠的影響。
《誠如所思》（As We May Think）｜ 圖片來源：Wikipidia
「記憶拓展器」的核心邏輯，是通過技術手段，將個人的知識和記憶外部化，使其成爲一個可供隨時訪問的「外接大腦」。
是不是很熟悉？Glass 所做的事情，正是 Memex 理念在 AI 時代的具象實現。它不再侷限於存儲文檔和書籍，而是將用戶動態的、實時的「行爲」本身作爲記錄對象，通過大型語言模型的「關聯索引」，最終實現一個遠超任何傳統知識庫的、活的、個人的記憶系統。
Glass 這個項目更深遠的目標——「爲每個人建立一個活的數字克隆」，則更是這一理念的極致延伸。它不僅要成爲你的記憶，更渴望成爲你的「代理」，一個可以理解你、模仿你、甚至代替你執行任務的數字孿生。
但回到現實，目前 Glass 的體驗顯然距離這個目標距離還很遙遠：Glass 需要你手動輸入 OpenAI 或 Gemini 的 API Keys，現階段 Glass 也提供了登錄賬號、免費試用開發團隊提供的 API Key 額度的解決方案。同時正常使用也需要前置安裝 Python 與 Node 環境庫，雖然門檻實際上並不高，但也並沒有達到「開箱即用」的地步。
即便如此，Glass 在開源之後還是迅速在 GitHub 上吸引了不少關注，短短四天已經破超過 3K Star，迅速在 AI 工具圈走紅。
在 Glass 背後，開發團隊 Pickle是一家致力於構建「數字思維擴展（Digital Mind Extension）」的公司。他們剛剛在上個月從 Y Combinator 吸引到了 60 億韓元（約 3100 萬人民幣）的投資。
Pickle 脫胎於另一個開源項目 Cheating Daddy，而 Cheating Daddy 又是另一個「臭名昭著」的項目 Cluely 的開源版本——後者在今年曾因爲閉源、付費以及最重要的面試作弊這一賣點頗受關注，同時也引來的諸多爭議。
由於 Pickle 項目中存在大量 Cheating Daddy 項目的內容直接複用，目前 Cheating Daddy 創始人就這一點在 X 上對 Pickle 發起討伐，指責「開源項目並不意味着可以拿來照抄」，但這件事尚未得到 Pickle 團隊的正面迴應。
但目前作爲一個輕量級的解決方案，Glass 仍然不失爲一種值得觀察的思路；此前主打「全天候記錄用戶信息」的 Rewind.ai 項目，就因爲對設備的內存佔用過高，同時對結構化內容整理效果不盡人意，因而迅速退出 AI 工具的主流舞臺。
Glass 這類產品所代表的「主動感知 AI」，這個曾在科幻作品中反覆出現，代表着高效與智能的詞彙，距離真正到我們的日常生活中落地，或許已經不遠。
一個輕量級工具的脫穎而出，更是說明了這個過程中，用戶核心需求的提煉——沒錯，一個完美的記憶體的確很強大，AI 的輔助也的確很努力，但人們想得到的，或許僅僅是一個能讓自己工作更順暢、思考更專注的普通的好工具。
本文源自：極客公園