為什麼我採用 NeoCloud 玩 AI/agent?

NeoCloud 是新型態的雲端服務廠商， 主打提供 AI/LLM/GPU 算力， 按用量計費。 通常會部署許多開放權重模型， 像是 Google 的 gemma、 OpenAI 的 gpt-oss、 nVidia 的 nemotron、 deepseek 等等。 用戶可以小額付費取得 API key， 例如每次加值 10 或 20 美元， 就可以享用許多種不同的模型； 用完再買額度。 很多 NeoCloud 廠商也會跟 Anthropic、 OpenAI、 Google、 xAI、 Mistral 等等大型 AI 公司 (稱之為前沿模型大廠好了) 合作， 於是用戶也可以透過 NeoCloud 廠商使用專屬的前沿模型。 搜尋 "neocloud providers" 會找到 Top GPU providers 之類的清單， 搜尋 "ai inference providers" 會找到 Inference Providers for Consumer AI Apps 之類的清單。 常聽到的有 Together AI、 Baseten、 OpenRouter、 Deepinfra 等等。 也請見 技嘉解說文。

先說， 我的選擇未必適合你。 我退休之後， 把車賣掉； 交通主要靠大眾運輸、 YouBike、 機車、 計程車， 因為我覺得養車卻很少開， 不划算。 我的時間較多， 速度不太是考量； 也喜歡嘗試各種不同的可能性。 我的 AI 算力選擇， 也是基於類似的心態與習性。 以下是我看到的優點：

1. 由廠商幫我煩惱挑選、 購買、 設定 GPU 等等問題， 還有處理 GPU 汰舊換新的問題。
2. 由廠商幫我架設各種開放權重模型。
3. 不必成為單一前沿模型的訂戶， 甚至不必逐家註冊， 照樣可以想用哪一家隨時就用。 是的， 不只是玩 agent 的技術人員， 連一般人也可以透過 NeoCloud 廠商所提供的聊天介面使用前沿模型大廠所提供的服務。
4. 不只聊天， 包含語音轉字幕、 圖片生成、 影片生成等等各種不同模式的任務， 也可以在 NeoCloud 廠商所提供的平台上尋找適當的模型來派送。 特別適合偶爾才需要用一次的情境 - 畢竟我絕大多數時間還是只處理文字。

對於業餘人士來說， 這是很有吸引力的省錢省事選擇。

另一方面， 採用 NeoCloud 服務有兩大缺點： (1) 一定要有網路才可以用 (2) 你的對話資料上傳到雲端。 (1) 就無解囉； 我想談談 (2)。 新舊各類型雲端公司 (包含前沿模型大廠及 NeoCloud 供應商) 會拿你的對話記錄去做什麼事， 是另一個面向的問題， 這裡不討論； 這篇我只想談他們 (的 AI) 對你的了解能有多深。

隱私與個資外洩的風險有多高? 首先， 關心隱私個資外洩議題時， 重點不是前沿模型大廠 vs NeoCloud。 人類手動/口動對話 vs agent 呼叫， 兩者的量差異極大， 面臨的風險不太一樣。

當你以手動對話的方式透過 (向前沿模型大廠註冊的) 帳號使用前沿模型時， Anthropic、 OpenAI、 Google 等等很自然地會留下你完整的使用記錄， 進而據此產生個人化的回應。 所以我既會主動做一些設定讓我可以 跟 gemini 超頻倍速溝通 ， 也會 關掉 (對話過程當中自動產生的) 個人化記憶。

另一方面， 透過 API 呼叫的 agent 對話量終將 (如果現在還沒有) 遠遠超過人類手動/口動對話的量。 如果要 "完整記錄對話"， 就需要較大的硬碟空間； 如果只 "摘要重點" (用戶的生活習慣? 身心健康狀態?) 才小量儲存， 就變成每次對話都需要多呼叫另一個 AI 來處理這個不同的目的。 兩者都需要額外的成本， 廠商需要更高的動機才會去做。 然而， 資料量大也會產生新的隱私挑戰， 下面會再提到。

少數 NeoCloud 預設會儲存 API 呼叫的對話內容， 例如使用 Together AI 時， 必須啟用 ZDR (Zero Data Retention) 對話才不會被拿去利用； 多數廠商， 不論是 NeoCloud 或是向前沿模型大廠， 都只在特定情況下， 或是用戶主動 opt in 才會記錄 API 呼叫的對話內容。

NeoCloud 會有動機及能力記錄， 而且一定有在做的， 是每位用戶使用習慣的 metadata， 例如何時、 採用何種模型、 有多頻繁、 常出現哪些錯誤、 ... 等等。 如果你在意這件事， 那就應該改採自購 GPU 的方案。

甚至， 透過 NeoCloud 間接使用前沿模型， 也會因此而減少前沿模型大廠對你的記錄。 NeoCloud 廠商沒有動機向前沿模型大廠報告 「誰正在使用你家的 AI」， 就像電腦零售商沒有動機向華碩宏碁報告客戶個資。 除非特殊狀況， 例如收到法院傳票。 因此， 前沿模型大廠比較難直接把 「透過 NeoCloud 的使用行為」 跟你在大廠註冊的帳號連結起來。 如果它透過付費金流、 IP 位址/API 呼叫端特徵等等方式去連結， 一旦曝光， 會是公關災難。

所以， 如果你的 API 呼叫內容不包含 PII (personal identifiable information) 也不包含商業機密， 那麼採用 NeoCloud 的風險當然就不高； 但仍須考慮 metadata 長期累積所造成的隱私外洩。 如果有， 在「隱私與機密外洩風險」 議題中， NeoCloud vs 前沿模型大廠， 前者的風險也並不會比後者更高。 不過， 在大量呼叫的情況下， 要如何確保上傳內容都不包含 PII 或商業機密? 這就更挑戰了。 這是兩者的用戶都必須面對的問題。

當然， 以上的分析， 是指一般的用戶。 如果你是特定強權 (例如中共) 所關注的特定重要人物 (例如沈伯洋)， 那麼被針對性監控的管道確實是存在的。

所以， 如果你想玩 AI、 想玩 agent (以後我會撰文)， 不妨稍微研究一下 NeoCloud 廠商吧。 不過如果你挑的是 OpenRouter， 那就省事多了。 下一篇就來談它吧!