想在自己的電腦離線跑AI, 就要安裝模型管理器 ollama。 Ollama 安裝、模型比較、硬體需求與工具整合 之類的中文教學資訊已經很豐富。 我這裡只補充記錄一點沒那麼容易找到的資訊。
在 linux 底下, 安裝完成之後, 用 ollama pull ...
下載回來的模型的相關檔案都放在這裡:
/usr/share/ollama/.ollama/models/ 。
其下有兩個子目錄: blobs/ 底下是真正的模型檔 (佔很大的空間);
manifests/registry.ollama.ai/library/ 子目錄底下則是元資料,
就是描述每個模型的資訊。
在 library/ 子目錄裡執行這句:
(echo 'sha256,model,size' ; for f in */* ; do F=$f jq -r '.layers[] | [.digest[7:12], $ENV.F, .size] | @csv' $f ; done) > ~/ollama-model-sizes.csv
可以產生 ~/ollama-model-sizes.csv , 內含每個模型 (可能包含好幾個檔案)
所佔用的空間, 及 (在 blobs/ 底下) 的對應檔案名稱前幾個字。
可以用 visidata
或 LibreOffice 等等其他試算表工具查看整理。
我的電腦是很舊的文書機, 也沒打算升級。 架 ollama 並沒有要認真使用, 只是好玩以及為了以後玩其他東西時可以測試確認連線成功。 所以我只下載了 (由小到大) 超小且胡言亂語的 smollm/135m、 勉強可對話的 granite4/350m、 gemini 推薦的 qwen2.5:1.5b 以及超出我的電腦運算能力的 gemma4/e4b。
大人問小孩: 「全世界的玩具隨便你挑? 這怎麼可能?
如果我要的玩具只有一個, 正好又被別人借走了呢?」
沒有留言:
張貼留言
因為垃圾留言太多,現在改為審核後才發佈,請耐心等候一兩天。