把買 GPU 的錢省下來租雲端服務： 建立 aws bedrock 模型與價格清單

想玩龍蝦 🦞、 不想買 GPU => 租雲端的 LLM 來用。 因為我有 AWS 的點數， 那就拿 AWS BedRock來用吧!

[7/8] 補充說明： 但 aws 其實比較貴。 如果你不像我有點數， 建議問一下 AI： 「有哪些可替代 AWS Bedrock 和 OpenRouter、可租用開放權重模型的平台？ 請比較 AWS Bedrock、OpenRouter 以及你推薦的其他方案的價格(以整體概況為主)。 另外，也請比較它們所提供的模型種類 (多樣性)，以及其他你認為重要的面向。」 Gemini 跟 ChatGPT 都推薦 DeepInfra。 另外還有 Together AI、 Groq、 Novita AI 等等。

回到 AWS BedRock。 請參考： 給小白的 bedrock 簡介、 bedrock 網頁介面試用心得。 不過， 我喜歡下指令， 所以是在 debian 上面安裝 awscli 套件來測試。 假設你已經 用 aws configure 命令設定好 access key， 也略微熟悉 jq。 我們的目的只是要跟 OpenClaw 接軌， 所以只關心有哪些模型可選擇、 如何下簡單的呼叫指令， 以及價格。

ollama 雜記： 模型檔案位置與大小

想在自己的電腦離線跑AI， 就要安裝模型管理器 ollama。 Ollama 安裝、模型比較、硬體需求與工具整合 之類的中文教學資訊已經很豐富。 我這裡只補充記錄一點沒那麼容易找到的資訊。

在 linux 底下， 安裝完成之後， 用 ollama pull ... 下載回來的模型的相關檔案都放在這裡： /usr/share/ollama/.ollama/models/ 。 其下有兩個子目錄： blobs/ 底下是真正的模型檔 (佔很大的空間)； manifests/registry.ollama.ai/library/ 子目錄底下則是元資料， 就是描述每個模型的資訊。

星際大戰角色同框頻率視覺化 (graphviz 飆速初體驗 / 用 jq 把 json 轉 csv / perl 的試算表模式)

想知道誰最常跟莉雅公主同框嗎? 不用人工計算，我們用幾行指令就能畫出來。 StarWars-social-network 這個專案整理了六集的星際大戰裡每一集內的角色同框頻率。 我們用 graphviz 把它畫出來， 順便學一下如何用 jq 把 json 格式轉成 csv， 以及 perl 處理 csv 檔的好用模式。

用 umap 製作二手捐贈平台地圖

又是一篇中興大學通識課要用的講義。 對長期讀者來說， umap 的部分是重播； 不過 gemini 的部分可以參考。

visidata： 終端機下的輕薄短小試算表

大推! 文字視窗底下的試算表軟體 visidata 超級輕薄短小， 我已使用好幾個月了， 雖然還不是很熟， 但已足以處理大部分簡單的工作。 習慣 vim 按鍵的人， 會很容易上手。 它可以處理 csv、 ods、 xlsx、 ... 等等 許多格式。 我偶爾拿它來處理 json， 不過大部分時候還是處理 csv 檔。 你可以在 visidata 裡面寫 python 運算式計算新欄位， 但無法儲存公式， 只能儲存運算結果， 適合做一些簡單、 用丟即棄的運算。

把所有帳號的信件都接收到自己的伺服器上 (四)： 郵件標籤/搜尋工具 notmuch

假設你已經 用 mbsync 之類的把郵件下載到自己的 linux 機器， 以 maildir 的形式儲存。 今天要介紹 debian 的 notmuch 套件， 它可以跟 neomutt 等等 MUA 搭配使用； 不過今天先只介紹在命令列上獨立使用 notmuch。

製作你自己的某路線公車站牌地圖

這是我在中興大學上通識課要用的講義。 長期讀者請忽略這篇 :-)

用 zq 處理 json 檔第二層陣列的語法

在 zq 簡介文 當中我們用 over 來簡單處理 json 檔裡面的一層陣列； 今天我學會處理第二層陣列的方法。 今天的測試資料檔是 「台中市公車的所有路線及所有停靠站」。 如果你有自己的 tdx 服務 的帳號， 可以把下面這段裡面的 「私密目錄」、 「用戶ID」、 「用戶密碼」 及 「都市名稱」 四個地方改成自己合適/想要的值。 如果沒有 tdx 的帳號， 也可以直接下載 我預先抓回來的版本 並解壓縮。

ip 指令漂亮列印

查看所有網卡裝置的指令 ip a 印出來的資料令人眼花撩亂； 可是大部分我都看不懂也沒在看。 可以只印看得懂的欄位就好嗎？ 如果你的網路知識跟我一樣弱， 想要略過大部分資訊， 可以先安裝 zq， 然後在 ~/.bashrc 裡面加上這一句： alias ipa="ip -j a | zq -f csv 'over this | {ifname,address,ip_addr:missing(addr_info[0].local)?\"\":addr_info[0].local} | fuse' - | column -s, -t" 那麼下次進入 bash， 就可以用 ipa 指令查看精簡版的資訊。

繪製 (公共腳踏車租賃地點、公車站牌、...) 群聚(地)圖不必改程式碼

上個學期教資料視覺化， 其中一個主題是繪製客製地圖， 就做了這個例子： 台中公共腳踏車租賃地點。 像這種 marker 個數太多太密集的地圖， 需要用 cluster map 來做， 當訪客拉近 (zoom in) 時， 才把一個 cluster 拆成更多個小的 clusters。

雖然 umap 也可以製作 cluster map (例： 清冠一號中醫診所地圖) 不過 umap 只能顯示每個 marker 的名稱； 用我的小程式則可以顯示所有 properties 的完整資訊。 請先下載 程式碼， 然後用瀏覽器打開其中的 index.html， 拉近拉遠測試一下。 如果是 firefox， 要先到 about:config 裡面把 security.fileuri.strict_origin_policy 設成 false； 如果是 chromium， 必須先關掉所有 chromium 視窗， 再從命令列上重新啟動： chromium --allow-file-access-from-files 。 詳見 javascript Can Read Local Files。

json 裁剪/轉檔 (例如轉 csv) 都交給它了： 強大且易用的 zq

在 hacker news 上面看到這篇 Introducing zq: an Easier (and Faster) Alternative to jq 。 玩懂了之後， 發現用它來轉檔 (json => csv 或 csv => json) 及篇輯/篩選 json 檔的內容超方便， 甚至比 jq 簡單很多！ 只是他們把 zq 的太多功能與特色擠在一篇文章介紹， 所以步調太快， 有點難懂。 這裡我拿臺中市 151 公車停靠站 tcbus-151.json 來作範例， 展示最常用的 zq 基本語法。 這個檔案是從 ptx 公共運輸整合資訊流通服務平台 撈出來的。

噗浪 rss 備份： 轉成 json 再轉 html

先前我一直用 plurk-list 這個 php 小程式從噗浪所提供的 rss 來備份我自已的噗浪。 可是最近突然失效了。 原來是噗浪的 rss 格式有小的變動， 時間順序變顛倒了。 反正我本來就不喜歡 php 語言， 乾脆整個重寫。 Rss 是 xml 格式， 但是處理 xml 格式的程式寫起來很囉嗦。 秉持著 長線投資的電腦學習策略 所建議的 「以檔案格式為核心」 的思考原則， 決定先把 xml 轉成 json 再來處理， 畢竟有 jq 瑞士刀 可以處理 json 檔， 而且 json 格式在許多語言裡面直接對應到普通陣列與關聯陣列， 處理起來方便多了。

[2024/5/28] 發現比 xml-js 更簡單的 xq。 可以省略一、二節，直接跳到第三節。

用 TGOS 全國門牌地址定位服務繪製全家便利商店全國門市地圖

[2022/9/7 現在改推另一個範例： TGOS 批次地址查經緯度 + umap 私房地圖範例： 清冠一號中醫診所地圖] 至於本篇舊文， 可以直接跳到 TGOS 重點提示 那一節查看 TGOS 服務的使用方式。

一、 下載 「全家門市」 地址

這篇我們要列出某大規模連鎖店的全國門市、 用內政部資訊中心所提供的 「批次地址比對服務」 把門牌號碼轉成經緯度、 最後再匯入 umap 私房地圖。 全家門市查詢 有簡單的靜態網頁， 最容易處理， 那就決定用全家當範例了。 用 wget 把所有網頁抓下來， 如 FamilyMart.tgz (包含下面成果的打包壓縮檔)。

多邊形求面積與地理中心/形心/幾何中心近似值

最近想要處理 osm 上面撈出來的便利商店資料。 其中有些以點標示， 有些以多邊形標示。 為了簡化問題， 想用多邊形的 地理中心 (點) 來取代多邊形 (面)。 以數學術語來說， 就是需要計算 幾何中心， 也就是 centroid， 亦稱為形心。 在 平面上的多邊形形心計算公式 裡面， 還需要順便計算面積。 所以我寫了 gj-area-centroid.py 來計算 geojson 簡單多邊形的面積與形心的近似值。

用向量圖磚 (vector tiles) 自製陽春離線地圖

受到 臺中公車達人 的刺激， 我一直想要寫一個離線版的臺中公車地圖。 最好可以放在手機上。 我只需要大致的街道圖跟街道名稱， 不需要縮放 (zoom) 很多等級， 所以並不需要完整龐大 [而且超出我的人腦跟電腦能力範圍] 的 OSM 的圖資。 後來發現 mapzen vector tile service 提供各種向量圖磚， 完全符合我的需要。 把一二十塊圖磚抓回來之後， 就可以用 d3.js 自製陽春地圖了! (這篇並不需要寫程式也可以操作一下感受成果； 但最終還是對程式設計師比較有用。)

臺灣各級行政區域(縣市/鄉鎮/村里)邊界座標檔， 自選解析度、 存成 csv、 畫成 svg

政府資料開放平臺提供全國 縣(市)行政區域界線、 鄉(鎮、市、區)行政區域界線、 村里界圖 三個資料集。 如果你想從中萃取 「宜蘭縣各鄉鎮邊界.json」 或是 「高雄市鼓山區各里邊界」， 該怎麼做呢? 要如何降低解析度、 減少資料量? 如何存成文字檔， 用 gnuplot 畫成 svg 圖檔， 或是匯入其他一般「非地理資訊系統」的軟體裡面? 也許 Quantum GIS 之類的專業地理資訊系統本來就能處理 (如果看到教學文， 請分享一下網址囉)； 不過我就是喜歡用命令列的文字檔工具來處理。 感覺學習門檻比較低； 每個中間步驟都看得見， 比較踏實； 若需要批次處理也比較簡單； 學這些通用小工具， 將來可能在更多地方可以派上用場。

縣市政府前宣導自由軟體的 「數位路平」 單車活動路線規畫地圖製作步驟

8/10-8/14 有一個 「數位路平--台灣騎跡」 活動 ， 幾位朋友要騎腳踏車從北到南向各縣市政府宣導自由軟體的重要性。 我自己任命為地圖股長， 用 GraphHopper 規畫路線， 再合併其他有用資訊， 製作了 「數位路平--台灣騎跡」 路線規畫地圖。 這一篇正好作為最近幾篇 GIS (地理資訊系統) 轉檔文章的小結與實作練習。

csv 轉 geojson ： 大批地址匯入你的私房地圖

手中有一串地址 (例如某連鎖店)， 想把這些地點加入你自製的私房地圖嗎? 先把它變成 csv 檔 -- 也就是 LibreOffice Calc 或 Microsoft Excel 之類軟體能夠讀寫的純文字版試算表檔案格式， 然後按照本文步驟， 不必寫程式 (因為別人和我已經幫你寫好了) 只要下幾個指令， 就可以把這些地址變成你的 umap 或 mapbbcode 私房地圖上的地標囉! 又， 如果你手邊的地址本來就是存在 ods 或 xls 或 xlsx 檔裡面， 也請先把它改存成 csv 格式。

([2015/10/13] 發現另一條路： 先用 csvtojson 再用 jq 兩階段轉檔。但本文不談。)

gpx 與 geojson 檔案格式互轉

GPX 跟 GeoJSON 都是常見的地理資料格式。 這一篇解釋如何互轉這兩種檔案格式。

[2023/7] 如果只是少少兩三個檔案， 我現在都是手動上傳到 umap， 再選擇想要的格式下載回來。 等於叫 umap 幫我轉就好了。 如果需要大量轉檔， 或寫進 script 自動處理， 才需要讀這篇。 請先安裝一個套件： apt-get install gdal-bin

json 轉檔萬用瑞士刀 jq

"jq 是一個輕巧又靈活的命令列 json 處理器。" jq 之於 json， 就像 regexp 之於純文字檔， 或像是 QueryPath 之於 html/xml 檔， 可以擷取/過濾/篩選/批次編輯 json 檔。。 它的學習難度介於下指令跟寫程式之間。

[2022/5/29] 另一個類似工具 zq 的語法更容易理解； 但有些時候 jq 還是比較好用。