讓資料視覺化告訴你何謂 mal-information

這是舊聞，不過很適合拿來當媒體識讀的教材。 2022 年 11/23 左右， 正值台灣武肺疫情高峰期間， 突然出現大量 「近二週致死率全球第三高」 的新聞。 這是 mal-information 的例子： 可能是事實， 但有惡意誤導的意圖。

簡單易上手的資料視覺化網站： rawgraphs

Rawgraphs 是一套很適合入門者的網頁版資料視覺化自由軟體。 不必下載軟體， 只需要到示範網址 ("Use it now!" 點下去)、 上傳你的 csv 檔、 決定你想畫哪一種圖、 決定要用哪些欄位， 馬上就幫你產生圖形。 這裡 有一篇入門的中文教學， 我就不再重複介紹基本的操作了。 以下是我的一些使用雜記。

試算表的 unpivoting/melting

有些試算表它的許多欄位恰好構成資料空間的某種分割， 例如12個月份、 各類交通工具、 4種血型、 全國22個縣市... 等等。 有時候我們會希望把這 N 個欄位合併成兩個欄位， 一個欄位紀錄原表格中的欄位名稱， 另一個欄位紀錄原表格的內容， 從而產生一個 「比較瘦、 N倍高」 的新表格。 這個轉換動作稱為 unpivoting 或 melting。 這篇文章 的圖很清楚， 大推！ 也可以參考 用 google 試算表做 unpivoting 的中文教學。

「電力能源來源分類」資料整理與驗證

右圖是我看著 electricity-mix.csv (製作過程) 整理出來的 「電力能源來源分類」 猜測。 這種樹狀的階層式結構 (hierarchy) 感覺很好拿來畫 treemap 之類的圖形。 (另文詳)

為了驗證這些猜測：

幫 OWID 資料加上三字元 iso 國碼及所在大陸

上 「資料視覺化」 課程的時候， 想要拿 electricity mix 這個資料集做例子。 發現裡面混雜著個別的國家、 聯盟 (G20、 OECD) 跟大陸 (歐/亞/非/..)， 很難整理。 另一方面我也希望標示每個國家所在的大陸， 但是原始資料集裡面並沒有這項資訊。 於是我找到 List of Countries by Continent 這個表格， 並且 在 owid dataset 發問 之後修改了我的小程式 country-encode.py， 以後要整理 OWID 的資料就方便多了。

ansi： 移動遊標與顯示彩色文字的 python 函式庫

想要在終端機視窗裡移動遊標、 顯示彩色的文字跟背景、 粗體/斜體/底線/閃爍等等特效， 如果在 bash 底下， 可以 用 echo 指令 列印特殊的 ANSI escape sequences。 如果在 python 底下， 則可以使用 ansi 這個套件。

用 zq 處理 json 檔第二層陣列的語法

在 zq 簡介文 當中我們用 over 來簡單處理 json 檔裡面的一層陣列； 今天我學會處理第二層陣列的方法。 今天的測試資料檔是 「台中市公車的所有路線及所有停靠站」。 如果你有自己的 tdx 服務 的帳號， 可以把下面這段裡面的 「私密目錄」、 「用戶ID」、 「用戶密碼」 及 「都市名稱」 四個地方改成自己合適/想要的值。 如果沒有 tdx 的帳號， 也可以直接下載 我預先抓回來的版本 並解壓縮。

運輸資料流通服務 tdx 範例

交通部把 「公共運輸整合資訊流通服務平台 ptx」 改版升級成 「運輸資料流通服務 tdx」。 查詢公車站牌、 公車目前位置等等資訊變得更方便了！ 請見 範例程式。

支援 UEFI 光碟的開機載入程式 rEFInd

開機管理員我一直偏好用 extlinux 因為它的設定比 grub 簡單， 錯誤訊息也很清楚， 採用 UEFI模式從硬碟或隨身碟開機 也沒有問題。 唯一的問題是： 想要用 extlinux 做 UEFI 版的 iso 開機映象檔， 卻一直失敗。 看了 這一頁比較表， 決定試試看 rEFInd。 成功的用它製作 g22B 版的貴哥實驗室 iso 檔， 趕快筆記大推一下。

電腦教室的 bridge 同名之亂

虛擬機通常躲在 host 的後面， 區網的其他機器看不到虛擬機的 IP。 這樣比較安全但也比較不方便。 我在電腦教室要叫學生互相檢查或攻擊同學的虛擬機， 這時就需要用 bridge (橋接器) 把虛擬機提升到跟 host 位於相同的區網。

觀念上來說， 需要做的事包含：

1. 建立一個虛擬 bridge， 比方說叫做 brext 好了。
2. 停用 eth0。
3. 把實體網卡 eth0 接在 brext 底下。
4. 透過 brext 對外尋求 dhcp 服務。 (Host 的網路又恢復連線。)
5. 以後虛擬機的網路也都接在 brext 上。

ip 指令漂亮列印

查看所有網卡裝置的指令 ip a 印出來的資料令人眼花撩亂； 可是大部分我都看不懂也沒在看。 可以只印看得懂的欄位就好嗎？ 如果你的網路知識跟我一樣弱， 想要略過大部分資訊， 可以先安裝 zq， 然後在 ~/.bashrc 裡面加上這一句： alias ipa="ip -j a | zq -f csv 'over this | {ifname,address,ip_addr:missing(addr_info[0].local)?\"\":addr_info[0].local} | fuse' - | column -s, -t" 那麼下次進入 bash， 就可以用 ipa 指令查看精簡版的資訊。

TGOS 批次地址查經緯度 + umap 私房地圖範例： 清冠一號中醫診所地圖

[本來想重寫 TGOS 的教學文， 做這張圖時才發現 umap 已中文化， 介面改了不少， 而且有提供 cluster map 的功能， 就乾脆連 umap 教學也一起重寫。] 接續前一篇 轉碼 big5 除錯記， 已經得到整理過的清冠一號中醫診所地址檔 3.csv。 (仍舊是 utf8 編碼， 但不會讓 iconv 消化不良。) 下一步要轉成 TGOS 規定的格式。