ChatGPT： 正確與錯誤的使用示範

使用 ChatGPT 之前需要有的兩個最基本觀念： (1) 它被賦予的任務是產生文字， 而不是陳述事實。 (2) 相對於整個網際網路查得到的資訊， 它的知識是滄海一粟。

如果你稍微了解 jpg vs png兩種檔案格式的差異 (讀分隔線之前的段落就夠了)， 那麼我強力推薦這篇文章， 它對於理解 ChatGPT 有極大的幫助： ChatGPT Is a Blurry JPEG of the Web。 如果用 「一張解析度超級高的 png 圖檔」 來比喻整個網際網路上所有的資料， 那麼 ChatGPT 就是一個低解析度、 而且又再丟棄了很多資訊的 jpg 圖檔。 你如果太認真地要問圖上某個 pixel 是什麼顏色， 它會給你一個聽起來有模有樣的答案， 但是請別以為這就是事實。 這個也比喻也很有助於理解它 「採用 X 的風格/語調去描述 Y 事件」 的搞笑神奇能力， 例如 「用美國獨立宣言的風格描述在烘衣機裡掉了一隻襪子」： 它其實是在資訊不足的情況下，做內差法求近似值。 最後作者的結論是： 既然它只是整個網際網路的 (一個掉了大量資訊的) 壓縮版本， 那麼當你還有完整的網際網路可以用的時候， 這張壓縮圖檔還有多少用處呢？ 這並不是說它沒用， 而是要提醒讀者： 該學會判斷何時它比完整的圖檔有用。

一、 幫助搜尋不是取代搜尋

丟掉你對它不切實際的幻想， 才更能夠看到它真正有用的地方。 當我要 找資訊 的時候， 當然是求助於 google 搜尋引擎， 而不是求助於 ChatGPT。 搜尋引擎會精確地找到整張大圖片 (整個網際網路上面) 未壓縮的幾小片最切題的原始截圖 (最切題的幾篇文章)， 特別是最近幾個月才出現的、 還沒有被拿去訓練它的文章， 只有靠搜尋引擎才找得到。

偶爾我會遇到想不出， 或者是完全不知道關鍵詞的狀況。 例如我想要知道某個瑜伽姿勢的正確做法， 我會先對它描述那個動作， 再用它所提供的關鍵詞來 google：
One stands on one leg. One hand holds the foot of the other leg, which bends backward and tries to extend. The other hand extends forward. What's the name of this yoga pose?

[2024/5/20] 我家的 wifi 分享器一夜之間突然 reset 回原廠設定! 我沒去動它呀! 被入侵了嗎? 「我沒去動它」 這有點難下搜尋關鍵詞。
I have a home wifi router. It was suddenly reset overnight without me probing the reset hole with a straightened paper clip or anything like that. That is, all settings go back to the oem default values. What happened? What are some possible causes?

又例如我在 整理一張試算表 的時候， 想要把很多個 「名稱看起來像是某種分類」 的欄位合併成一個欄位， 於是我會問它：
A csv file contains many related numerical columns. For example, "energy mix" from "our world in data" has one column for each type of energy source. I want to combine all those numerical columns into a single numerical column, and add a new categorical column whose values are the headers of the original csv file, creating a much narrower (fewer columns) and higher (more rows) new table containing exactly same information. Is there a name for such an operation? What open source projects are available for such an operation?
從而得知這個動作的名稱叫做 "melting" 或 "unpivoting"。 於是就可以用這個關鍵詞去 google 更精確的資訊。

有時我的問題要採用的是好幾個很 "通用" 的詞， 但是 google 很容易誤會成別的排列組合， 加介系詞釐清關鍵詞之間的關係也沒用， 因為 google 好像會省略介系詞。 例如我想找 「專門用來備份臉書」 的自由軟體， 可是用 "open source archive facebook" 找到的， 要嘛就是舊的 (archived) 臉書相關自由軟體， 要嘛就是臉書自己建的一些自由軟體專案， 因為這幾個關鍵詞太普通了， 很容易產生各種不同意思的排列組合。 這時只好問 ChatGPT：
What are some open source projects for archiving facebook posts?

如同 blurry 一文作者所解釋的， 身為一個文字部落客， 我完全沒有興趣叫 ChatGPT 幫我產生文字。 我花力氣叫它幫我寫文章，　不如我自己寫比較快。 我會想要寫一篇文章， 就是因為我在網路上查不太到我想說的觀點 (如果查到了， 我把超連結提供給社群媒體上的朋友就好了， 何必辛苦自己寫？) 它當然無法幫我寫。 但是我不時會對它描述我想表達的概念， 請它幫我尋找合適的形容詞/名詞/動詞：
What phrases can be used to describe the act of persuading, with some form of coercion, people?

或是約略記得一句名言， 但用字不精準而且忘記是誰說的， 這時也很適合向它查詢精確的文字與出處。

二、 不要問 「沒有通則的細節」、 不要叫它數數兒

前面已經說過了， 問它細節， 就像是在問模糊的 jpg 檔裡面某個 pixel 的顏色一樣， 你八成會得到一個 「看起來有模有樣， 但實際上不存在或不正確」 的答案。 就算你要求它提供原文出處作為佐證， 它也可以隨便掰一篇不存在的文章滿足你的幻想。 例如： 法學教授無端被 chatGPT 指控性騷擾學生、 ChatGPT 幫律師寫訴狀， 掰出 6 個不存在的判例 等等， 這些都是知名的例子。 這與先前要求提供 「名言的出處」 不同。 既然是名言， 說那句話的名人的名字就應該會在很多網頁出現過， 所以 ChatGPT 很可能會給正確答案。

所謂沒有通則的細節， 例如我問它 「鄭道明是誰」 (敝校校長) 它回答： 是一位中國的知名演員... 這再次提醒我們： ChatGPT 的養成， 是透過閱讀大量的文章。 網路上關於中國某位知名演員的文章， 當然會遠多於關於台灣某位校長的文章。 事實上整體而言， 簡體中文的文章當然遠多於正體中文， 我猜因為這樣， 所以用中文跟 ChatGPT 聊天時， 它會一直自動滑到簡體中文輸出。 然而， 即使我問台灣的鄭道明是誰， 它也答不出來。 這是沒有通則的細節。 問 google 很容易得到有用的答案， 而且因為你的 IP， 直接就給你台灣的資訊。

即使是學校整體、 不隨時間而變的問題， 對它來講還是算細節：
List the first few established departments of Chaoyang University of Technology, formerly Chaoyang Institute of Technology.
想要知道這種問題的答案， 不如去問維基百科或查詢校史。

即使是列舉縣市的問題， 對它來講還是算細節：
Which counties and cities of Taiwan does the Tropic of Cancer pass?
用中文問也並沒有得到正確的答案。 再一次地， 從 google 圖片搜尋更容易找到正確答案。 下次當你對它的回答感到失望時， 不妨想想我精心設計的這個例子。 你問的特定人事物， 比北回歸線更有名嗎？ 比台灣的縣市名稱更有名嗎？ 那你怎麼還能期待 ChatGPT 給出正確的答案呢？

本來它的數學很弱， 後來被調教過了， 可以算很冗長的數字。 但是叫它 "數" 有幾位數， 還是會數錯：
How many digits are there in 30! (30 factorial)

問它前一題的答案有幾個英文字， 也是胡亂回答：
How many English words are there in your previous answer?

或者是問它台股市場上有多少檔股票， 得到的答案也跟真實答案差很多：
How many stocks are available in Taiwan's stock market, including those in the OTC market?

ChatGPT 不會思考， 它甚至並不 "理解" 任何東西。 希望上面這些錯誤示範的問題可以幫助你看清這一點。

三、 用數學理解 ChatGPT 如何唬爛

如果你的高中數學程度不錯， 以下幾個看起來幾乎相同， 但得到的回答卻大不相同的問題， 可以讓你更理解 ChatGPT 的唬爛何時會成功， 何時會失敗：

1. "Compute sin(pi/6)" => 它 "喜歡" 解說， 不只提供正確的答案， 也會提正確的供計算過程。
2. "Compute sin(pi/12)" => 有時正確、 有時給一個看起來有點樣子的鬼扯證明， 就是「聰明調皮不唸書很會鬼扯的學生會寫得出來、 老師趕時間時不小心也會被騙」 的那種答案，
3. "Compute sin(pi/5)" 或 "Compute sin(pi/17)" 可能還需要加註： "as expressed in terms of sums, products, and finite root extractions of simple numbers" => 唬爛瞎掰一串證明， 有時甚至還會說 「答案是複數」， 最後卻還是給一個正確的實數數值答案。 (正解)

重點還是回到： 它到底閱讀了多少相同問題的文章？ 因為網路上有很多文章解說如何計算 sin(pi/6)， 也有少數文章解說如何計算 sin(pi/12)； 另外兩題在網路上可以找到一些提到最終數值答案的文章， 但解說計算過程的文章極少， 所以它就答不出來了； 但是還是會很努力地鬼扯， 因為它被賦予的任務是 chat， 聊天， 產生文字， 而不是提供事實。

現在你知道了吧？ 如果連數學問題它都會很努力地瞎掰， 那你還有什麼理由全盤接受它對其他問題的答案呢？

四、 Dunning-Kruger effect

[2024/6/27] 把 Dunning-Kruger effect 應用在學會使用 ChatGPT 的人身上， 會看到一個現象： 新手很容易誤以為 ChatGPT 可以回答所有的問題； 再進一步了解， 會對它很失望。 其實 (圖中第4點) 「如果你的問題並沒有所謂正確的答案， 那麼 ChatGPT 很好用。 但如果你的問題需要精確完美的答案，那就不能信任 ChatGPT。」 圖片出處： The Rise of ChatGPT: Separating Hype from Reality。

五、 結語

如果你對文字解說比對數學更有感覺， 可以試試閱讀這篇文章 What Kind of Mind Does ChatGPT Have? 前面三分之二用白話的方式解釋它的運作原理。 或者你也可以直接跳到後面， 從 "confidence" 那一節開始讀他的結論。 作者 Cal Newport 是電腦教授。 他用幾個實例說明： ChatGPT does not create. It imitates. 又或者可以直接看同一位作者的 另一篇只簡單講結論的短文。

我從實用的角度給讀者們的建議呢？ 要學會用正確的方式駕馭它， 因為能不能善用它， 將大大影響著你的生產力， 就像先前的搜尋引擎一樣。 但不需要害怕它， 更不要崇拜它， 就像你不該害怕、 崇拜 google， 或誤認為 google 的結果就是真理一樣， 對吧？

對了， 用 "thoughts on chatgpt" 去 google， 可以讀到更多談論它的文章。 這個簡單的 "搜尋" 動作， 可以帶給你許多 ChatGPT 本身無法告訴你的觀點。 有思想的真人的觀點。

[2024/8] Google DeepMind 高級研究員 Nicholas Carlini 撰寫的 《我如何使用“AI” ？》 用許多實例示範他的日常如何使用 chatgpt 提升生產力。