[論文筆記] The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)-筆記

image-20231004092928239

(論文: https://arxiv.org/abs/2309.17421

前情提要

這篇由微軟在 09/29 發表的論文,搶先測試了不少 GPT-4V 的功能。並且列出許多有趣的使用場景,最後用了「LMM 的黎明」作為整篇論文的標題。 論文不算短(166頁),但是都是應用案例讓人讀的很開心,很興奮。

案例1: 給一張照片跟 menu ,就能知道那罐啤酒應該要多少錢。

Image

案例2: 給一張發票(收據),就能知道要付多少稅金?然後在哪裡?

Image

案例3: 給一個證件,叫他識別後直接給 JSON

Image

案例4: 使用不同的 Planning (Tree of Thought) 來做 OCR ,其實可以讓結果更好。

image-20231004093230728

案例5: 計算基本的數學圖學問題,好像可以解決推友的問題

Image

[DeepLearning] Finetuning Large Language Models - 整理

image-20230826213922965

起因

OpenAI 3.5 發布 Fine-Tuning API 後,另外一邊 Andrew Ng 馬上上線相關課程: https://deeplearning.ai/short-courses/finetuning-large-language-models/

Why Finetune

附上大家容易有疑慮的比較圖:為何弄 Fine-Tune 為何不透過 Vector Prompting

Image

image-20230826220610545

  • 確認原本 LLM 不能完成
  • 尋找 gold samples
  • 確認可以比較好結果
  • Finetune it.

[好書分享]奇怪的歷史知識增加了!不能只有我知道的趣味歐洲史

奇怪的歷史知識增加了!不能只有我知道的趣味歐洲史
作者: seayu(「即食歷史」版主)  出版社:馬可孛羅 
出版日期:2021/12/02 語言:繁體中文 檔案大小:22.1MB 

買書推薦網址:

前言:

這是 2023 年第12本讀完的書。 當初會看到這本書,好像是因為 Readmoo 定期會有一些有趣的 [LINE 官方帳號https://today.line.me/tw/v2/publisher/101934 讀墨最前線」訊息,定期會擷取一些有趣的書籍來推薦。 也有不少文章節錄,我覺得相當的有用,也很喜歡這一類得小文章。大家也可以訂閱看看。

內容摘要:

原來叫亨利不能當國王?吸血鬼德古拉不是虛構人物?
中古歐洲最殺的三大男團到底是誰?你我想知道的奇怪歷史知識都在這裡!

「即食歷史」網站經營者seayu的第一本書
歷史並不枯燥,只是少個人跟你說故事!
今晚,我們就來點有趣又生動的歐洲歷史吧~

本書作者跟你我一樣是個朝九晚五的血淚社畜
下班後卻是數萬人訂閱的大眾歷史作家?!
只因為一個小小念頭,誕生了出現在「故事」網站之前的「即食歷史」……

胡川安說:「即食歷史的文章對於歷史事實的處理相當謹慎,但又能用引人入勝的方式吸引讀者。」
海獅說:「聽聞即食歷史上面的所有文章都是一人所寫,讓我深深感受到他強大的創作能力!」
PTT馬雅人說:「seayu就是個歷史的大廚,將史料、史事烹調料理成手路菜,不但好吃還即食。」
陳力航說:「如此結合電影作品與史實,可說是本書的特色之一,讀起來不禁趣味盎然。」
cheap說:「拋開艱澀又難懂的歐洲史名詞,本書用引人入勝的歷史故事,開啟大家對於歐洲史的興趣。」
江仲淵說:「我得誠懇地告訴大家,即使是不經意地瞥見他的歷史文章,也會被充滿知識性的內容深深吸引!」
達米安說:「本書集結一篇篇引人入勝的故事,不僅解釋了歷史概念,也帶讀者神遊歷史現場,值得推薦!」

什麼是「即食歷史」?
這個詞來自港式廣東話。所謂「即食」指的是方便、易入口、不複雜的意思,本書作者希望能透過文字的力量,讓普羅大眾理解閱讀歷史的趣味,讓不常接觸歷史的人,也能體會到故事的美妙。

心得:

這一本有不少有趣的歐洲歷史,畢竟我們是亞洲人,比較不了解歐洲的相關歷史。透過這一本書也讓我瞭解了許多有趣並且生動的歷史。這邊舉幾個例子:

  • 吸血鬼德古拉是真有其人,不論如何他被畫作吸血鬼的原型應該跟他是個暴君有關。
  • 關於希臘人的生死觀
  • 聖女貞德的故事,還有英法的百年戰爭。
  • 三大騎士團:
    • 聖殿騎士團
    • 醫院騎士團(真的有誒)
    • 條頓騎士團
  • 法國的黑太子(因為太喜歡穿著黑色鎧甲出征)愛德華

這些都是相當有趣的歐洲歷史,透過一些有趣的標題也開始勾勒出來歐洲英國跟法國的相關歷史之外。也有奧匈帝國的相關歷史。我覺得是一本相當好的休閒讀物。

[遊戲天國] 黑魂3 也破了

Image

前情提要:

魂3 趁著這一波特價,就馬上入手 steam 版本(對,我買過ps5版本)。

然後還破關了,最後無名王者還是用 SD 掌機模式打掉的。真的超好玩!

攻略清單:

Image

強烈建議參考: 攻略清單

  • 會有完整的跑圖流程,可以讓你不會少任何重要的物品。
  • 有打王建議的配備,讓你打王有爽度,沒難度。

建議配備:

Image

推圖建議:

  • 一手法杖,使用 隱形身軀 (智力無論如何要點到 15)。 一開始還很硬派的說不用隱身。 結果推到中期真的很容易卡圖過不去。
  • 冰狗鎚,重點戰技: 忍耐 (減傷 45%,增加韌性)

打無名王者建議:

image-20230925101545751

無名王者其實真的是本傳的最強 boss (薪王太嫩),除了有兩階段之外。 第二階段的雷屬攻擊真的很強。所以一定要有 獵龍大盾來幫忙扛。不然很容易一發就帶走。

  • 流放者大刀 + 獵龍大盾(大推)
    • 獵龍大盾可以有效的避免手殘來擋雷屬性攻擊。
  • 戒指四個: 哈達爾,元素戒指,親愛戒指,減物理傷害戒指
  • 然後身上其實可以脫光,閃躲比較快,因為有減物理傷害戒指在扛。

image-20230925101050408

打薪王推薦:

  • 冰狗鎚
  • 洋蔥騎士整套
  • 戒指四個: 哈達爾,元素戒指,親愛戒指,減物理傷害戒指

薪王的傷害太低,真的裝備撐起來。就可以拼命用「忍耐」槌死薪王。加上可以叫人幫忙,完全沒難度。

[GAI 年會] Enterprise Prompt Engineering by 玉山銀行- 筆記

摘要:

本篇文章主要針對 GAI 年會上玉山銀行的分享,將一些重點記錄下來。加上網友與自己查看跟 LangChain 可能可以使用到的地方。

主要問題:

玉山銀行如何透過 Prompt Engineering 做到銀行客服小幫手。 相似問題在於,經常出現問題本身拿來做 Embedding 的時候,因為問題不好,造成無法透過 Embedding 的方式找到比較好的向量相似解答。

image-20230912101335592

解決方式:

image-20230912101349591

HyDE (Hybrid Diagnostic Engine) 稍微查出解釋:

起因
在許多情況下,我們需要理解和解釋 AI 模型的行為。這尤其對於大型語言模型來說非常重要,因為這些模型的行為可能會影響到重要的決策過程。然而,由於這些模型的複雜性,理解它們的行為並不容易。這就是 HyDE 在 LLM 中的起因。

解釋
HyDE 是一種混合診斷引擎,它結合了基於模型的診斷和基於數據的診斷。基於模型的診斷依賴於對系統的理論理解,而基於數據的診斷則依賴於從實際運行數據中學習。

在 LLM 中,HyDE 可以用來解釋模型的行為。例如,它可以幫助我們理解模型為何會產生特定的輸出,或者為何會在某些情況下表現得比其他情況更好。這種理解可以幫助我們改進模型,並使其更適應特定的任務。

HyDE 的主要優點是它可以處理大量的數據和複雜的模型。此外,它還可以處理不確定性,這在許多實際情況中是非常重要的。

總的來說,HyDE 在 LLM 中提供了一種強大的工具,可以幫助我們理解和解釋模型的行為。

如何透過 LangChain 來實作 HyDE

https://python.langchain.com/docs/use_cases/question_answering/how_to/hyde

image-20230912101948714

簡單來說,透過宣告 embedding 是透過 HyDE 產生的。這樣透過 embedding 在搜尋的時候。可以自動產生比較有意義(可能是)的問題。

更多的研究

LangChain的MultiVector Retriever有實作這個部分, 可以用LLM產生Hypothetical questions並建embedding

https://python.langchain.com/docs/modules/data_connection/retrievers/multi_vector

是否透過 HyDE 就可以完美提供一個良好的銀行用戶端 ChatBot? 事實上最後完成架構為

完成架構

image-20230912102404963

如何達到良好的回覆方式?

更進階的方式: (銀行業適用)

使用者就要你回答「動態訊息」

image-20230915110049978

image-20230915110114349

如何避免 Prompt Injection

使用 Function Calling

image-20230915110226787

並且搭配生成回應內容,改成回應模板。

image-20230912102130805

  • 透過分類數達到快速分類,並且提供相關的回覆答案 template (如下圖)

image-20230912102145856

優缺點:

  • 優點:
    • 避免 Prompt Injection
    • 回應快 4 chars
  • 缺點:
    • 死板(銀行業可以)
    • Prompt 會反覆佔空間。

相關 Prompt 應用

image-20230912102545451

image-20230912102554608

DD

image-20230912102630043

[GAI 年會] GAI 生成式 AI 年會影片快速整理

image-20230912130052391

(影片playlist: https://www.youtube.com/playlist?list=PLlHO_3K3NaJczxCPMOcG_c8j8e1e05Dkg)

https://www.youtube.com/playlist?list=PLlHO_3K3NaJczxCPMOcG_c8j8e1e05Dkg 2023 生成式 AI 年會 Generative AI Conference Taiwan 在 08/11 已經上線了。 今年的 GAI 年會有不少蠻有深度的議題,我覺得可以找時間慢慢了解。分享幾個我覺得很酷的:

非技術相關:

技術相關: