[研討會心得] 20190730 GolangTW @M Space - Introducing the go channel and pipeline buffered/unbuffered channel

前言 大家好,我是 LINE Taiwan 的 Technical Evangelist - Evan Lin。這次很開心回到 Golang 社群參加了 “GolangTaipeiGathering#423” 的聚會活動。 社群 GolangTW Meetup: https://www.meetup.com/golang-taipei-meetup/ 本次活動網頁: 活動網址 這次參與社群的聚會主要是希望透過分享一個資料處理上容易所面臨的問題,來解釋 Go(lang) 裡面一個經常讓人困擾的問題,也就是 Buffered/UnBuffered Channel 的差異,如何應用與如何透過 Channel 來完成 Data Pipeline 。 Introducing the go channel and pipeline buffered/unbuffered channel / 資深開發技術推廣工程師 Evan Lin 投影片 以前在做 Machine Learning Platform 的時候,有機會可以開發資料處理的 pipeline 。開發能處理資料處理的相關功能的時候,最重要的就是希望能夠讓資料處理的速度能夠越快越好。假設一張照片要做人臉判斷的話,正常的做法是讀取圖片(假設需要花費時間 100 ms ) 然後將圖片做人臉判斷 ( 300 ms ) ,最後要將資料儲存在資料庫或是中介媒體(檔案)(10 ms) 。這樣可能一個圖像檔案需要花費 100 + 300 +10 = 410 ms 的時間,如果要處大量的數據的時候,這樣的時間花費就無法計算。 所以這時候就需要透過 goroutine 與 channel 來大量處理這些資料。 接下來就從頭來稍微解釋 Buffered/UnBuffered Channel 的差異與使用方式。 Buffered/UnBuffered Channel 通常在講解 goroutine 與 channel 的時候,最常與人討論與瞭解的問題就是「什麼是 UnBuffered Channel ,什麼又是 Buffered Channel ? 兩者的差異與應用的地方在哪裡?」。在講解 Buffered 與 UnBuffered 之前,先來了解 Channel 具有的基本特性: Channels are goroutine safe Channels carry messages between goroutines FIFO semantics Channels cause blocking and unblocking 接下來讓筆者透過幾個範例來讓讀者能有清楚的了解: 首先先來舉個 UnBuffered Channel : 這個範例可以在 Playground 直接執行。 這是一個簡單的 UnBuffered Channel 的使用範例,使用的方法就是在 main() 裡面呼叫一個 goroutine 去將一個 channel ch 給值 (send) ,而最後就在從 ch 接受(receive) 數值。 這邊有一些小地方需要注意: 由於是 UnBuffered Channel 所以傳送 (send) 與接受 (Receive) 都會造成 block ,尤其當...
繼續閱讀

[研討會心得] 20190723 Chatbots 11 at 天瓏書局 Coding Space

前言 大家好,我是 LINE Taiwan 的 Technical Evangelist - Evan Lin。這次很開心受到 chatbot 社群的邀請,參加了 “Chatb10ts meetup 聊天機器人小小聚 11 @ 天瓏書局 Coding Space” 的聚會活動,並且分享 LINE API 更新與個人開發的心得。在此也跟各位分享本次參與的心得,並且也希望透過社群分享的力量能夠讓聊天機器人的開發動能更加的盛大。 社群 Chatbots Meetup: https://chatbots.kktix.cc/ 本次活動網頁: 活動網址 由於 Chatbots Meetup 本身屬於社群自主性的活動,裡面也有許多社群朋友所贊助的閃電秀。裡面的所有內容也是相當的難得與有趣。也希望能夠透過本篇文章讓大家稍微了解 Chatbots Meetup 社群閃電秀的魅力。 LINE Social API in Go / 資深開發技術推廣工程師 Evan Lin 投影片 首先先跟所有的來賓分享新的 LINE Login API 更新 並且也分享透過更新後的 API 所撰寫的範例網站 https://login-tester-evan.herokuapp.com/ 。 透過以下三個新的 API 可以讓你更了解聊天機器人的相關訊息,分別有: Get number of message deliveries Get number of followers Get friend demographics 由於是新的 API 所以 LINE BOT SDK 相關開源套件還沒有加入這些 API ,如果讀者也是開源貢獻者的話,也歡迎各位直接到各個語言的 SDK 去貢獻。 (參考: Python, Go) 第二個部分就是透過 Social API 來完成 LINE Login 的流程,因為 Social API 並沒有官方套件提供給大家來使用,在這裡開發了一個 LINE Social API Go 套件來方便大家開發使用,並且也有更多的詳細內容在於如何透過 Social API 來開發一個 LINE Login 的範例文章在這裡。 想要直接感受的開發者也可以直接透過 https://login-tester-evan.herokuapp.com/ 這個網站來做一些測試與了解。 首先在這裡分享透過 Social API 兩種的取得使用者資訊的方式,分別為: 透過 OpenID 的方式與透過 Social API 。 使用 OpenID 來取得使用者資訊 以上循序圖是根據 LINE 官方文件中的 ““Integrating LINE Login with your web app” 教學文件所繪製的循序圖。透過這個流程可以了解,如果在 scope 之中指定好了 openid之後拿到的 access token 之中就會有一個欄位稱為ID Token 可以透過這個欄位來解析出使用者的資訊。 使用 Access Token 來取得使用者資訊 以上循序圖是透過 Access Token 再去取的使用者資訊的方式。如果是透過...
繼續閱讀

[TIL][Golang] go/build 與 golang.org/x/tools/go/packages 的差異

前言: 一開始主要是因為看到這個 tweet ,不禁想了解到底什麼是 go/build 而什麼又是 golang.org/x/tools/go/packages 。 TIL: Use https://t.co/eImdr3M4th instead of go/build. It is support modules, easier to use and faster. #gophercon pic.twitter.com/EruKtWest0— Jaana B. Dogan (@rakyll) July 25, 2019 因為 “Developer tools should now use that instead. It support both go path and Go Mod.” 這句話從 @_rsc 講出來更讓筆者想了解這些工具的差異。 What is go/build? 根據 go/build 的 GoDoc 上面解釋,其實 go/build 主要是幫助你取得 Go packages 資訊之用的,當然本身也可以直接拿取原本 binary 的 GOARCH, GOROOT 跟 GOPATH 的相關資訊。 當然也是可以取得 packages 相關資訊,至於使用上可以參考以下 sample code. Sample code for go/build 這個片段程式碼可以解析使用者輸入的套件參數,並且應出所有的套件資訊。比如說你輸入 gobuild flag 就會解析 flag這個套件的相關資訊。 What is golang.org/x/tools/go/packages? 而golang.org/x/tools/go/packages 比較專注做套件的解析工作,可以透過 GoDoc 相關資訊來了解,主要透過 packages.Load() 來讀取所有的套件資訊,並且可以透過 packages.Visit()來將所有套件的 dependency 找出來。 而當初設計這個套件主要就是為了 Go Modules 而設計的,大家可以參考相關文件 The Go Blog: Go Modules in 2019 ,裡面的相關敘述。 在 Go 1.11 的 Release note 其實也有提到,在作為 Package Loading 的工具查詢上,雖然 golang.org/x/tools/go/packages 還沒納入 standard library ,但是強烈建議要做 package loading 相關事項的時候應該就要改成 packages 。 Sample code for golang.org/x/tools/go/packages 小結: golang.org/x/tools/go/packages 在查詢套件資訊的時候,會先透過 GoPath 來查詢,如果找不到就會透過 Go Modules 來查詢。 而 go/build 只要 GoPath 找不到就會顯示套件無法查詢。 這兩個工具在做一些 DevOps 工具或是一些 CICD...
繼續閱讀

[Golang] 快速整理一些 Go 版本上的差異(使用者角度) (Go version change note since Go 1.3 to 1.12)

前言: 其實從 Go 1.10 之後大概就沒有認真的在確認每個版本的變更之處,所以在這裡整理一下 Go 1.3 ~ 1.12 的變革。 一些快速懶人包如下: 幾個大變動: Go 1.5 : Pure Go for compiler and linker. go vendor. Go 1.11: Go modules and WebAssembly support. 其他好奇的人可以查看 The State of Go. (用英文寫,因為語言變化用中文實在不好表達) Go version history (major change): Since Go 1.3, here only list few major changed you might be interested. Go 1.3 (2014/06/18) (Detail Release note) Start 6 months release cycle. Remove support for Windows 2000 Support DragonFly BSD, FreeBSD Go 1.4 (2014/12/10) (Detail Release note) Support build ARM processor of Android system. Support go generate Speed is slightly faster than 1.3 (Big change) Go 1.5 (2015/08/19) (Detail Release note) The compiler and runtime are now written entirely in Go (with a little assembler) If you want to build go after 1.5, you need to install go 1.4.2 first. Go programs run with GOMAXPROCS set to the number of cores available. experimental support for “vendoring” Add...
繼續閱讀

[Golang] 在 KKTIX 上免費透過邀請碼來開邀請票

前言: 身為社群的共同籌劃人,每個月最基本的工作總是在不斷的開票亭,找講者跟舉辦 Meetup。而在舉辦 Meetup 的時候,總是希望可以開放一些邀請票給某些特定的族群(內定名單,工作人員,講者)不需要透過搶票就可以直接拿到票卷,但是 KKTIX 原本的邀請碼是需要透過付費的方式來達成。 其實不用那麼麻煩,可以透過「購票資格」的方式來達成,本篇文章希望能夠幫助有一些人能夠更快的了解。 最後把以前常用的邀請碼建立小工具也開源出來,大家可以拿來用。 建立邀請碼小工具 https://github.com/kkdai/radomtix 流程: 首先先到購票資格去新增一個購票資格,也就是邀請碼的意思。 這裡點選「新增名單」 所謂的名單可以透過「邀請碼」或是某些特殊文字來讓使用者填寫,這裡開始填寫邀請碼。 使用這個小工具 建立邀請碼小工具 https://github.com/kkdai/radomtix 隨機是 10 個長度為 6 的邀請碼,全部大寫的原因是因為比較不會誤會。(大小寫混用容易搞錯) 這時候回到票種去新增一個新的票種 請注意 “必須使用邀請碼購買” 不要打勾 購票資格這裡,就把”Invitation ticket” 跟 “test Invitation code” 連接在一起。 建議可以有購買限制,這樣一個邀請碼只能買一張票。 Reference: 建立邀請碼小工具 https://github.com/kkdai/radomtix
繼續閱讀

[Google] Google I/O 2019 心得

大家好我是 LINE 台灣的 Technical Evangelist – Evan Lin 。LINE內部的企業文化就是鼓勵大家勇於分享與自我學習,對於各大國內外的研討會更是鼓勵員工們去報名參加與分享。 今年很榮幸地能夠申請到在舊金山舉辦的 Google I/O 2019 ,本篇文章透過開發者關係與技術推廣部門的角度來帶著讀者們用不一點的角度來了解 Google I/O。 身為資深推廣技術工程師與開發者年會的主辦者,本篇文章一開始將先透過活動的意義與原因,到會場的周邊設施加以介紹與分享。最後透過一些機器學習的相關議程分享,希望分享給各位讀者參與 Google I/O 所帶來的饗宴。 什麼是 Google I/O (圖片來自: Wiki) Google I/O 從 2008 開始舉辦後,每年都是 Google 最大的面向全世界開發者的年度開發大會 (類似於 Google Developer Day) 。而 “I/O” 的所代表的縮寫從一開始的”輸入”(Input) 與 “輸出”(Output)到近幾年的”創新”(Innocation)與”開放”(Open)。顯示出整個大會由於參加的人數越來越多,議題也越來越多元與開放。 每一年的 Google I/O 有著來自於全世界的開發者,而在 2019 年根據官方的數據參與的人高達了 7200 位,而且來自於各種類型的開發者,從行動裝置的 Android App 開發者,雲端伺服器與服務開發者到機器學習的資料科學家。各式各樣的開發者也是 Google I/O 每一年最令人驚豔的部分,在此身為 Developer Relations 團隊與機器學習愛好者的筆者會針對以下幾個部分來進行分享: 機器學習的內容分享 報到流程的分享 多采多姿的場外花絮分享 此外,同行的同事 Rene 也分享了她在 Google I/O 的一些想法”2019 Google I/O 初體驗“,在此筆者就不在多家贅述已經提過的部分。歡迎各位去這篇文章裡面查看關於 Sandbox 的一些記錄,相當的充實喔。 機器學習的內容分享 Federated Learning: Machine Learning on Decentralized Data Federated Learning 是今年 Google I/O 的一大亮點,更是讓許多使用者與機器學習的資料專家都相當驚豔的部分。 原本在做大數據與機器學習的時候,都是由 Edge(也就是資料的產生端,比如說手機,瀏覽器, App)來傳送資料,由於需要有許多的使用者行為的偵測需求,許多的資料也都帶有敏感的個人資料。而且資料在收集與預測 ( Prediction ) 的時候也需要不中斷的網路連線,對於電池能量的消耗與資料的安全上都是很大的隱憂。 但是隨著手機的處理能力越來越快,機器學習平台 (Tensorflow Lite ) 的所需要耗電量也越來越小的的演進下,開始思考著有沒有可能部分的機器處理都在 Edge 端來處理,如此一來許多的資料不需要另外上傳到雲端整合的來處理,又能夠兼顧個人資訊的隱私與安全。 這就是 Federated Learning 的基本中心思想。 這個議程主要討論如何做到之外,也討論了哪一些方面的資料才適合使用 Federated Learning ,能夠如何透過這樣方式來讓使用者滿意度更提升。 很推薦大家好好了解。 報到流程的分享 身為 LINE 台灣 Developer Relations 的一員,也是 LINE 台灣年度開發盛會 TechPulse 的主辦單位之一成員。最令筆者好奇的當然就是報到流程,因為要能夠同時處理七千多人的報到流程設計上需要有許多思考的面相,接下來就讓筆者來分享所觀察到的部分: 首先在線上繳交大會費用之後,就可以獲得註冊的 QR Code 一組,而當初在刷卡填寫個人資料的時候也會一起的填寫個人的衣服尺寸大小。(當然還有參加者的姓名) 當天在經過了層層嚴格的安全檢查之後,就會到了這個註冊的帳篷。裡面其實相當的大,也有 20 ~ 30 位左右的工作人員幫忙指引與分流。 每個人都需要先拿出 QR Code 在這裡刷,這裡的作用主要是作為分流,因為七千多人的東西其實相當的多,這裡的電腦會告訴你該去哪一個櫃檯領取袋子。 在此同時,櫃台前面的工作人員也會收到使用者的袋子號碼。 電腦指引到櫃台前面之後,工作人員就會把參加者專屬的袋子拿出來,整個過程算是相當的順暢跟方便。 當然,最讓許多人好奇的就是這次的袋子裡面有什麼呢?就是一件 Google I/O 的衣服,一個方巾,一個水瓶,一個防曬油,還有一些小貼紙。筆者認為防曬油相當的有用,因為五月的加州真的很曬。 多采多姿的場外花絮分享 ” Google I/O 是全世界開發者的嘉年華,全部的議程其實在線上都會直播,參加的人應該要花時間在網路不會直播的部分,多跟來自世界的開發者互動,多參與許多的互動活動” ,這些建議來自於同行的來過不少次的友人,相當的受用,在此也跟各位分享一下,這個開發者嘉年華的場外盛典。 首先先讓各位看一下,整個會場的鳥瞰地圖,可以看到除了有八個議程會場之外,還有八個 Sandboxes 裡面有相當有趣的展示與實驗性質的專案展示。在此也相當推薦大家有去的話一定要保留時間來逛逛。同事 Rene 文章...
繼續閱讀