(come from Paper) 前言: 本文會介紹最近被討論的 Facebook 時間序列資料庫的論文，並且會介紹資料庫壓縮演算法． 其中不少解讀都是參考 Morning Paper 裡面的論文導讀． 最後會導入 Damian Gryski 根據論文推導出的演算法 dgryski/go-tsz ． 原始論文: Gorilla: A Fast, Scalable, In-Memory Time Series Database 導讀: 什麼是 Gorilla ? Gorilla 是 Facebook 開發的時間序列資料庫．其實市場上已經有很多的時間序列資料庫 (HBase on TSDB(time-series database)) ，為什麼還需要自己開發一個呢? 資料的儲存過於龐大 查詢的延遲過長 所以 Gorilla 針對這些有了以下的優化: 針對 timestamp 的壓縮 分析並且針對資料的壓縮 放在記憶體 (in-memory databse) 那麼 Gorilla 比起一般的時間序列資料庫究竟有多強大呢? 透過將時間與數值的壓縮，並且透過儲放在記憶體的操作． Gorilla 可以達到: 73 倍的 Query Latency 減少 14 倍的 Query Throughput 增加 為了要儲存到 26 小時以上的時間序列資料，並切壓縮到 1.3 TB 的記憶體之中(分散在 20 部伺服器中)．所以 Gorilla 針對儲存資料有相當程度的壓縮． 透過資料的壓縮最佳狀態可以達到: (come from Paper) 高達 12 倍的壓縮比: 原先 16 bytes 的數值資料(包括 timestamp 與 value )透過壓縮，一般而言平均可以達到 1.37 bytes (通常在經過 240 分鐘後) 12倍的壓縮比？ 那麼大的壓縮比是如何做到? 簡單的來說 Gorilla 透過將時間資料( timestamp )與數值資料( value ) 的壓縮． 其壓縮的方式是參考前一次的資料，透過時間序列資料庫的特性: 連續性資料 在比較小的取樣時間中，每筆資料間的變化不大 透過這樣的方式，可以拿目前的資料 \(t_n\) 去與前一筆資料 \(t_(n-1)\) 比對的方式， 來拿到差異值 (delta) ．並且將差異值做一定程度的壓縮． 達到整個資料庫數值的壓縮． 壓縮的演算法: 關於時間資料的壓縮 首先針對時間資料的壓縮部分，讓我們先看看以前的時間可能如何紀錄: (舉例) \(t_0\) => 02: 00 : 00 \(t_1\) => 02: 01 : 02 \(t_2\) => 02: 02 : 02 \(t_3\) => 02: 03 : 02 如果要直接紀錄的話，其實資料長度會變得相當大． 讓我們換個角度來看: \(t_0\)...

Major problem: System environment variable GOBIN cause problem “vim-go error: vim-go: goimports does not support srcdir” Situation: Recently I use vs code to write golang more than vim-go，But when you upgrade the Golang version then use vim-go to save file, it will always popup following error message. vim-go: goimports does not support srcdir Problem Environment: Mac Only. Homebrew installed only. Root Cause: normally there are two importnt variable in go env which was $GOPATH and $GOBIN. But most user only set $GOPATH but $GOBIN. It will cause your all golang binary install via go install to the directory $GOPATH/bin. Recently Homebrew formula, it will help us to set $GOBIN but the path will be/usr/local/Cellar/go/GO_VERSION/libexec/bin rather than $GOPATH/bin. What’s the problem with that？ If you have any package which force to install in $GOPATH/bin, it might has problem with duplicate or not install latest one with Golang update. dlv has the...

這是什麼? 程式週記主要內容如下: Gihub project 介紹: 主要會貼一些github，但是會盡量寫上一些有用的評語（或是我容易想到的關鍵詞）幫助以後查詢 網路文章心得: 會寫些心得，強迫自己閱讀． “程式週記”並且定期週期性更新． 大部分內容在我的twitter都會有，這邊只是將一些簡單的心得與感想註解一下． 本週摘要 本週花太多時間在學習 Amazon Echo 跟一些社群的事務上面．應該花更多時間開始看論文．下週應該又要回到看論文寫每週專題的日子． 本週專題將上週的 Line Bot 套件拆解出來，準備要移植到 Facebook Messenger Platform 之用． Go mkideal/onepw: onepw is a command line tool for managing passwords 使用命令列的密碼管理工具，可以幫你產生你需要的密碼並且儲存起來，幫助你再也不需要記住密碼． emc-advanced-dev/unik: The Unikernel Compilation and Deployment Platform 幫你把 Go App 燒在可開機磁碟上． saiday/JonSnow: Google Play review watcher, deliver new reviews to your slack channel 很威的 Google Play Review Watcher by saiday ，一開源過後馬上就有人幫忙加上 Apple Store Review Watcher 開源真棒啊… How To Use Martini to Serve Go Applications Behind an Nginx Server on Ubuntu 雖然文章是 2013 年的，但是使用 NGINX 搭配 Go 的 Web App - Martini 到目前都還是很多想要使用的架構之一． [Youtube] Golang Google Cloud Storage 在 Google Cloud Storage 上面使用 Golang 的影片教學． 在 Github 專案內搜尋 Golang 函式，Golang 開發者必裝 Chrome Extension 這個 Chrome Extension 不錯使用，一定要裝． liviosoares/go-watson-sdk: Go (golang) SDK for IBM Watson services 最近在大肆宣傳的 IBM 網路服務 Watson ，馬上就有人寫出 Go 的 SDK ．幾乎所有的服務都可以使用，相當的棒． manul: The madness vendoring utility for Golang programs 使用 Git submodule 來做...

前提 ( 什麼是 Amazon Echo) Amazon Echo 是 Amazon 的一個很有趣的裝置．雖然許多人都將它當作是藍芽擴充喇叭，但是其實他功能不僅僅於此．他不僅僅能夠透過藍芽播放音樂，還能夠聽懂你的語音來執行許多功能．這邊有段簡單的影片． 並且 Amazon 具有一個類似 App Store 的商城上面擺滿了各式各樣的語音服務 ( Amazon 稱為 Skill ) 可以透過安裝不同的 Skill 達成許多功能．不論是播放音樂或是訂購商品． 然後接下來就簡單的紀錄一下最近玩 Amazon Echo 的心得 透過 Raspberry Pi 2 架設虛擬的 Amazon Echo 那使用這個功能一定要購買 Amazon Echo 嗎？ 當然是，不過你也可以透過 Amazon 開放出來的說明文件來使用 Raspberry Pi 2 來架設． 詳細安裝文件，文章相當長，就不詳述在這裡． 先簡單敘述你需要的設備: Raspberry Pi2 + 記憶卡 (至少 8G with NOOB OS) + 無路線或是無線網路卡 麥克風 + 喇叭 滑鼠 + 鍵盤 簡單的敘述一些步驟如下(強烈建議看文件，裡面有一步步的介紹): 透過 NOOBS 安裝基本的 RPI OS (選擇 Raspbian) 安裝 SSH 與 VLC 安裝 JDK 跟 Maven 到 Amazon Developer 去註冊 Amazon Alexa Voice Service 然後去原先文件裡面的 Github 下載下來整套 Server 跟 Client 產生 SSL Cetificate 並且啟動 RPI 上面的虛擬 Echo Server 跟 Client 最後就能透過 RPI 裡面 XWindows 的語音控制 Client 輸入語音資料與 Amazon Alexa 伺服器溝通 這樣你架設起來，只能對他做一些間單的問答（問問台北時間，台北的溫度或是講個笑話）．還有就是使用人家已經寫好的 Skill ． 透過 AWS Lambda 跟 OAuth2 Server 架設自己的 Alexa Skill 以下是透過 Amazon Alexa 說明網頁上面的基本架構圖： 稍微一個個介紹每個 Server 所負責的部分: Amazon Echo : 就是使用者手中的裝置，可以把語音資料傳輸到 Alexa Service Amazon Alexa Service: 會負責把語音資料做一些處理，擷取出每段語音中的”意圖” ( Intent ) 並且傳輸到 Amazon Alexa...

本文刊登於 碼天狗#42 有興趣追蹤相關文章讀者，最快的方式就是訂閱碼天狗 ． 文章鏈結 https://serifandsemaphore.io/tools-to-help-you-go-d6f782055ce7#.1iex1ex8l Golang 讓人喜歡的許多原因之一，就是有著許多好用的工具可以讓你在撰寫 Go 的時候更加的輕鬆而方便． 舉個最間單的例子，就是 coding style tool goimport 他可以讓你在存在之後，自動把 coding style 改成 Golang community 所習慣的範例． 當然還有好用到不行的 guru 可以幫助你查詢 caller 與 callee．除了這兩個之外，這一篇有介紹更多的工具: Golint : 可以自動幫你檢查所有程式碼中潛在的語法問題． Gocyclo : 可以幫你計算你程式碼中的循環複雜度（Cyclomatic complexity）避免有過多的迴圈運算． Depscheck : 可以幫你產生相依性的報表，讓你可以思考有多少小套套件是相依其他人的．經過了 NPM 的 LeftPad 事件之後．其實不少人建議如果相依的套件太小，不仿自己寫過來吧． errcheck : 這個套件可以幫你檢查你的程式碼有沒有對於每個錯誤都有相對應的檢查與處理．避免明明有 error 卻沒有檢查的潛在問題． safesql : SQL Injection 是每個人在撰寫後端與資料庫橋接程式的時候最擔心的問題．這個工具可以幫你檢查看看有沒有危險的語法存在． 雖然 Golang 社群提供了許多的工具來幫助你，其實 Golang 本身的 Compiler 已經相當的強勢．會幫你檢查出許多潛在的問題．除了這些工具之外，當然相信自己與撰寫單元測試的好習慣都是可以幫助讓你的程式變得更好的不二法門．

這是什麼? 程式週記主要內容如下: Gihub project 介紹: 主要會貼一些github，但是會盡量寫上一些有用的評語（或是我容易想到的關鍵詞）幫助以後查詢 網路文章心得: 會寫些心得，強迫自己閱讀． “程式週記”並且定期週期性更新． 大部分內容在我的twitter都會有，這邊只是將一些簡單的心得與感想註解一下． 本週摘要 這個禮拜看了不少有意義的網路文章- “如何在四十歲後繼續從事軟體開發“ ，剩下的時間就拿來做一些有意義的專案．流浪動物領養的 Line 機器人．希望能夠幫助到一些流浪動物． Go Go best practices, six years in 作者分享學習 Golang 六年後（喔！一開始就學) 的一些實際演練上的好範例． hashicorp/raft: Golang implementation of the Raft consensus protocol 其實不少使用 Raft 的套件，不一定都是使用 etcd/raft 可能都是使用這套． A lightweight web toolkit 不少人一直都在詢問有沒有好的 #‎Golang Web toolkit ，這個 goserv 看起來還不錯．剛剛在 05/03 達到 1.0 正式版的 goserv 提供以下的功能: Fast & Lightweight Flexible Routing Centralized Error handling 跟原生 net/http 是相容的 並且可以很快速的架設 File Server，也可以很快速地透過 MongoDB 架設 REST Server 大家可以看看有沒有符合需求 Go and Quasar: a comparison of style and performance Go Channel與 Java Quasar 的執行效率比較． 看起來 Go chennal 還是好上不少． Solving ring-shaped problems with Go’s container/ring 想要解決環狀鏈結的相關問題需要自己實現相關的資料結構嗎？ 其實 Golang 本身就有提供 container/ring （鏈結) 可以幫助你解決類似的問題． dgryski/go-tsz: Time series compression algorithm from Facebook’s Gorilla paper 從 Facebook 的 Gorilla 論文中找出的時間序列比對演算法． 值得找時間好好學習． 更多細節在這裡可以看． Go Testing Technique: Testing JSON HTTP Requests The Micro Bot - ChatOps for microservices jsgoecke/tesla: Provides a wrapper around the API to easily query and command a...