December
10th,
2015
前言 今年(2015)的年中,Google發表了Beacon Platform,並且引入了Eddystone也就是新的Beacon資料格式.本篇整理包含了簡單的資料格式介紹,Beacon模擬器的尋找(我也寫了一個模擬器)與一些App去掃描Eddystone Beacon. 那麼來開始看Eddystone Eddystone 主要的資料單位是Frame,而主要有三種資料為: URL Frame: 用來顯示URL,裡面的資料會經過編碼. UID Frame: 用16 bytes來記錄一個唯一的識別碼,其中包含10 bytes的namespace跟6 bytes的instance TLM Frame: 這個Frame主要是拿來傳輸資料,主要是用於傳輸beacon的感知器資料(電池壽命,溫度,開機多久…). 啟動一個Eddystone Beacon Simulator (模擬Eddystone Beacon) 這邊有兩個語言推薦,不過主要都是支援Mac OS與Linux.大家可以看看自己決定要不要使用. Node.js - Eddystone beacon simulator Eddystone beacon simulator 如何跑的細節可以看接下來的教學. Golang - suapapa/go_eddystone https://github.com/suapapa/go_eddystone 執行: (Mac OSX) go get github.com/suapapa/go_eddystone go run $GOPATH/src/github.com/suapapa/go_eddystone/example/beacon.go Node.js Eddystone Simulator與簡單Node.js教學 這邊稍微紀錄一下關於Node.js的簡單教學.會需要用到Node.js主要是因為現在只有支援”Eddystone beacon simulator“這個模擬器,所以得來稍微跑一下Node.js,只要會安裝跟執行就好. 安裝npm 請愛用brew brew install npm npm 下載套件 其實npm的套件都是放在網路repository上,所以要裝任何套件只要 npm install 套件名稱 就可以,但是如果找不到索引,就可能要下載git後本地端安裝 npm install -l 執行Node.js 套件 安裝好套件後,就找到某個.js檔案(可能是自己寫,可能是放在examples) vu app.js 加入以下的程式碼 EB = require('eddystone-beacon'); EB.advertiseUrl('http://goo.gl/uagFfW'); 存檔後執行 node app.js 這樣就可以了.. 由於這個套件沒有網頁顯示.執行玩得直接拿Eddystone 的verifier來驗證. 如何驗證 Eddystone Beacon是否正確 (Eddystone Validator/Scanner) iOS 可以使用 Chome iOS 版本的 Today 只要進入 Today (iOS 下拉顯示”今天”),加入Chrome Extension. 就會搜尋實體網路 (Physical Web),可以搜尋到具有 URL Frame 的Eddystone Beacon. 如果要搜尋其他的Eddystone Beacon(UID Frame and TLM Frame_還是要使用專用軟體. Android 推薦App 這個App我覺得很好用,iBeacon & Eddystone Scanner. 推薦給大家,還可以查詢RSSI的強弱. Windows 請用Bluetooth Beacon Interactor (Bluetooth Beacon Interactor)是UAP,下載鏈結. 這裡有原始碼 相關專案 最後我把所有的Golang beacon simulator 整理成一個小專案,希望能幫助大家. https://github.com/kkdai/beacon [更新:12/30] 我也寫了一個Golang的Eddystone Beacon Scanner有興趣可以看看. 相關鏈結 Go for Eddystone translator Eddystone beacon simulator How to discover/verify...
繼續閱讀
December
8th,
2015
前言:
主要是記錄一下一個有趣的話題在gitter.im/CodeTengu/headquarters
請問有台灣有哪些 startup 寫過他們的系統架構, 使用哪些軟體、服務之類的嗎? 有點類似 stackshare.io 那樣把一些東西列出來?
整理:
以下為條列式紀錄:
PyCon2013 Pinkoi by Mike http://taipei.python.org.tw/history/2012-11-29-pinkoi-startup-python-plone-cms-mike-marr
備註: 他們來 Taipei.py 分享後…(略)…就得到紅杉資本投資
AWS 2013 Amazon Cloud Kata AWS Cloud Kata Taipei: Getting to mvp
第45頁開始有Fandora用的架構跟服務
iCook slide
LIVEHOUSE.in slide
繼續閱讀
December
4th,
2015
##前言
在寫Project52的過程中,其實寫了不少的資料結構實作,或是寫了一些演算法的實作. 一直以來由於Golang內建了單元測試的工具,所以基本的go test都有跑.
不過最近由於有個小專案trigram人氣飆高,所以心血來潮來跑跑他的效能測試.發現效果不太好,於是本週的課題就是要來評估你的Go專案效能,並且讓他跑得更快.
Go內建的效能評估 - Benchmark
###如何建立效能評估
首先要講回來,在Go裡面通常而言的習慣是我們會把一個相關的物件寫在同一個檔案.並且把相關的測試寫在obj_test.go裡面.舉例而言:
一個物件 skiplist
檔名為 skiplist.go
相關測試與效能評估會寫在 skiplist_test.go
那效能評估要怎麼寫,我拿個例子來看:
func BenchmarkSliceInsert(b *testing.B) {
var sl []uint32
b.ResetTimer()
var i uint32
for i = 0; i < uint32(b.N); i++ {
sl = append(sl, i)
}
}
這段代碼主要是來效能評估slice對於append的速度.
###如何跑效能評估
那麼要如何在Go上面跑效能評估呢?
go test -bench=.
就可以看到類似的效果
BenchmarkSliceInsert-4 100000000 29.6 ns/op
不同資料結構間的效能評估
接下來放一些關於我在測試skiplist的數據,也能做些簡單的筆記:
BenchmarkSliceInsert-4 100000000 29.6 ns/op
BenchmarkSliceSearch-4 20000 81506 ns/op
BenchmarkMapInsert-4 5000000 283 ns/op
BenchmarkMapSearch-4 30000000 42.4 ns/op
這邊有些簡單的重點可以整理:
以資料結構插入而言: Slice 最快,Map 很慢
這也是很重要的slice是簡單的資料結構,雖然要iterator起來相當的繁瑣.(也很慢) 但是就資料的新增操作上,就快很多了.
如果要寫會一直變動的資料結構(或是很多複製與新增刪除的動作)就比較建議還是使用slice
以資料查詢而言: Map實在快多了
由於我測試流程裡面,slice是以找不到為範例.所以速度差異有點大.不過事實也是,Map的查詢真的快多了,所以如果要建立大量查詢的資料,其實很建議使用Map而不是使用Slice來管理你內部的資料存取.
小專案:
最後,我一樣放上我本週的專案.就是把上個禮拜的專案”trigram“的效能提升後,並且把他的切割格式增加兩個與四個.修改為Ngram
相關鏈結:
我的Golang Project 52文章
Golang- Package testing
DFC: How to write benchmarks in Go
繼續閱讀
December
1st,
2015
前言
自從之前把我的Macbook Air上面的空間加以清理之後.總算也空出了20~30G,可以好好的練習一下關於docker在swarm與其他在跨機器端的應用. 不過這裡稍微紀錄一些關於Mac上面使用docker的小筆記.
一些筆記
如何讓Docker Setting記錄在你所有的console
由於Docker在MacOSX 是使用VM的方式來架設,其實真正執行docker的機器是你Virtual Box裡面的Linux VM,所以去呼叫docker相關指令一般有兩個方式:
透過Docker Quickterminal來跑
另外一個也可以透過SSH的方式主要是鏈接ssh: 192.168.99.100:2376 帳號密碼是 docker/tcuser
不過這樣多少有些麻煩,有沒有可能讓我在我的console裡面(比如說iTerm2)裡面的每一個tab可以直接使用docker呢? 方法如下:
(假設你是使用bash) 打開 ~/.bash_profile 加入這行
eval "$(docker-machine env default)"
這樣你的預設使用者都可以找到正確的docker socket並且直接使用docker指令 (ex: docker run, docker build …)
如何讓root 使用相同docker環境
一般而言,原本的docker指令是需要透過sudo docker XXXX來執行.但是你會發現這件事情在Mac OSX下面會出現問題.
Cannot connect to the Docker daemon. Is the docker daemon running on this host?
一查才發現,上面設定的環境參數並沒有在root的環境變數裡面.而且docker-machine是找不到原先的設定(docker-machine預設會讀該使用者的docker socket),所以你不能像上面一樣使用docker-machine env來設定環境變數.
必須要依照以下的方式來設定(假設你root也是使用bash,如果不是可以使用chsh -s /usr/local/bin/bash root來變更:
先在你安裝docker的使用者下執行docker-machine env,可能會跑出類似以下的資料:
export DOCKER_TLS_VERIFY="1"
export DOCKER_HOST="tcp://192.168.99.100:2376"
export DOCKER_CERT_PATH="/Users/USER/.docker/machine/machines/default"
export DOCKER_MACHINE_NAME="default"
將以上的資料複製起來,編輯到root的.bash_profile.也就是執行sudo su 再來編輯 vi ~/.bash_profile
把以上設定放在裡面,並且儲存
呼叫sudo docker xxx 改成 sudo -i docker xxx
如此一來可以正常執行了.不過缺點是你只要用docker-machine 新增會刪除default的時候,就得重新設定.
繼續閱讀
November
25th,
2015
前言 一直以來,我有在追蹤許多優秀工程師的github(RD的臉書).其中尤其是dgryski. 因為他有許多有趣使用Golang來開發的演算法小專案,所以我也會一起學習一些演算法與特別的資料結構. 本週的課程是Trigram Indexing.一邊學習,一邊寫成小專案. 什麼是Trigram Indexing 直接打Trigram會找到一堆關於卦的資料.不過Trigram主要是由兩個字組合而成 Tri-gram 也就是三個字元(N-gram中的tri-gram). 其實Trigram很簡單,主要就是把一串文字透過三個三個來分組: 將所有字元改成小寫 把每個空白處理.這裡有些不太相同,不少人將空白作為分隔符號.而Google Code Search把空白當作其中字元放進去. 把字元做成trigram 如何做把一個單字做 Trigram 拆解 舉例: Search 變小寫 “search” 開始拆解,三個三個為一組 sea ear arc rch 如何在程式裡實作拆解trigram 其實在程式裡面實作拆解很簡單,只是重要的是要如何比對.因為如果你真的把"sea", "ear" …. 存成字串,比對又是相當的消耗時間.所以不論是Google還是一般人在做Trigram的時候都會這樣拆解. 講一個個字元換成ascii的uint32並且透過位移方式存放.舉例而言s := "abc"就變成 uint32(s[0]), uint32(s[1]), uint32(s[2])也就是 97, 98, 99.並且透過位移存放.97<<16 + 98<<8 + 99 = 6382179. 這樣比較的速度就會快的更多,也很適合儲存. var trigrams []uint32 //存放所有拆解好的trigram s := "abc" //要拆解的字 for i := 0; i <= len(s)-3; i++ { //透過將每個字元轉換成uint的方式,並且透過位移方式存放 t := uint(uint32(s[i])<<16 | uint32(s[i+1])<<8 | uint32(s[i+2])) trigrams = append(trigrams, t) } //最後結果 6382179 如何在Code Search中使用 這邊開始很建議打開Russ Cox關於Google Code Search的介紹文章,雖然主軸是Regex 不過是透過Trigram Indexing的方式. 如同前面提到的,由於這個是”Code Search” 所以空白本身相當的重要.也就必須要將空白當作一個字元來作為Trigram Indexing的來源. 請注意: 本文重點在於討論Trigram Indexing,所以原先在Google Code Search針對Regex處理的部分就不討論. 透過簡單例子來了解 比如說,我們現在要輸入搜尋的是以下三段文字: Google Code Search Google Code Project Hosting Google Web Search 處理空白與加上Trigram Indexing 接下來,讓我們真的來處理一些字串,這裡結果就會有點複雜,所以我們只拿第一段文字舉例: “Google Code Search”來做Trigram Indexing: "Goo", "oog", "ogl", "gle", "le_", "e_c", "_Co", "Cod", "ode", "e_S", "_Se", "Sea", "ear", "arc", "rch" 在每一個Trigram上加上Document ID Document ID就是你原本是第幾段文字(以這裡為例子),當然隨著文件變大,有可能是檔案或是磁碟代號. 這裡將以上的每個資料都加上 {1}. 將Trigram 文字轉成數字方便比對 就像之前提到,要一個個比對文字 “Goo”比對 “Goo” 其實在CPU上面是比較慢的.而且存放成文字也是比較佔空間.所以比較好的方式就是都轉成Ascii的方式: "Goo" = uint("G") uint("o") uint("o") =...
繼續閱讀
November
19th,
2015
前言
在執行Android JNI的時候或多或少都需要在JNI中去呼叫Java的函式.(不論是只有Android才能拿到的資料,或是需要做callback)
這裡就介紹如何在 JNI thread (或是 callback)中去呼叫 Java Method.
基礎觀念
先了解基礎概念,大部分而言會有兩種狀況需要由JNI呼叫Java.
Java -> Jni -> 更新另外一個Java
Jni的Callback or Thread -> 更新 Java
會需要這種狀況,大部分都是(2).當然也可能是(1).由於在(2)的狀況下限制比較多而且比較麻煩,所以只講解(2)的部分. (當然,一樣的方式也可以適合給(1)使用.
先講解可能的限制
由於我們是從jni裡面的thread 或是 jni 去呼叫C/C++ module的callback. 所以.. 你拿不到JNI Environment JNIEnv 跟原先呼叫或是你想要呼叫的Activity的jobject.
所以這裡要先透過某個 JNI main thread的function.舉例而言,最基本的Hello World JNI 都會有個 stringFromJni() 透過那個main thread的JNI function.
相關流程
需要紀錄JVM (一般而言 JVM生命週期是每個App launch啟動)
也必須要記錄你要呼叫的 Activity 的 jobject
透過JVM取得目前的目前 JNIEnv (透過AttachCurrentThread)
依照一般流程呼叫CallVoidMethod ->GetMethodID -> CallVoidMethod(如果是呼叫void)
透過DetachCurrentThread回收相關資源
程式碼:
容易出錯的部分:
錯誤的jobject使用
這邊主要是提醒,由於JNI function 函式裡面的參數 jobject thiz的處理:
JNIEXPORT jstring Java_com_example_hellojni_stringFromJNI( JNIEnv *env, jobject thiz )
裡面的 JNIEnv *env 與 jobject thiz主要解釋如下:
JNIEnv *env : 負責處理JNI的環境,千萬注意在thread裡面的JNIEnv會不同.所以要使用上面的AttachCurrentThread
jobject thiz: 主要是處理該JNI library owner (Activity) 的Java Object.
這裡要主義的是這個jobject 主要是System.loadLibrary("hello-jni"); 的Java Activity,而不是呼叫JNI function 的Java Object.
所以如果你有一個Java Class (ex:JNIJava)專門處理JNI,另外一個Java Class (ex: MainActivity)去建立 JNIJava然後去呼叫他,如果你需要呼叫回去MainActivity的函式,記得要把該Activity 傳進來. (不然就是要用FindClass找到正確的)
沒有使用AttachCurrentThread,造成CALL_TYPE crash
如果在JNI native debugger 發現有CALL_TYPE error 在 jni.h.代表你再不是JNI main thread去使用main thread的JNIEnv.所以要注意.
相關鏈結
C++ callbacks into Java via JNI made easy(ier)
Java Invocation
繼續閱讀