December 10th, 2015

[Golang][BLE] Eddystone 初體驗(包含Beacon模擬器)

前言

今年(2015)的年中，Google發表了Beacon Platform，並且引入了Eddystone也就是新的Beacon資料格式．本篇整理包含了簡單的資料格式介紹，Beacon模擬器的尋找(我也寫了一個模擬器)與一些App去掃描Eddystone Beacon．

那麼來開始看Eddystone

Eddystone 主要的資料單位是Frame，而主要有三種資料為:

  • URL Frame:
    • 用來顯示URL，裡面的資料會經過編碼．
  • UID Frame:
    • 用16 bytes來記錄一個唯一的識別碼，其中包含10 bytes的namespace跟6 bytes的instance
  • TLM Frame:
    • 這個Frame主要是拿來傳輸資料，主要是用於傳輸beacon的感知器資料（電池壽命，溫度，開機多久…)．

啟動一個Eddystone Beacon Simulator (模擬Eddystone Beacon)

這邊有兩個語言推薦，不過主要都是支援Mac OS與Linux．大家可以看看自己決定要不要使用．

Node.js Eddystone Simulator與簡單Node.js教學

這邊稍微紀錄一下關於Node.js的簡單教學．會需要用到Node.js主要是因為現在只有支援”Eddystone beacon simulator“這個模擬器，所以得來稍微跑一下Node.js，只要會安裝跟執行就好．

安裝npm

請愛用brew

brew install npm

npm 下載套件

其實npm的套件都是放在網路repository上，所以要裝任何套件只要

npm install 套件名稱

就可以，但是如果找不到索引，就可能要下載git後本地端安裝

npm install -l

執行Node.js 套件

安裝好套件後，就找到某個.js檔案（可能是自己寫，可能是放在examples)

vu app.js

加入以下的程式碼

EB = require('eddystone-beacon');
EB.advertiseUrl('http://goo.gl/uagFfW');

存檔後執行

node app.js

這樣就可以了.. 由於這個套件沒有網頁顯示．執行玩得直接拿Eddystone 的verifier來驗證．

如何驗證 Eddystone Beacon是否正確 (Eddystone Validator/Scanner)

iOS 可以使用 Chome iOS 版本的 Today

只要進入 Today (iOS 下拉顯示”今天”)，加入Chrome Extension． 就會搜尋實體網路 (Physical Web)，可以搜尋到具有 URL Frame 的Eddystone Beacon．

如果要搜尋其他的Eddystone Beacon(UID Frame and TLM Frame_還是要使用專用軟體．

Android 推薦App

這個App我覺得很好用，iBeacon & Eddystone Scanner． 推薦給大家，還可以查詢RSSI的強弱．

Windows 請用Bluetooth Beacon Interactor

(Bluetooth Beacon Interactor)是UAP，下載鏈結．

這裡有原始碼

相關專案

最後我把所有的Golang beacon simulator 整理成一個小專案，希望能幫助大家．

https://github.com/kkdai/beacon

[更新:12/30] 我也寫了一個Golang的Eddystone Beacon Scanner有興趣可以看看．

相關鏈結

December 8th, 2015

[筆記] 一些新創產業的架構簡報收集

前言:

主要是記錄一下一個有趣的話題在gitter.im/CodeTengu/headquarters

請問有台灣有哪些 startup 寫過他們的系統架構, 使用哪些軟體、服務之類的嗎? 有點類似 stackshare.io 那樣把一些東西列出來?

整理:

以下為條列式紀錄:

December 4th, 2015

[Golang] 來玩玩Golang的效能評估-Benchmark

##前言

在寫Project52的過程中，其實寫了不少的資料結構實作，或是寫了一些演算法的實作． 一直以來由於Golang內建了單元測試的工具，所以基本的go test都有跑．

不過最近由於有個小專案trigram人氣飆高，所以心血來潮來跑跑他的效能測試．發現效果不太好，於是本週的課題就是要來評估你的Go專案效能，並且讓他跑得更快．

Go內建的效能評估 - Benchmark

###如何建立效能評估

首先要講回來，在Go裡面通常而言的習慣是我們會把一個相關的物件寫在同一個檔案．並且把相關的測試寫在obj_test.go裡面．舉例而言:

一個物件 skiplist
檔名為  skiplist.go
相關測試與效能評估會寫在  skiplist_test.go

那效能評估要怎麼寫，我拿個例子來看:

func BenchmarkSliceInsert(b *testing.B) {
	var sl []uint32
	b.ResetTimer()
	var i uint32
	for i = 0; i < uint32(b.N); i++ {
		sl = append(sl, i)
	}
}

這段代碼主要是來效能評估slice對於append的速度．

###如何跑效能評估

那麼要如何在Go上面跑效能評估呢?

go test -bench=.

就可以看到類似的效果

BenchmarkSliceInsert-4   	100000000	        29.6 ns/op

不同資料結構間的效能評估

接下來放一些關於我在測試skiplist的數據，也能做些簡單的筆記:

BenchmarkSliceInsert-4   	100000000	        29.6 ns/op
BenchmarkSliceSearch-4   	   20000	     81506 ns/op
BenchmarkMapInsert-4     	 5000000	       283 ns/op
BenchmarkMapSearch-4     	30000000	        42.4 ns/op

這邊有些簡單的重點可以整理:

以資料結構插入而言: Slice 最快，Map 很慢

這也是很重要的slice是簡單的資料結構，雖然要iterator起來相當的繁瑣．（也很慢） 但是就資料的新增操作上，就快很多了．

如果要寫會一直變動的資料結構（或是很多複製與新增刪除的動作）就比較建議還是使用slice

以資料查詢而言: Map實在快多了

由於我測試流程裡面，slice是以找不到為範例．所以速度差異有點大．不過事實也是，Map的查詢真的快多了，所以如果要建立大量查詢的資料，其實很建議使用Map而不是使用Slice來管理你內部的資料存取．

小專案:

最後，我一樣放上我本週的專案．就是把上個禮拜的專案”trigram“的效能提升後，並且把他的切割格式增加兩個與四個．修改為Ngram

相關鏈結:

December 1st, 2015

[Docker] 在Mac OSX上使用筆記

image

前言

自從之前把我的Macbook Air上面的空間加以清理之後．總算也空出了20~30G，可以好好的練習一下關於docker在swarm與其他在跨機器端的應用． 不過這裡稍微紀錄一些關於Mac上面使用docker的小筆記．

一些筆記

如何讓Docker Setting記錄在你所有的console

由於Docker在MacOSX 是使用VM的方式來架設，其實真正執行docker的機器是你Virtual Box裡面的Linux VM，所以去呼叫docker相關指令一般有兩個方式:

  • 透過Docker Quickterminal來跑
  • 另外一個也可以透過SSH的方式主要是鏈接ssh: 192.168.99.100:2376 帳號密碼是 docker/tcuser

不過這樣多少有些麻煩，有沒有可能讓我在我的console裡面(比如說iTerm2)裡面的每一個tab可以直接使用docker呢? 方法如下:

(假設你是使用bash) 打開 ~/.bash_profile 加入這行

eval "$(docker-machine env default)"

這樣你的預設使用者都可以找到正確的docker socket並且直接使用docker指令 (ex: docker run, docker build …)

如何讓root 使用相同docker環境

一般而言，原本的docker指令是需要透過sudo docker XXXX來執行．但是你會發現這件事情在Mac OSX下面會出現問題．

Cannot connect to the Docker daemon. Is the docker daemon running on this host?

一查才發現，上面設定的環境參數並沒有在root的環境變數裡面．而且docker-machine是找不到原先的設定(docker-machine預設會讀該使用者的docker socket)，所以你不能像上面一樣使用docker-machine env來設定環境變數．

必須要依照以下的方式來設定(假設你root也是使用bash，如果不是可以使用chsh -s /usr/local/bin/bash root來變更:

  • 先在你安裝docker的使用者下執行docker-machine env，可能會跑出類似以下的資料:
export DOCKER_TLS_VERIFY="1"
export DOCKER_HOST="tcp://192.168.99.100:2376"
export DOCKER_CERT_PATH="/Users/USER/.docker/machine/machines/default"
export DOCKER_MACHINE_NAME="default"
  • 將以上的資料複製起來，編輯到root的.bash_profile．也就是執行sudo su 再來編輯 vi ~/.bash_profile
  • 把以上設定放在裡面，並且儲存
  • 呼叫sudo docker xxx 改成 sudo -i docker xxx

如此一來可以正常執行了．不過缺點是你只要用docker-machine 新增會刪除default的時候，就得重新設定．

November 25th, 2015

[Golang] 學習Google Code Search 使用的Trigram Indexing

前言

一直以來，我有在追蹤許多優秀工程師的github(RD的臉書)．其中尤其是dgryski． 因為他有許多有趣使用Golang來開發的演算法小專案，所以我也會一起學習一些演算法與特別的資料結構．

本週的課程是Trigram Indexing．一邊學習，一邊寫成小專案．

什麼是Trigram Indexing

直接打Trigram會找到一堆關於卦的資料．不過Trigram主要是由兩個字組合而成 Tri-gram 也就是三個字元（N-gram中的tri-gram)．

其實Trigram很簡單，主要就是把一串文字透過三個三個來分組:

  • 將所有字元改成小寫
  • 把每個空白處理．這裡有些不太相同，不少人將空白作為分隔符號．而Google Code Search把空白當作其中字元放進去．
  • 把字元做成trigram

如何做把一個單字做 Trigram 拆解

舉例: Search

  • 變小寫 “search”
  • 開始拆解，三個三個為一組
    • sea
    • ear
    • arc
    • rch

如何在程式裡實作拆解trigram

其實在程式裡面實作拆解很簡單，只是重要的是要如何比對．因為如果你真的把"sea"， "ear" …. 存成字串，比對又是相當的消耗時間．所以不論是Google還是一般人在做Trigram的時候都會這樣拆解．

講一個個字元換成ascii的uint32並且透過位移方式存放．舉例而言s := "abc"就變成 uint32(s[0]), uint32(s[1]), uint32(s[2])也就是 97, 98, 99．並且透過位移存放．97<<16 + 98<<8 + 99 = 6382179． 這樣比較的速度就會快的更多，也很適合儲存．

	var trigrams []uint32 //存放所有拆解好的trigram
	s := "abc" //要拆解的字
	
	for i := 0; i <= len(s)-3; i++ {
		//透過將每個字元轉換成uint的方式，並且透過位移方式存放
		t := uint(uint32(s[i])<<16 | uint32(s[i+1])<<8 | uint32(s[i+2]))
		trigrams = append(trigrams, t)
	}

	//最後結果 6382179

如何在Code Search中使用

這邊開始很建議打開Russ Cox關於Google Code Search的介紹文章，雖然主軸是Regex 不過是透過Trigram Indexing的方式．

如同前面提到的，由於這個是”Code Search” 所以空白本身相當的重要．也就必須要將空白當作一個字元來作為Trigram Indexing的來源．

請注意： 本文重點在於討論Trigram Indexing，所以原先在Google Code Search針對Regex處理的部分就不討論．

透過簡單例子來了解

比如說，我們現在要輸入搜尋的是以下三段文字:

  1. Google Code Search
  2. Google Code Project Hosting
  3. Google Web Search

處理空白與加上Trigram Indexing

接下來，讓我們真的來處理一些字串，這裡結果就會有點複雜，所以我們只拿第一段文字舉例：

“Google Code Search”來做Trigram Indexing:

"Goo", "oog", "ogl", "gle", "le_", "e_c", "_Co", "Cod", "ode", "e_S", "_Se", "Sea", "ear", "arc", "rch"

在每一個Trigram上加上Document ID

Document ID就是你原本是第幾段文字(以這裡為例子），當然隨著文件變大，有可能是檔案或是磁碟代號． 這裡將以上的每個資料都加上 {1}．

將Trigram 文字轉成數字方便比對

就像之前提到，要一個個比對文字 “Goo”比對 “Goo” 其實在CPU上面是比較慢的．而且存放成文字也是比較佔空間．所以比較好的方式就是都轉成Ascii的方式:

	"Goo" = uint("G") uint("o") uint("o") = 71 111 111

並且透過位移轉換，將他放成同一段數字uint32

	71 << 16 + 111<< 8 + 111 = 4681583

如此一來，之後再也不用比對文字"Goo"而是比對事不是數字4681583．

如果一份文件中出現重複的trigram

前面沒有提到，不過我們還是要處理可能會重複出現的trigram．比如說"Gooood"，就會拆解成"Goo", "ooo", "ooo", "ood"．其中就有出現兩個"ooo"． 所以針對這樣的時候，我們還需要記錄這個trigram在某個Document中出現的次數． 以這個例子而言:

	"Gooood"  = "Goo", "ooo", "ooo", "ood"
				=  4681583, 7303023, 7303023, 7303012
				= 4681583 -> {1, 1} //第一個doc 出現一次
				  7303023 -> {1, 2} //第一個doc 出現一次
				  7303012 -> {1, 1} //第一個doc 出現一次

可以透過這個方式來表示一個trigram indexing 的文件資料．

出現的次數可以作為trigram 刪除的時候參考，輸入的字串也必須要有複數個才能把該文件裡的trigram整個刪除．

如何在儲存這樣的資料

接下來要解釋，如何將Trigram Indexing結果做儲存．主要的方式是透過Golang 的map

	
	var trigramIndex map[uint32][]int
	
	// 這裡指的是透過 trigram -> document ID slice
	// 舉例而言: "Goo" 出現在 Document 1,2,3
	// "Goo"-> {1, 2, 3}，假設 "Goo" 在第一個文件出現兩次，第三個文件出現三次
	//      -> { {1,2}, {2,1}, {3,3} }
	// 而 "Goo" 會變成 uint32 4681583
	// 就存放成 trigramIndex[4681583]-> []int= { {1,2}, {2,1}, {3,3} }

查詢 (Query)

透過以上的方式，將所有的文件（以這裡為範例就是三段文字)． 做好Trigram Indexing之後，並且全部存成一連串的Doc ID之後． 我們就要來開始進行一個簡單的查詢:

假設我們要查詢"Code"這個字出現在哪些文件中，處理的流程如下:

  • "Code"拆解成 "Cod"跟"ode"
  • 透過轉換變成4419428 與 7300197
  • 透過我們儲存好的mapping table，可以找到 4419428 -> {1,2}還有 7300197 -> {1, 2}
  • 講兩個結果做"AND"，也就是 {1, 2} AND {1, 2} = {1,2}
  • 查詢結果該文字出現在文件1跟文件2

範例程式

以下寫好我自己的範例程式，大家有興趣可以進去參考看看．https://github.com/kkdai/trigram

相關鏈結

November 19th, 2015

[Android][JNI]如何由JNI thread/callback去呼叫Java Method

image

前言

在執行Android JNI的時候或多或少都需要在JNI中去呼叫Java的函式．（不論是只有Android才能拿到的資料，或是需要做callback)

這裡就介紹如何在 JNI thread (或是 callback)中去呼叫 Java Method．

基礎觀念

先了解基礎概念，大部分而言會有兩種狀況需要由JNI呼叫Java．

  1. Java -> Jni -> 更新另外一個Java
  2. Jni的Callback or Thread -> 更新 Java

會需要這種狀況，大部分都是(2)．當然也可能是(1)．由於在(2)的狀況下限制比較多而且比較麻煩，所以只講解(2)的部分． （當然，一樣的方式也可以適合給(1)使用．

先講解可能的限制

由於我們是從jni裡面的thread 或是 jni 去呼叫C/C++ module的callback． 所以.. 你拿不到JNI Environment JNIEnv 跟原先呼叫或是你想要呼叫的Activity的jobject．

所以這裡要先透過某個 JNI main thread的function．舉例而言，最基本的Hello World JNI 都會有個 stringFromJni() 透過那個main thread的JNI function．

相關流程

  1. 需要紀錄JVM (一般而言 JVM生命週期是每個App launch啟動）
  2. 也必須要記錄你要呼叫的 Activity 的 jobject
  3. 透過JVM取得目前的目前 JNIEnv (透過AttachCurrentThread)
  4. 依照一般流程呼叫CallVoidMethod ->GetMethodID -> CallVoidMethod(如果是呼叫void)
  5. 透過DetachCurrentThread回收相關資源

程式碼:

容易出錯的部分:

錯誤的jobject使用

這邊主要是提醒，由於JNI function 函式裡面的參數 jobject thiz的處理:

JNIEXPORT jstring Java_com_example_hellojni_stringFromJNI( JNIEnv *env, jobject thiz )

裡面的 JNIEnv *env 與 jobject thiz主要解釋如下:

  • JNIEnv *env : 負責處理JNI的環境，千萬注意在thread裡面的JNIEnv會不同．所以要使用上面的AttachCurrentThread
  • jobject thiz: 主要是處理該JNI library owner (Activity) 的Java Object．
    • 這裡要主義的是這個jobject 主要是System.loadLibrary("hello-jni"); 的Java Activity，而不是呼叫JNI function 的Java Object．

所以如果你有一個Java Class (ex:JNIJava)專門處理JNI，另外一個Java Class (ex: MainActivity)去建立 JNIJava然後去呼叫他，如果你需要呼叫回去MainActivity的函式，記得要把該Activity 傳進來． (不然就是要用FindClass找到正確的)

沒有使用AttachCurrentThread，造成CALL_TYPE crash

如果在JNI native debugger 發現有CALL_TYPE error 在 jni.h．代表你再不是JNI main thread去使用main thread的JNIEnv．所以要注意．

相關鏈結