Blog E

August 27th, 2015

[iOS][XCode][AutoBuild]建立XCode Build Script 來自動產生連接好的多平台Libraries

主要問題:

在iOS上面要編譯 C/C++ Static Library，除了有必要的轉換之外．最麻煩的大概就是先把多個平台iphoneos跟iphonesimulator的產出library透過lipo 結合成一個所謂的 fat library之後，在複製到某個地方．

但是在Windows VC開發已經習慣使用Post Build Process的我，當然在XCode開發上面也要找出一套自動的方式來幫我完成這件很蠢的事情．

解決流程:

建立一個Aggregate

透過編輯器 [Editor] -> [Add Target] 來建立一個Aggregate (記得之後要build就要選擇這個target)．至於選擇Mac 或是 iOS的沒有差異．這邊只需要輸入一個target 名稱後就可以了．

建立一個 Run Script

(圖片來自 Apple Developer)

如同上圖所示，在Target 選擇設定，選擇剛剛建立的Aggregate，然後到 [Build Phase]裡面去點擊+ 來新增 “Run Script”

以下為範例的Build Script，主要是把專案”ABC”的Debug-iphoneos 跟 Debug-iphonesimulator 的輸出結合到另外一個目錄．

    xcodebuild -project abc.xcodeproj -scheme ABC -sdk iphonesimulator -configuration Debug
    xcodebuild -project abc.xcodeproj -scheme ABC -sdk iphoneos -configuration Debug
    
    # make a new output folder
    mkdir -p ${TARGET_BUILD_DIR}/../outputABC
    
    # combine lib files for various platforms into one
    lipo -create "${TARGET_BUILD_DIR}/../Debug-iphoneos/libABC.a" "${TARGET_BUILD_DIR}/../Debug-iphonesimulator/libABC.a" -output "${TARGET_BUILD_DIR}/../outputCCS/libABC.a"

當然，你也可以把檔案輸出到專案目錄下面，方便你以後管理．

衍生應用

你可以每次build的時候增加版本號碼，這是其他人比較喜歡用的．可以參考這篇

心得與應用:

這一篇文章，主要就是讓Engineer可以簡單地透過Cmd + b來編譯一個特殊的Aggregate target來執行一堆本來是透過CI來跑的 Script．這樣一來，Engineer可以邊修改，邊把相關檔案編譯出來．而最後要導入CI的時候，該Aggregate target也可以直接拿來編譯．

參考文章:

August 27th, 2015

[MOOCs][coursera]R-Programming 學習心得

前言:

主要是想了解一下，R-Programming 有什麼樣在大型資料處理上的優點．以及為何許多Data Science 都會選擇使用R作為資料處理的主要程式語言．

這一篇是一個月來的修課心得，主要整理一些自己的筆記．

心得:

學習玩 R Programming 會覺得其實R是蠻值得花時間學習的．個人提供一些心得如下:

R的資料型態很特別，很”資料導向”．詳細可以參考這篇R資料格式教學
R對於資料的操作也很特別，尤其是對於data frame的操作思維是其他語言不容易見到的．透過 row 跟 col 直接來尋找，取出並且操作．
許多函數都相當的直覺，很適合初學者學習．比如說想找有幾筆資料就打nrow()想知道欄位名稱就打colnames()，要算平均就打 mean()．也難怪聽說R都是一些數學很好但是可能是程式設計的初學者．

課程筆記:

第一週

課程內容:

本週課程內容主要是教導基礎的R-Programming，R的資料格式提供了不錯的資料處理能力．舉幾個例子來說:

vector 產生指令: c( ... )
- 產生出的vector會變成同一個class，不同元素會採取比較寬鬆的class來包括
- 如果你打 x <- c(1, 'a') 則會把全部元素轉成 character (包括 1)
list 產生指令: list( ... )
- 跟vector不同，每個元素可以是不同class
- 操作方式:
  - 給值: x <- list('a', 2, TRUE)
  - 取用: x[[1]] # 'a'
matrix 產生指令: matrix( ... )
- 每一個元素都是integer
- 可以直接給值 x <- matrx(1:6, nrow=2, ncol=3)
- 也可以透過 cbind() (column bind) 或是 rbind() (row bind) 來組合出matrix

資料處理上，R 其實還挺方便的:

x <- list(10, 5, 7, 20, 1, 3)

// 找出 所有 x > 10
x[x > 10]

[[1]]
[1] 20

// 找出 x>10的index
which(x>10)

第二週

課程內容:

主要講解control flow (if, for, while …) 跟Function and scope．主要提提scope:

Function中可以define function:

    #cube 裡面還有一個 function  n*n
    cube<-function(n){
         sq<-function() n*n
         n*sq()
       }

Free variables

  #指的是並沒有被清楚assign 的變數
    cube<-function(n){
         sq<-function() n*n
         n*sq()+y
       }
    
  # 這個例子裡面 y就是 free variables

Lexical scoping v.s. dynamic scoping
- lexical scoping: free variables resolved to search when function were defined.
- dynamic scoping: free variables resolved to search when function were called.

關於作業

作業者要是寫一些function，難度都還算簡單．不過也能充分體會R在處理資料上面的強大支援．

lapply 的功能很強大，可以把要處理的function 丟進去

  #load_files <- number of file name
  # read csv files into tables vector
  tables <- lapply(load_files, read.csv)

  # get mean value of each table, and also remove NA
  lapply(total_tables, mean, na.rm = TRUE)

NROW(na.omit(one_data_frame)) 可以算出data frame裡面

針對data frame 的建立，可以用以下方式丟進for裡面來處理

  #data_length 為某個特定的size
  index <- numeric(data_length)
  numbers <- numeric(data_length)
  for (i in 1: data_length) {
      index[i] <- i
      numbers[i] <- i + 5 #任意資料
  }
  ret_data_frame = data.frame(index, numbers, stringsAsFactors=FALSE)

這裏有用到計算correlation的函式cor (細節參考)，使用上記得要加上 use = "complete.obs"避免使用到空白欄位．

第三週

課程內容

對於反覆要對每一個資料表執行的指令，可以透過lapply來執行．
- 底層loop用C，可能會比較快？
- 範例：
  - lapply(x_list, mean): 針對x_list的資料，做平均值．（所已lapply回傳也都為一個list)
apply不一定比for還快，但是打的字可以比較少 (? 講義裡面是這樣講的 XD)
- 範例:
  - apply(x, 1, sum) 對x資料中的第一個維度處理”加總”．
mapply可以一次將函式套用到多個資料表中，可以用於套用多個輸入參數的函式套用．
- 範例:
  - mapply(rep, 1:5, 5:1) 對於rep兩個輸入參數第一個循序加入1, 2…5，第二個參數 5,4 … 1．
tapply更可以指定index 與資料還有其套用的函數
- 範例:
  - tapply(x, f, mean)
split可以根據輸入的資料與索引來拆該原來的資料，通常會搭配lapply來找出資料．拆出資料會有點像Group By
- 範例:
  - lapply(split(x, x$f), mean)
  - split如果透過一個維度來分割就是group by，也可以依照兩個維度來切， split(x, list(a, b)) 這樣會切出 a=1, b=1; a=1, b=2 …
關於R Debugging
- traceback()可以列出發生最近錯誤的最後幾行，沒有錯誤就沒有資料回傳．
- debug(fx)可以試著去debug某些函式，方式有點像是gdb．可以一行一行跑(n) 然後查看資料．

關於作業

要拆解資料，很多時候不一定要用split，也可以透過 data.frame來操作．比如說找尋某些資料表中 $a == “Good”的第二個欄位的平均．可以是: mean(data_x[data_x$a == "Good", 2])

關於Peer Assignment

關於範例的理解

以下講解是根據範例而不是作業解答:

     #函式 makeVector 會將輸入的數列回傳一份向量list
     #這份list 就像是 class一樣有以下功能
     # $get() 取得這份向量的cache
     # $set() 重新設定這份向量
     # $getmean()  取得這份向量的均值，注意預設是不會幫你計算．需透過setmean()寫入
     # $setmean()  寫入均值
     makeVector <- function(x = numeric()) {         
                m <- NULL
                set <- function(y) {
                        x <<- y      # (1) This writes x in global?
                        m <<- NULL   # (2) This writes m in global?
                }
                get <- function() x  # (3) Redefines get() locally?
                                     # (4) What does x do here?
                setmean <- function(mean) m <<- mean
                getmean <- function() m
                list(set = set, get = get,
                     setmean = setmean,
                     getmean = getmean)
        }

另外一個函式cachemean，解釋如下:

    #主要是將makeVector傳回的資料加以套入，如果沒有均值就會算出後加入裡面．
    cachemean <- function(x, ...) {
            m <- x$getmean()
            if(!is.null(m)) {
                    message("getting cached data")
                    return(m)
            }
            data <- x$get()
            m <- mean(data, ...)
            x$setmean(m)
            m
    }

看完可能一頭霧水，先看看要如何使用好了．

    #建立一個數列，由1,2,....25
    x <- seq(from=1,to=25,by=1)
    #將向量做出，指向z
    z<- makeVector(x)
    
    #注意，這時候無法直接取用 z
    #不過可以透過 z$get() , z$set(xxx), z$getmean() 與 z$setmean(xxx) 來使用
    
    
    z$get()
    # [1]  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
    
    #如果要正常取得mean，需要以照以下的指令:
    cachemean(z)
    #[1] 13

這樣應該就瞭解該怎麼寫peer program的作業了．剩下的只有矩陣的操作．

關於矩陣(matrix)的操作

建立一個矩陣:
- x <- stats::rnorm(16)
- dim(x) <- c(4,4)
關於Inverse Matrix: 使用 solve(matrix_x)
矩陣相乘: matrix_a %*% matrix_b

第四週

課程內容

關於str()顯示資料的結構，summary()可以顯示資料本身的總結(軍職，最大，最小…等等)．
- 但是str()對於複雜的結構顯示上更加的緊湊容易了解．比如說顯示data.frame或是function．建議對於不了解的資料形式都可以適用str()來查詢．
關於隨機產生數值的函式:
- rnorm():產生隨機數值，並且可以指定由多少的均值來產生．
- pnorm():根據某些給予的機率來產生隨機數值
- dnorm():根據給予的密度來產生隨機數值
- qnorm():根據分位數來產生隨機數值
關於set.seed():
- 可以設定亂數種子．注意，如果剛設定完亂數種子則拿到的亂數會與前一次剛設定好相同．建議每次取亂數前都要設定，方便以後使用（重複使用或是取出不重複)
```
  set.seed(1)
  rnorm(1)
  // 0.18..
  rnorm(1)
  // 0.44..
        
  //重新設定
  set.seed(1)
  rnorm(1)
  //0.18..
```

關於透過亂數帶入線性代數部分:

    //x 為100個常態分佈數值的亂數
    x <- rnorm(100)
    //設定y與x 的關係
    y <-3+5x
    //在圖形上畫點
    plot(x, y)

需要在某些數值中取樣 sample(來源, 個數):
- 需要20~50取五個亂數: sample(20:50, 5)
- 將1~10以亂數以不重複的順序，取出直到取完: sample(1:10)
- 抽十個會重複 sample(1:10, replace=TRUE)
- 需要小寫英文字母中取五個單字: sample(letters, 5)
R Profiler(分析那些部分耗時):
- 不需要在一開始考慮，先把事情做正確在做得快．
- system.time() 可以產生某些函式耗時多久
- 可以使用Rprof()來幫助你分析，不過一旦執行他會把每個含式都加以評估（會變更慢）
  - 透過 Rprof()開始，跑一些要測試的功能後，跑summaryRprof()看結果．

關於作業

一些需要注意的部分:

型態轉換:
- data.frame 讀進來可以都設定是character，但是資料得要好好的轉換才好判斷．
- as.numeric()可以把字串轉成數字來取最小值min()，相反的要比較的時候記得要用as.character()轉回字串．
data.frame資料的擷取:
- 想要做出select SQL語法的話，可能要經過以下的轉換…
- data.frame[data.frame[,rol]=="VALUE", ] 可以挑出欄位rol符合 VALUE的data.frame
- 如果只要挑選某些項目，可以透過data.frame[,rol] 來找出．
刪選資料(Transform your source):
- 一般而言，資料裡面可能會有NA的資料數值，但是這次的資料更奇怪．裡面有“Not Available”．這樣造成不論是轉換上或是判別上變得相當困難．因為 is.na(“Not Available”) == FALSE
- 轉換方式是建議先把不希望出現的資料清理掉．也就是一般人家說的Big Data ETL(Extract, Transform, Load) 中的Transform (也就是清理不需要的資料)．
資料型態轉換上的失真:
- 很多時候對於資料轉換上，要小心有可能造成的失真．比如說: as.numeric("6.0") == 6 所以當你要回頭找資料的時候，可以建議先做一些轉換sprintf("%1.1f", 6) == "6.0"
關於資料排序(order):
- 排序其實就還挺簡單的，主要就是使用order()來排序．唯一比較需要注意的是，由於order()提供字元與數字排序法，但是兩者的排序邏輯是不同的，記得要把數值先轉回數字(numeric)而不是拿到文字(character)來使用．
- 在排序的時候要注意，其實可以依照兩個欄位來排序．比如說透過欄位13來遞增找，又可以透過欄位2來遞減． dataf[order(dataf[,13], -dataf[,]), ]

關於 swirl

這其實是使用swiri的教學課程，裡面有15段R Programming的基本教學課程．有點多，不過依照指示可以有完整的了解．

不過總共有15段課程其實還真不少，大概也得花個一兩個小時不斷的看才看得完．要注意修業時間是否趕得上….

參考鏈結

August 7th, 2015

[新聞與心得]微軟開源winobjc

本日最紅的github (不到24h 超過2000+ star)，莫過於微軟的winobjc，玩了一天分析一下:

###先講結論:

####想使用的話.. 還不用急著用.. 除非你想幫微軟土炮iOS 所有foundation XDDD

首先這是一個把你的iOS App ObjectC的code 透過vsimporter轉出一個 VS solution．然後透過VS2015 的clang compiler 編譯成 Windows Universal App (or Windows Phone App)
你能想到的 UIKit AVFoundation 都是土法透過DX11自幹出每一個功能(reverse engineering)… 所以要開源請大家一起幫忙土炮 3.除了github 上面提到的一狗票還沒成功之外，其實就算是UIKit 也有很多基本的class功能也都沒有土炮出來.. 更複雜的BLE 跟Map當然也都還沒有 (等你幫忙XD，有人說.. 路還很遠)
License 採取MIT不過不少人看到裡面的程式碼都是copy & paste 很多其他的人的心血 BigZaphod/Chameleon 跟 mono/CocosSharp .. 應該有更多….
根據微軟說的.. 這部分的核心 clang compiler 不會 open source XDDDD

參考資料

August 6th, 2015

[Golang]透過brew來做Golang的版本切換

前言:

本來想在Mac OSX上面使用gvm來管理Golang 的版本切換，主要是因為想切到 Go 1.5 beta來玩玩新東西．

不過昨天去GTG聚會之後，學到brew switch之後，覺得整個很威啊… 這裏把幾個筆記記錄一下:

###指令集:

使用brew安裝Golang

    //把brew的fomulae更新到最新版本
    sudo brew update

    //使用brew安裝Go
    brew install go

更新版本

    //拿目前最新版本 Go 1.5 beta3 舉例
    brew upgrade go -v=1.5beta3 --devel
    
    //注意.. 就的版本 Go 1.4.2  不會從你的brew位置移除
    //可以查詢
    brew info go:
    
    
    //目前系統有安裝兩個版本.... 使用的是1.4.2
    go: stable 1.4.2 (bottled), devel 1.5beta3, HEAD
    Go programming environment
    https://golang.org
    /usr/local/Cellar/go/1.4.2 (4584 files, 276M) *
        Poured from bottle
    /usr/local/Cellar/go/1.5beta3 (5357 files, 277M)
        Built from source
    From: https://github.com/Homebrew/homebrew/blob/master/Library/Formula/go.rb

切換版本

    //使用brew switch來切換        
    brew switch go 1.5beta3
    
    //螢幕顯示
    Cleaning /usr/local/Cellar/go/1.2.1
    Cleaning /usr/local/Cellar/go/1.4.2
    Cleaning /usr/local/Cellar/go/1.5beta3
    3 links created for /usr/local/Cellar/go/1.5beta3
    
    
    //如此就可以切換.... 不過檔案不會移除

反安裝版本

    //使用brew uninstall
    brew uninstall go
    
    //只會移除目前使用的版本... 不過由於原本目錄沒有指向新的，所以功能都無法使用
    //將目前使用的版本切換到 1.4.2
    brew switch go 1.4.2 

可能會發生的錯誤

切換Go版本，然後跑go build可能會發生以下的錯誤:

    package .
    	imports runtime: C source files not allowed when not using cgo or SWIG: atomic_amd64x.c defs.c float.c heapdump.c lfstack.c malloc.c mcache.c mcentral.c mem_darwin.c mfixalloc.c mgc0.c mheap.c msize.c os_darwin.c panic.c parfor.c proc.c runtime.c signal.c signal_amd64x.c signal_unix.c stack.c string.c sys_x86.c

解決方式(solution for “C source files not allowed when not using cgo or SWIG”):

這裏提供我的解決方式:

刪除 %GOPATH%下的pkg資料夾
重新開啟 console 或是確認 go env有讀到正確 go 1.5的設定．

##心得

gvm主要是給Ubuntu(linux-like)來管理Golang版本套件的．既然是Mac OSX就要用最好使用的homebrew．

搞定 brew switch 切換Go 版本真的是很方便… 不過c-shared MAC也沒有想玩還是有點麻煩… 還是在Win上面弄docker玩…

August 5th, 2015

[研討會心得][GTG14][Golang]第十四次的Golang Taiwan聚會

前言

小孩出生後難得可以參加研討會GTG#14，主要也是想看看Go 1.5的一些新功能介紹．

第一階段: tka - 用 Golang 幫 Ruby 加速

筆記:

buildmode=c-shared:
- 啟動版本: Golang 1.5 beta2
- 環境: linux / android (win/mac 不支援)
資料結構不同:
- GoInt8 -> signed char
- GoString -> char *p, int length
Ruby FFI:
- ruby package to load dynamic libraries.

呼叫方式:

    require 'ffi'                                                                                                                           
    require 'benchmark'                                                                                                                     
                                                                                                                                            
    module LibGo                                                                                                                            
      extend FFI::Library                                                                                                                   
      ffi_lib './libgo.so'             
      //               (fn) (input) (output)                                                                                                     
      attach_function :fib, [:int], :int             
    end  

效能比較

簡單功能 Ruby > golang 五倍
fibinacci Golang > Ruby 二十倍

參數挑選

使用GoString 與使用C.String
- 結果:
  - C.String 會比較快
- 原因:
  - Ruby 轉 Golang string 需要配置兩個參數 (char * 與 length)

Q&A

C-Shared GC
- Not tested yet.
C++ binding with Go
- 速度應該沒差

其他:

有介紹到的golang Language package看起來很好用

第二階段: 用 Go 寫前端， GopherJS 優劣分析

Slide:

Full-stack go with GopherJS from Poga Po

筆記

** Fullstack Go**

GopherJS
- Goroutines works in JS
JS s signle-thread
- GopherJS provide roroutine scheduler.

Examples:

DOM
Callback

效能:

測試五千個goroutine來選轉圖片是可以接受．

Gocha

No dead code elimation
- Use js not fmt to reduce size.
Callback should not block
- JS is single thread. (main thread)

會後心得:

使用brew 來管理Go版本，好像很酷

參考資料:

August 3rd, 2015

[JENKINS]使用Jenkins部署Golang Server

##前言

想要把Server部署(deployment)自動化，於是又把Jenkins拿出來用．

Service Deployment

PHP Service

要部署PHP Service其實很簡單，主要就是把檔案*.php複製到apache目錄底下就好．

在Jenkins抓完Git之後，新增一個”執行Shell”

    echo "Deploy server1..."
    mv pserver1/*.php /var/www/html/server1/

Go Service

由於Server上的Golang Service使用screen在背景跑．要部署要分成幾個階段:

Build Go execution file
- 這裏有兩個approach一個是使用Go Plugin for Jenkins，而我是直接使用command line跟系統參數．確認go env可以抓到正確的環境參數:

在Jenkins抓完Git之後，新增一個”執行Shell”

    echo "Building Go SERVER"
    export GOPATH=/YOUR/GOPATH
    cd YOUR_GO_PATH
    rm ORI_GO_EXECUTION_FILE
    go build -v

Kill current service and start new service

在Jenkins build好Go之後，新增一個”執行Shell”

    echo "Deploy Server"
    cd /YOUR/PATH
    sudo ./go_server_restart.sh

這裏有shell script 的內容:

    #!/bin/sh
    cd /YOUR/PATH
    COMMAND_GO_SERVER=/YOUR/PATH/go_server
    go_server_pid=`pidof ${COMMAND_GO_SERVER}`
    if [  $go_server_pid ]; then
            date +"%Y/%m/%d %H:%M:%S-Go Server Restart"
            kill -9 $go_server_pid
            sudo screen -d -m ./go_server
            date +"%Y/%m/%d %H:%M:%S-Restart completed"
    else
            sudo screen -d -m ./go_server
            date +"%Y/%m/%d %H:%M:%S-Start completed"
    fi    

關於Jenkins權限

這裏要注意，如果要跑mv 或是kill -9 需要有root的權限，這樣需要把jenkins的權限調高．細節可以參考How to run a script as root in Jenkins?

修改Sudoers
- sudo visudo
- 增加jenkins ALL = NOPASSWD: ALL

如果要更改檔案後commit回去 [2015/10/21 update]

如果希望能更改檔案後，自動的push回去的話．主要要參考這一個stackoverflow

主要的問題是jenkins的每一個action裡面的git 是沒有紀錄的（因為是工作區) 所以解決方式是跑git checkout master．不過這樣一來在那邊的git 的id 會亂掉．比較建議的做法是另外開一個資料夾，然後把檔案複製過去再去commit

jenkins a repo build file
copy destination files to b folder (the same a repo)
git commit/push in b folder

請注意: 這個做法有相對的安全考量，請自行參照

TODO:

Post commit hook

需要Jenkins在commit submit之後，自動跑task．可以參考Jenkins CI: How to trigger builds on SVN commit

##參考資料