August 21st, 2014

[研討會心得] PaaS Meetup #3 MSFT Azure/ IBM BlueMix

心得:

  • MSFT Azure 在宣傳資料上面，似乎數據相當的嚇人．之前使用的經驗上還算不錯．

    • PaaS服務其實挺多的，只是支援語言有點少．可能要使用還是以IaaS為主．

  • IBM BlueMix 網路的服務其實很不錯 (hub.jazz.net) 甚至有IOT的SDK，這是比較有競爭力的地方． 不過使用狀況上不算快，可能是台灣的網路都不快，看IBM哪時候把骨幹加強．

    • 有一些免費的quata 其實可以去使用，只是速度堪慮． IOT目前不收費，可能是比較有趣的地方．

速記:

August 14th, 2014

[研討會心得] PaaS Meetup #2 AWS Docker

前言：

就像上次有提到的，這個meetup主要是由IBM的 BlueMix團隊的人主辦的．
但是相當有趣的是主要是來研究各種不同的PaaS的部分．這是第二次參加主講的部分是AWS與 Docker

心得：

  • 第一部分：  

    • AWS 的部分很有趣，也開了AWS的帳號．發現建立一個Beantalk 相當的方便．

    • 這次在Coscup裡面也有聽到其實AWS裡面有相當大的一個DevOps的一系列工具．不僅僅能當PaaS連，IaaS都有類似的功能．

    • CLI的操作起來也是學習Heroku，這部分久不需要詳談．這次參加也發現 AWS Beanstalk 其實有支援docker了．

  • 第二部分：

    • 這個部分的講解相當的Cool，主要是利用 Dokku 來架設一個lightweight 的 Heroku在 DigitalOcean上面．

    • 在這裡面docker是為了讓dokku能夠跑出類似heroku的不同dyno 的功能，

    • 類似這樣應用其實挺有趣的，也不斷的思考有沒有什麼特別的應用可以來用．

AWS (Amazon Web Service)  Beanstalk  (slide)

  • 主講人： 

  • Amazone Web Service architecture:

  • 優點：

    • 快速部署，方便管理

    • 整合AWS服務

      • EC2 （運算）

      • S3 （File storage)

      • SNS (message queuing)

      • Cloud Watch 

      • Elastic Load balance

      • Auto Scaling

    • 比較一下:

    • Deployment working flow:

      • Create Application -> Upload version -> launch Environment -> manage Environment

    • Deployment command line toolkit (refer here)

    • Demo (Python -> AWS EB with Flask)

      • Local run

      • Implement Application.py (for Flask)

      • Add Requirement.txt (similar with heroku virtualenv -> pip freeze )

      • init Git

        • Tools : git aws.push

      • eb start

        • Server type 

        • LoadBalance

        • RDS (Relation Database )

      • eb stop (to kill application)

        • 注意： 如果EB 移除的時候，該DB 也會一起被移除．

        • 也會自動傳一個S3 (作為 log， Version control system)

  • Q&A:

    • Q: 如果主機與本機設定不一樣怎麼處理?

    • A:  

      • 程式內必須處理，PaaS重開後會會把檔案清掉．

    • Q: 要主機執行background command or command line

    • A: 

    • Q:  各個語言使用的 Web Server 也是不同

    • A:  

      • Python -> Apache, Ruby -> Rails , Java -> Tomcat

      • 所以針對不同web  server 需要跑不同command 也要注意．

  • 公司主要用途：

    • 本來只用AWS EC2，後來都用 AWS EB (對於Startup 有優惠)

  • 參考：

 

Docker on Dokku on DigitalOcean

  • 主講人:

  • Introduce about docker (skip) refer more in http://docker.com/whatisdocker

  • Docker Ecosystem 

    • Take all operation in Heroku using DockerDocker - Container runtime and manager

  • 要架設一個mini-heroku 需要以下的設備

  • It might take 500s

    • Download all image

    • Download docker /lxc-docker

    • Laucn docker on heroku

  • All slide in https://github.com/mose/20140814-dokku

  • Q&A:

    • Q: 為何使用 docker in dokku 在DigitalOcean? 既然 dokku 已經可以讓自己的電腦可以架起來測試類似PaaS的功能了

    • A:

      • 依舊需要給外部人使用．

    • Q: Dokku 可以有 loadbalance?

    • A:

      • 目前還沒有那麼強大的功能，不過flynn 似乎有把比較強大的方式．
August 13th, 2014

[MOOC][Java][Programming Cloud Service] 關於Spring Boot 的基本學習 -完成第一次作業心得與筆記

前言：

這些學習主要都是針對Mooc 上面的課程(Programming Cloud Service)所學到的一些部分．
雖然說同時在學習Golang跟Java 是有一些混亂的，能夠學習一下關於Java上面架設REST Server的方法有是挺有趣的．

第一個作業大綱與心得： 

這個課程的第一份作業其實相當的有趣，就是實作一個REST 的server可以查詢video info 還有就是能夠上傳video．
雖然相當有趣，但是其實讓我相當的苦惱．就是整個Controller的parameter到底該怎麼設計才能讓Retrofit  能夠正確的讀取與呼叫到．
其實如果Java或是Spring有點熟悉的人應該可以快速地完成第一次的作業．我卻也繳了不少時間當學費來好好學習整個架構與溝通的方法．

Spring Boot:

  • 簡介：

    • Spring Boot 可以快速的幫助你建立一個Java Based 的俱有REST 的Web Application．

  • 使用上的筆記:

    • 比較需要管理的只有兩個部分，一個是Application.java 另外一個是Controller.java ．其中檔名可以改，但是需要有annotation 來表明清楚哪個是application 哪個是 controller．

    • 其中關於Controller裡面，重點是需要有 annotation 註名是 controller

      • @Controller

    • 相較於Java Serverlet 對於 Web Request 的處理上，Spring Boot 相對的簡單多了．不需要繼承 HttpServlet 然後去 overwrite doGet 跟 doPost，只需要在前端去註解出這個function 要對應到哪個http request．

      • @RequestMapping(value=“videos”, method=RequestMethod.POST)

      • 這個就是代表著 ，只要從http XXXXvideos的 POST request 都會轉到這個地方．

    • 對於去處理Http Request的部分，最麻煩了不外乎是處理 輸入與輸出的參數，而Spring Boot 可以很漂亮的做出這件事情．

      • @RequestBody/@ResponseBody

      • 這個會自動地把參數轉成你所要求的，不論是把Boolean轉成@ResponseBody(JSON的形態） 或是把@RequestBody轉成你所要求的變數形態．

    • 更改運作的port (change connection port) 官方提出兩個方法，不過我是第二個才成功．

      • 新增 application.properties 在 src/main/resources/  並且加上 server.port = 9000

      • 在 Eclipse 的properties -> Run/Debug Settings -> Application -> Environment -> Add [SERVER_PORT] = 9000

    • 同時需要debug - Server 與 Client (test)

      • 先跑 Server - debug as Java Application (設定好break point)

      • 再接者跑test - debug as JUnit test

      • 在同時做 server  與 client debug 的時候，常常會有一個動作卡在 client 之後 server就沒回應．或是專心的看server的code，client 就停住了． 我會繼續研究看看．

    • 對於 /path/{id} 這一類型的RequestMapping 需要使用以下，不然會找不到:

    @RequestMapping(value=“/departments/{departmentId}”)
    </br>    public String findDepatmentAlternative(@PathVariable(“departmentId”)String someDepartmentId)
    </br>{…     }

    • 對於multipart 的敘述，一開始不是很了解會以為是POST的必須的API．回去看了關於Retrofit 的敘述才知道Multipart只針對檔案的上傳

      • 他在controller裡面對應的API是 @RequestParam(”data”) MultipartFile uploadFiles…

    • 其實在實作controller的時候，是不需要參考Retrofit 的API，那個API只是幫助你的test client 知道該怎麼跟server溝通．

    • 很多參數在Controller是可以基本帶入的:

      • HttpServletResponse 跟 HttpServletRequest 可以加入在parameter內然後看看有沒有呼叫到．

  • 參考：

August 7th, 2014

[研討會訊息][PaaS] Pivotal 與 Heroku討論

Taiwan PaaS Meetup http://www.meetup.com/%E5%8F%B0%E7%81%A3-PaaS-%E9%9B%B2%E7%AB%AF%E6%8A%80%E8%A1%93%E4%BA%A4%E6%B5%81%E6%9C%83/about/
Meetup PaaS HackPad: https://paas-tw.hackpad.com/Getting-Started-with-Pivotal-Web-Services-PadMnuFp1vd

總結：

  • 相較於Pivotal (Cloud Foundry) ，Heroku可能真的比較廉價．

  • 收費方式都不是算流量：

    • Pivotal : 記憶體

    • Heroku: 依照計算能力 Dyno

  • 自動Scale

    • Pivotal似乎沒有自動調節scale 的能力．

    • Heroki似乎沒有看到

  • 與git的搭配:

    • Pivotal並沒有

    • heroku 不僅僅原生就支援git，也可以直接跟github互動．

心得：

  • 這次參加的人數不算多，不過倒是很多高手．有看到ihower 還有似乎是他同公司的mose．可見PaaS再用的人真的都不是DevOP的人而是developer．

  • 文創中心算是不錯的場地，交通也算方便．場地費似乎也不貴．其他人要辦活動挺推的．

  • 看起來Pivotal跟 Heroku沒有太多差異，但是 Heroku有免費的方式， Pivotal卻沒有，可能在初期是可以先用 Heroku 正式上線後再考慮要不要挑到 Pivotal．

  • 有很多的討論都可以看出來PaaS跟docker有更多的交錯，只是接下來接近會走向dokku 還是???

 

 

Pivotal:

 

Heroku:   /her-OH-koo/ 

  • 架構：

    • Slug Compiler -> Slug

      • Slug -> dyno (based on scale)

  • Dyno 特性:

    • isolated

    • self-healing

    • read-only

    • stateless

    • recycle 24hrs

  • Twelve factors App: http://12factor.net/

    • Codebase

    • Dependency

    • Config

      • Store config in environment don’t check-in it in your codebase.

    • Backing Services

      • Treat backing service as a attachment service(可抽換）

    • Build, release and run

      • 每個階段應該要是可以切割的

    • Processes

      • stateless, isolated

    • Port binding

      • via port not specific service. 

    • Concurrency

    • Disposability

      • 快速地啟動，優雅的結束

    • Logs

      • Treat logs as stream

    • Dev/Product Parity

      • 必須把 staging，Dev與 Production 要分得開～但是應該要緊接著．

    • Admin Processes

  • Docker V.S. Heroku

Docker vs. Heroku

DOCKERHEROKU
Dockerfile BuildPack
Image Slug
Container Dyno
Index Add-Ons
CLI CLI 
  * [http://tuhrig.de/docker-vs-heroku](http://tuhrig.de/docker-vs-heroku)
August 6th, 2014

[Golang][MongoDB] 練習一下MongoDB 與Golang 的基本連結

前言：

自學Golang也到了現在，除了繼續深究Golang在許多層面的應用之外．也必須學習一些新的資料庫．
想了一下，就決定拿經常在研討會裡面看到的NOSQL (並不是 NO - SQL 而是 Not-Only SQL )的資料庫 MongoDB來練習一下．
MongoDB比起一般的RDBMS而言，應該算是比較容易了解的．而且對於從手機程式設計開始學習的人可能會更容易上手．
因為 MongoDB本身不斷圍繞著一個資料結構，就是 JSON．

MongoDB:

關於:

本身概念相當的簡單，主要分為Database(資料庫)， Collection (中文該怎麼翻比較順呢？) 還有就是最基本的資料原件 Document (文件)．
這樣如果還不是很容易了解，換這樣來換吧:  

  • DB一樣就是原先RDBMS裡面的資料庫
  • Collection 可以當成一個個的Table
  • Document 可以當成一個個的Record

這樣並不是最好的對比，不過這是一個概念上可以讓人一開始馬上進入的方法．

安裝或使用：

如果要自己架設MongoDB(Mac OS)可以參考一下這裡，或者是去 MongoDB HQ上面申請一個免費的MongoDB (我目前是申請一個免費的資料庫來測試）

使用上需要注意的特點:

  • 由於你的資料欄位最基本是JSON，所以每個Collection 裡面並沒有固定的欄位格式．可以前兩個documents 是有五個欄位，後面卻不是．
  • 關於查詢
    • equal 比較簡單，就是一般JSON語法  { price: 40 } 查詢價錢40元的
    • greater than (大於) 或是 Less than (ls）的時候需要使用   { price: { $gt : 40} } (查詢價錢 大於 45)  (要查小於就是  $lt ）

Golang上面大家推薦的MongoDB Driver — mgo

其實安裝跟使用相當的簡單，裡面也提供很多好用的方法．不過我在學習的途中有遇到一些問題希望可以幫助大家．

  • Document 的type struct 裡面的資料名稱，不可以全部小寫(lowercase)不然會出現insert到collection 裡面變成空白（empty document except ObjectID)．
    • 我本身有在追他的source code但是還看不出是在哪裡有問題．
  • (承上)雖然變數名稱必須有大寫(uppercase)但是到了MongoDB裡面又得用全部小寫(lowercase)．在一般的資料庫操作中，這是可以理解的．
  • 關於Query Criteria 的參數
    • 要下greater than 必須用 $gt  範例：  bson.M{"price": bson.M{"$gt": 40}} 找出價錢大於40

基本的查詢與操作都會了之後，接下來要弄到Heroku上面去跟server搭配了． 範例可以到這裡去找 Github …..

參考：

August 6th, 2014

[live555][OpenRTSP][SDL][ffmpeg] 利用ffmpeg 與SDL 達成 streaming 筆記(2)

最近有一些值得記錄的部分，隨手寫一下:

  • SDL_CloseAudio 會發生一些問題 (deadlock)，如果Server 已經斷線了．

    • 發生狀況：

      • 當RTSP Server斷線或是網路中斷的時候，嘗試著去Close SDL 會產生deadlock 在 SDL_CloseAudio

      • 如果封包持續進來的狀況下，不會有任何問題．

    • 主要原因：

      • 根據SDL source code， RunAudio 裡面會去 OpenMutex讀取資料．這個狀況下，如果Server斷線（或是網路斷線) 會造成一直在等封包的結束．必須等到每個封包做完後會SDL_Delay特定時間，這時候就可以順利關閉設備．

    • 解決方式：

      • 為了解決這種deadlock的狀況，要試著去關閉設備的時候，先送一個空的封包進去．讓SDL跑到等待下一個封包的進入才能順利關閉．

    • 參考:

  • SDL_DestroyWindow 有threading 的問題，SDL_CreateWindow 必須要跟SDL_DestroyWindow 在同一個thread

    • 發生狀況：

      • 使用SDL_DestroyWindow 會發生no response(hang)，如果SDL_DestroyWindow與SDL_DestroyWindow在不同的thread．

    • 解決方式：

      • 本來都以為是因為必須在UI thread，但是由於我自己架設的環境RTSP 是在另外一個thread去執行，以致於不會卡住所有UI response．

      • 後來發現用另外一個thread來處理RTSP，也是可以讓SDL來render畫面與聲音的輸出．但是在SDL_DestroyWindow的時候就會卡住．

      • 後來調整後，就發現可以正常的SDL_DestroyWindow．

    • 參考：

SDL_DestroyWindow mongo kahana.mongohq.com:10042/MongoTest1 -u -p