[研討會心得] PaaS Meetup #3 MSFT Azure/ IBM BlueMix

心得: MSFT Azure 在宣傳資料上面,似乎數據相當的嚇人.之前使用的經驗上還算不錯. PaaS服務其實挺多的,只是支援語言有點少.可能要使用還是以IaaS為主. IBM BlueMix 網路的服務其實很不錯 (hub.jazz.net) 甚至有IOT的SDK,這是比較有競爭力的地方. 不過使用狀況上不算快,可能是台灣的網路都不快,看IBM哪時候把骨幹加強. 有一些免費的quata 其實可以去使用,只是速度堪慮. IOT目前不收費,可能是比較有趣的地方. 速記: MSFT Azure 講者: Cacafly  James Jan Cacafly FB 台灣廣告總代理 Azure 台灣代理 Media Service:  Streaming broadcasting. Support: VOD DRM (PlayReady) Live Streaming 線上轉檔 上傳媒體檔案後,鏈結會根據平台的不同連上不同的streaming. (HLS……) 參考: http://msdn.microsoft.com/en-us/library/azure/hh973629.aspx#get_started http://azure.microsoft.com/en-us/documentation/articles/media-services-set-up-computer/ PaaS: Github sync  Once it link, any commit in github will push to Azure directly. Language support: PHP/.NET/nodeJS  直接用挑選的方式 參考: PHP configurare in Azure http://azure.microsoft.com/zh-tw/documentation/articles/web-sites-php-configure/  Mobile Services: 可以挑選平台 (iOS/Android/ Windows Store) 然後下載範例程式碼.(類似 Parse) 參考: http://azure.microsoft.com/zh-tw/documentation/articles/web-sites-php-configure/ iOS http://azure.microsoft.com/en-us/documentation/articles/mobile-services-ios-get-started/ Machine Learning 有支援R Language ,也有 Hadoop 可以使用. 參考: http://azure.microsoft.com/en-us/trial/get-started-machine-learning/ IBM BlueMix 講者:  Joseph Chang 原本做: http://www-01.ibm.com/software/tw/rational/ Bluemix 的網址:  http://www.bluemix.net      Slide: http://www.slideshare.net/JosephChang8/ibm-blue-mix-introduction Hackpad: https://paas-tw.hackpad.com/IBM-Bluemix-Introduction-o6WbKTL07n3 基於CloudFoundry 但是IBM 有加強許多的功能.細節可以到Hackpad 去看 IOT: 支援 NoSQL 的SDK在許多IOT device (RPI, ARM…) 參考: https://developer.ibm.com/iot/ Big Data 參考: http://www.ng.bluemix.net/docs/#services/AnalyticsWarehouse/index.html#AnalyticsWarehouse Mobile Service SDK 參考: https://www.ng.bluemix.net/docs/#services/mas/index.html#gettingstarted Boilerplates (Web App Server + DB)  可以快速的建立server 加上資料庫. 第一次建立與瀏覽的時候才會去建置. 參考:https://www.ng.bluemix.net/docs/#starters/javaDB/index.html#javawebdatabase 優點: 提供file structure 可以直接去瀏覽PaaS container 的檔案架構. 網路的編輯平台 Git migration (Cloud Foundry並沒有)   IBM Git Server not github.  (hub.jazz.net) 可以線上編輯,並且直接在線上去commit與build也可以直接線上deploy...
繼續閱讀

[研討會心得] PaaS Meetup #2 AWS Docker

前言: 就像上次有提到的,這個meetup主要是由IBM的 BlueMix團隊的人主辦的. 但是相當有趣的是主要是來研究各種不同的PaaS的部分.這是第二次參加主講的部分是AWS與 Docker 心得: 第一部分:   AWS 的部分很有趣,也開了AWS的帳號.發現建立一個Beantalk 相當的方便. 這次在Coscup裡面也有聽到其實AWS裡面有相當大的一個DevOps的一系列工具.不僅僅能當PaaS連,IaaS都有類似的功能. CLI的操作起來也是學習Heroku,這部分久不需要詳談.這次參加也發現 AWS Beanstalk 其實有支援docker了. 第二部分: 這個部分的講解相當的Cool,主要是利用 Dokku 來架設一個lightweight 的 Heroku在 DigitalOcean上面. 在這裡面docker是為了讓dokku能夠跑出類似heroku的不同dyno 的功能, 類似這樣應用其實挺有趣的,也不斷的思考有沒有什麼特別的應用可以來用. AWS (Amazon Web Service)  Beanstalk  (slide) 主講人:  Moogoo QLL Engineer using Cornora SDK Amazone Web Service architecture: http://www.trisys.co.uk/support/documents/AWS/Web%20Application%20Hosting.jpg 優點: 快速部署,方便管理 整合AWS服務 EC2 (運算) S3 (File storage) SNS (message queuing) Cloud Watch  Elastic Load balance Auto Scaling 比較一下: Elastic Beanstalk Application container OpsWorks 利用 shelf 的部署檔,可以把各個主機部署的狀況寫成部署檔來掌控 Similar with puppet? http://puppetlabs.com/ Compare with Puppet and OpsWorkhttp://www.scriptrock.com/articles/opsworks-vs-puppet Could Formation Template-driven provisioning Deployment working flow: Create Application -> Upload version -> launch Environment -> manage Environment Deployment command line toolkit (refer here) Demo (Python -> AWS EB with Flask) Local run Implement Application.py (for Flask) Add Requirement.txt (similar with heroku virtualenv -> pip freeze ) init Git Tools : git aws.push eb start Server type  LoadBalance RDS (Relation Database ) eb stop (to kill application) 注意: 如果EB 移除的時候,該DB 也會一起被移除....
繼續閱讀

[MOOC][Java][Programming Cloud Service] 關於Spring Boot 的基本學習 -完成第一次作業心得與筆記

前言: 這些學習主要都是針對Mooc 上面的課程(Programming Cloud Service)所學到的一些部分. 雖然說同時在學習Golang跟Java 是有一些混亂的,能夠學習一下關於Java上面架設REST Server的方法有是挺有趣的. 第一個作業大綱與心得:  這個課程的第一份作業其實相當的有趣,就是實作一個REST 的server可以查詢video info 還有就是能夠上傳video. 雖然相當有趣,但是其實讓我相當的苦惱.就是整個Controller的parameter到底該怎麼設計才能讓Retrofit  能夠正確的讀取與呼叫到. 其實如果Java或是Spring有點熟悉的人應該可以快速地完成第一次的作業.我卻也繳了不少時間當學費來好好學習整個架構與溝通的方法. Spring Boot: 簡介: Spring Boot 可以快速的幫助你建立一個Java Based 的俱有REST 的Web Application. 使用上的筆記: 比較需要管理的只有兩個部分,一個是Application.java 另外一個是Controller.java .其中檔名可以改,但是需要有annotation 來表明清楚哪個是application 哪個是 controller. 其中關於Controller裡面,重點是需要有 annotation 註名是 controller @Controller 相較於Java Serverlet 對於 Web Request 的處理上,Spring Boot 相對的簡單多了.不需要繼承 HttpServlet 然後去 overwrite doGet 跟 doPost,只需要在前端去註解出這個function 要對應到哪個http request. @RequestMapping(value=“videos”, method=RequestMethod.POST) 這個就是代表著 ,只要從http XXXXvideos的 POST request 都會轉到這個地方. 對於去處理Http Request的部分,最麻煩了不外乎是處理 輸入與輸出的參數,而Spring Boot 可以很漂亮的做出這件事情. @RequestBody/@ResponseBody 這個會自動地把參數轉成你所要求的,不論是把Boolean轉成@ResponseBody(JSON的形態) 或是把@RequestBody轉成你所要求的變數形態. 更改運作的port (change connection port) 官方提出兩個方法,不過我是第二個才成功. 新增 application.properties 在 src/main/resources/  並且加上 server.port = 9000 在 Eclipse 的properties -> Run/Debug Settings -> Application -> Environment -> Add [SERVER_PORT] = 9000 同時需要debug - Server 與 Client (test) 先跑 Server - debug as Java Application (設定好break point) 再接者跑test - debug as JUnit test 在同時做 server  與 client debug 的時候,常常會有一個動作卡在 client 之後 server就沒回應.或是專心的看server的code,client 就停住了. 我會繼續研究看看. 對於 /path/{id} 這一類型的RequestMapping 需要使用以下,不然會找不到: @RequestMapping(value=“/departments/{departmentId}”)</br>public String findDepatmentAlternative(@PathVariable(“departmentId”)String someDepartmentId)</br>{… } 對於multipart 的敘述,一開始不是很了解會以為是POST的必須的API.回去看了關於Retrofit 的敘述才知道Multipart只針對檔案的上傳 他在controller裡面對應的API是 @RequestParam(”data”) MultipartFile uploadFiles… 其實在實作controller的時候,是不需要參考Retrofit 的API,那個API只是幫助你的test client 知道該怎麼跟server溝通....
繼續閱讀

[研討會訊息][PaaS] Pivotal 與 Heroku討論

Taiwan PaaS Meetup http://www.meetup.com/%E5%8F%B0%E7%81%A3-PaaS-%E9%9B%B2%E7%AB%AF%E6%8A%80%E8%A1%93%E4%BA%A4%E6%B5%81%E6%9C%83/about/ Meetup PaaS HackPad: https://paas-tw.hackpad.com/Getting-Started-with-Pivotal-Web-Services-PadMnuFp1vd 總結: 相較於Pivotal (Cloud Foundry) ,Heroku可能真的比較廉價. 收費方式都不是算流量: Pivotal : 記憶體 Heroku: 依照計算能力 Dyno 自動Scale Pivotal似乎沒有自動調節scale 的能力. Heroki似乎沒有看到 與git的搭配: Pivotal並沒有 heroku 不僅僅原生就支援git,也可以直接跟github互動. 心得: 這次參加的人數不算多,不過倒是很多高手.有看到ihower 還有似乎是他同公司的mose.可見PaaS再用的人真的都不是DevOP的人而是developer. 文創中心算是不錯的場地,交通也算方便.場地費似乎也不貴.其他人要辦活動挺推的. 看起來Pivotal跟 Heroku沒有太多差異,但是 Heroku有免費的方式, Pivotal卻沒有,可能在初期是可以先用 Heroku 正式上線後再考慮要不要挑到 Pivotal. 有很多的討論都可以看出來PaaS跟docker有更多的交錯,只是接下來接近會走向dokku 還是???     Pivotal: 網站: http://www.pivotal.io 計價方式與免費部分: 計價方式是根據所使用的總記憶體部分. 免費部分: 2GB RAM,10個market place service(十台service) 基本app 單位 warden 有可能換成 docker container  http://www.activestate.com/blog/2014/04/docker-and-cloud-foundry 部署流程(Deploy workflow): 必須要準備一份 manifest.yml,裡面包括: Disk_quota host, name, path Memory size. command (app entry point) cf push APP_NAME 更多參考 http://docs.run.pivotal.io/devguide/deploy-apps/deploy-app.html 可能遇到問題: domain name conflict  不像是Heroku有自動配置名字,所以很容易跟其他人名稱衝突(在push的時候會發生) 需要修改manifest 去解決這個問題. 使用的語言沒有支援的buildpack (Ex: Scala) 可以使用heroku 的buildpack   cf push -b heroku_build_pack  Q&A: Q: 備份的機制? 比較沒有相關的備份機制.甚至跟git 的互動都沒有. Q: 流量的計算? 由於是靠記憶體來收費,所以任何app在deploy之後就馬上會開始收費(就算沒有人用) 參考: Warden 換成 Docker http://www.activestate.com/blog/2014/04/docker-and-cloud-foundry Go-buildpack  https://github.com/cloudfoundry/go-buildpack 總共支援: PHP/GO/RUBY/PYTHON/JAVA/node.JS  http://docs.run.pivotal.io/buildpacks/ Cloud Foundry https://github.com/cloudfoundry Pivotal - Rewrite Cloud Foundry from Ruby to Go https://github.com/cloudfoundry/cli/releases Deploy application on Cloud Foundry http://pivotallabs.com/deploying-jruby-rails-application-cloud-foundry/ 深入 Cloud Foundry http://qing.blog.sina.com.cn/2294942122/88ca09aa330004r8.html?sudaref=www.google.com.tw Cloud Foundry 分佈式架構 http://blog.lamper.cn/cloud-foundry%E5%88%86%E5%B8%83%E5%BC%8F%E6%9E%B6%E6%9E%84%E6%A6%82%E8%BF%B0/   Heroku:   /her-OH-koo/  架構: Slug Compiler -> Slug Slug -> dyno (based on scale) Dyno 特性: isolated...
繼續閱讀

[Golang][MongoDB] 練習一下MongoDB 與Golang 的基本連結

前言: 自學Golang也到了現在,除了繼續深究Golang在許多層面的應用之外.也必須學習一些新的資料庫. 想了一下,就決定拿經常在研討會裡面看到的NOSQL (並不是 NO - SQL 而是 Not-Only SQL )的資料庫 MongoDB來練習一下. MongoDB比起一般的RDBMS而言,應該算是比較容易了解的.而且對於從手機程式設計開始學習的人可能會更容易上手. 因為 MongoDB本身不斷圍繞著一個資料結構,就是 JSON. MongoDB: 關於: 本身概念相當的簡單,主要分為Database(資料庫), Collection (中文該怎麼翻比較順呢?) 還有就是最基本的資料原件 Document (文件). 這樣如果還不是很容易了解,換這樣來換吧:   DB一樣就是原先RDBMS裡面的資料庫 Collection 可以當成一個個的Table Document 可以當成一個個的Record 這樣並不是最好的對比,不過這是一個概念上可以讓人一開始馬上進入的方法. 安裝或使用: 如果要自己架設MongoDB(Mac OS)可以參考一下這裡,或者是去 MongoDB HQ上面申請一個免費的MongoDB (我目前是申請一個免費的資料庫來測試) 使用上需要注意的特點: 由於你的資料欄位最基本是JSON,所以每個Collection 裡面並沒有固定的欄位格式.可以前兩個documents 是有五個欄位,後面卻不是. 關於查詢 equal 比較簡單,就是一般JSON語法  { price: 40 } 查詢價錢40元的 greater than (大於) 或是 Less than (ls)的時候需要使用   { price: { $gt : 40} } (查詢價錢 大於 45)  (要查小於就是  $lt ) Golang上面大家推薦的MongoDB Driver — mgo 其實安裝跟使用相當的簡單,裡面也提供很多好用的方法.不過我在學習的途中有遇到一些問題希望可以幫助大家. Document 的type struct 裡面的資料名稱,不可以全部小寫(lowercase)不然會出現insert到collection 裡面變成空白(empty document except ObjectID). 我本身有在追他的source code但是還看不出是在哪裡有問題. (承上)雖然變數名稱必須有大寫(uppercase)但是到了MongoDB裡面又得用全部小寫(lowercase).在一般的資料庫操作中,這是可以理解的. 關於Query Criteria 的參數 要下greater than 必須用 $gt  範例:  bson.M{"price": bson.M{"$gt": 40}} 找出價錢大於40 基本的查詢與操作都會了之後,接下來要弄到Heroku上面去跟server搭配了. 範例可以到這裡去找 Github ….. 參考: http://blog.joshsoftware.com/2014/02/28/a-simple-go-web-app-on-heroku-with-mongodb-on-mongohq/ http://www.codedata.com.tw/database/mongodb-tutorial-1-setting-up-cloud-env/ http://www.codedata.com.tw/database/mongodb-tutorial-2-query-language/ http://docs.mongohq.com/getting-started/mongohq.html https://gist.github.com/border/3489566
繼續閱讀

[live555][OpenRTSP][SDL][ffmpeg] 利用ffmpeg 與SDL 達成 streaming 筆記(2)

最近有一些值得記錄的部分,隨手寫一下: SDL_CloseAudio 會發生一些問題 (deadlock),如果Server 已經斷線了. 發生狀況: 當RTSP Server斷線或是網路中斷的時候,嘗試著去Close SDL 會產生deadlock 在 SDL_CloseAudio 如果封包持續進來的狀況下,不會有任何問題. 主要原因: 根據SDL source code, RunAudio 裡面會去 OpenMutex讀取資料.這個狀況下,如果Server斷線(或是網路斷線) 會造成一直在等封包的結束.必須等到每個封包做完後會SDL_Delay特定時間,這時候就可以順利關閉設備. 解決方式: 為了解決這種deadlock的狀況,要試著去關閉設備的時候,先送一個空的封包進去.讓SDL跑到等待下一個封包的進入才能順利關閉. 參考: http://stackoverflow.com/questions/24926019/try-to-close-sdl-closeaudio-has-deadlock-when-rtsp-server-is-down/24926020#24926020 SDL_DestroyWindow 有threading 的問題,SDL_CreateWindow 必須要跟SDL_DestroyWindow 在同一個thread 發生狀況: 使用SDL_DestroyWindow 會發生no response(hang),如果SDL_DestroyWindow與SDL_DestroyWindow在不同的thread. 解決方式: 本來都以為是因為必須在UI thread,但是由於我自己架設的環境RTSP 是在另外一個thread去執行,以致於不會卡住所有UI response. 後來發現用另外一個thread來處理RTSP,也是可以讓SDL來render畫面與聲音的輸出.但是在SDL_DestroyWindow的時候就會卡住. 後來調整後,就發現可以正常的SDL_DestroyWindow. 參考: http://forums.libsdl.org/viewtopic.php?p=40752&sid=245abd9df9be7b7ecf6dc59d7388dc66  這個討論串主要是談到iOS不過似乎Windows也是一樣的. SDL_DestroyWindow mongo kahana.mongohq.com:10042/MongoTest1 -u -p
繼續閱讀