標籤: Cassandra

[Cassandra] 要如何透過python與CQL來新增User Define Type欄位的資料

[Cassandra] 要如何透過python與CQL來新增User Define Type欄位的資料

Cassandra是一個強大的nosql(在特定集群下資料的throughput可是mongo db的10幾倍),我只知道將其發揚光大的facebook,其歷史淵源我也不知多少,就先在此略過

nosql強調的是資料寫入、查詢的效能,但是為了突顯其效能,nosql有其內部的運作方式,因此有些使用上的特性必須去滿足他或是盡量要照著他的查詢規則,例如…cql的語法裡面,你的where條件必須一定要有partition key,而且還要照順序作條件,下update語法時,更新的條件,你一定要包含partition key,也只能使用=運算子,無法像sql那樣,批次大量地去異動資料(如果有錯,歡迎糾正),而且不是關鍵式資料庫特性,不需要正規化的那麼全面,甚至就是橫向的長下去也沒關系…但是若當資料格式是有1對多關系的時候,我仍然希望能存入到nosql的時候怎麼辦呢?

例如:

訂單order下,可能有很多的order item(購買項目),訂單匯總了金額,購買者,運送地址,購買項目關聯了訂單,並描述商品編號,商品數量,以往在RDB裡面,我們可能會設計2張表,然後透過join與transaction的方式來維護相關的資料。先舉個例子:我隨便設計一個產品明細類,然後再加入一個主表,我希望欄位就有1對多的產品明細關係,因此我訂了一個欄位叫order_items,然後型別就是list加上剛剛訂的order_product_item

 

以這樣的一張表有4個欄位,但是有明細與地址的進階型別,我們要如何新增呢?

若透過cql,只需要寫的像cql,並帶入json like的資料結構,就可以新增到我們的CustomerOrder的表了

insert Into "CustomerOrders" (customer_id, order_amount, order_items, shipping_address)
values(1, 2000, [
		{id:4, name:'game', count:1, price:1600, memo:{'tag': 'action game'}},
		{id:20, name:'toy', count:2, price:200, memo:{'tag': 'made by hand'}}
	   ], {zip_code:'210', nation:'Taiwan', city:'NewTaipeiCity', address1:'testAddress1', address2:''});

查詢結果:

注意,欄位裡面可不是string,而是有指定型別的結構,因此是可以作為後續查詢的條件。在這邊為止…先切入今天希望記錄的主題,就是如何透過python來綁定這種user define type。在傳統sql與程式寫transaction sql時,我們常常會這樣寫

insert into a (fieldA, fieldB) Values(@fieldA, @fieldB)

然後帶入paramter的方式,來防止sql injection與型別判斷,而cql呢…他也可以做到類似這樣的寫法:

insert into a (fieldA, fieldB) Values(:fieldA, :fieldB)
insert into a (fieldA, fieldB) Values(?, ?)

然後定義一個字典物件,一併丟給cassandra的driver:session去執行,就可以如我們以前在sql常看到的參數binding一樣,去執行語法並新增

parameter = dict( fieldA=fieldA_Value, fieldBcreator=fieldB_Value)

然而若是user define type的話,如何解呢?list物件,應該就是對應到python的list,應該沒問題,那其他的欄位,有辦法對應下一層dictionary嗎? 試了老半天都是卡關…但是不確定是卡在動態參數binding那段,還是字典裡型別的問題 後來發現了關鍵的官網文件在此:https://datastax.github.io/python-driver/user_defined_types.html 擷圖如下 什麼!!竟然可以直接繼承object物件,然後定義一個初始化方法,指定所有user define type的名稱(帶入的型別由外面檢查) 就可以做到?!我一開始還想試另一條路(有空再說吧…),繼承cassandra usertype型別,使用它的orm方式來做,但是看起來用那個方法無法綁cql一起運作,他有他的獨立運作方式。

 

看了他的試範讓我馬上試著建立類別,並如上圖的方式,直接帶parameter定義的欄位,以我們訂單的例子:

class Address(object):
   def __init__(self, zip_code, nation, city, address1, address2): #欄位都要有,名稱都要正確
       self.zip_code=zip_code
       self.nation=nation
       self.city = city
       self.address1 = address1
       self.address2 = address2
       
class OrderItem(object):
    def __init__(self, id, name='', count=0, price=0, memo=None):  # 欄位都要有,名稱都要正確
        self.id = id
        self.name = name
        self.count = count
        self.price = price
        self.memo = memo
cql = """
insert Into "CustomerOrders" (customer_id, order_amount, order_items, shipping_address)
values(:customer_id, :order_amount, :order_items, :address);
"""

order_items = []
order_items.append(OrderItem(4, "game", 1, 1600, {"tag":"action game"}))
order_items.append(OrderItem(20, "toy", 2, 200, {"tag":"hand made"}))


parameter = dict(
    customer_id=1,
    order_amount=2000,
    order_items=order_items,
    address=Address(zip_code=970, nation="Taiwan", city="NewTaipeCity", address1="Test", address2=""))

session.execute(cql, parameter)

下指令的方式已經像使用sql一樣簡單,而透過上述user define type的定義與python的程式操作可以更靈活的使用cassandra這個強大nosql的特性囉。只是回頭看看自己…捚頭苦幹…這個議題n小時,真的有點吃力不討好,在此紀念我今天try error浪費的光陰,不如官方文件看仔細一點…

ps: Word Press有沒有什麼可以插入code可以用很好的樣式來呈現的外掛呀…改天來研究一下…(先試試這個pastacode…相容於php7)

Docker映像與資料備份與還原:以cassandra為例

Docker映像與資料備份與還原:以cassandra為例

今天開發的時候遇到一個情況,就是我的測試程式依賴了我本機起的一個nosql cassandra服務,是建立在docker上的

因此我把程式提供給同事以後,發現他沒有環境,因此程式功能無法展示,當然一部份也要展示cassandra的使用方式

 

一時間還不會docker的備份與移轉,因此早上就急著先把vmware的images(約略15GB)複製給同事,光複製的時間就花了快二十分鐘,當下覺得這種環境移轉的方式太過於笨重,想到若我還要再把我本機的另一個安裝hadoop的vm也要copy過去的話,那這樣來來回回的時間就不知耗費掉多少,而且我的私人開發環境其實是我自己常用的密碼,所以分享起來也是挺麻煩的。

 

有上述念頭後,我開始嘗試著在我兩台不同的vm(都是ubuntu)上面,試著把docker備份流程做一次

docker images備份(起手式:連結)

首先,我們需要先將目前的container狀態commit,先docker -ps列出所有container的id

我們很快的就看到dev-cassandra就是我們要備份的目標,接著輸入以下的指令:docker commit -p  {{container id}} {{repository-name}}

sudo docker commit -p  3b5 cassandra-devenv

接著回到docker images列表,我們就會看到我們的新commit的images已經被建立出來了(圖中第一個)

container已經被commit了以後,那我們要怎麼轉成實體檔案呢?

指令很簡單:

docker save -o ~/cassandra-devenv.tar cassandra-devenv

這個指令要跑一下子,跑完以後,我們可以看到tar檔已經產生,看起來要400mb左右,著實比vm動輒1x gb來得輕量許多

這裡有一個小陷阱,就是要先去chown給paul與chmod 給檔案合適的權限

 

備份docker的資料卷資料

images既然被備份出來以後,那我們的資料呢?

還記得dockers要怎麼看資料卷的現實綁定的位置呀?就要靠docker inspect 指令了

sudo docker inspect 3b5

看到container的環境資訊後,會發現幸好這個dockerfile有將資料獨立出來,在mount的字段下,我們可以看到/var/lib/cassandra的根目錄,被指派在我們本機(ubuntu)的/var/lib/docker/volumes/31a88f59c57b5a75b98f9c4e6a539e4140cb226760fc540b15b930d96010a84c/_data下。
(註:這邊不同系統的資料或設定目錄要視系統而定,不見得每個系統都有必要這樣做切割,但大部分有這樣切割設定的images佈署的彈性才會更好,也才會有更好使用率)

既然知道了cassandra相關檔案的實體位置,我們先將它備份壓縮起來吧。我已經可以想像等下要連同docker image的檔案與data要壓縮複製過去另一台主機。

先備份到個人目錄:

sudo cp -r /var/lib/docker/volumes/31a88f59c57b5a75b98f9c4e6a539e4140cb226760fc540b15b930d96010a84c /home/paul

記得要下-r,才會recursive的複製所有子目錄、檔案

這時/home/paul的目錄下就有了31a88f59c57b5a75b98f9c4e6a539e4140cb226760fc540b15b930d96010a84c

接著我們來進行打包成tar檔,tar的壓縮指令請參考:連結

tar -zcvf ./cassandra-data.tar ./31a88f59c57b5a75b98f9c4e6a539e4140cb226760fc540b15b930d96010a84c

建議可以使用加上-z的參數,代表,透過gzip的方式壓縮,若沒有-z或-j的話,是代表僅打包,不壓縮

ls -l看看壓完以後只剩下33MB,看起來效果不錯

 

既然都已經備份出來了,包含docker與資料的壓縮檔

那我們要怎麼從vm複製檔案到另一個vm呀?在我還沒學會scp指令前,我還真的只知道vm的linux開分享samba,然後透過windows去copy到另一台分享出來的目錄

以上動作,真的只需要1行指令就做的到了,那就是scp,我們先ssh到另一台目標移置的vm去!!

輸入scp指令看看使用方式:

usage: scp [-12346BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
[-l limit] [-o ssh_option] [-P port] [-S program]
[[user@]host1:]file1 … [[user@]host2:]file2

scp是secure copy的簡寫,因此我們可以從首n台主機host 1 ~host n的檔案,複製到local來,以我們的例子來說,我們只要切到目標主機的指令目錄以後,照著以下輸入

同意建立ecdsa以後,接著輸入遠端的密碼,就會發現他開始copy了:

 scp [email protected]:/home/paul/cassandra-data.tar ./ [email protected]:/home/paul/cassandra-devenv.tar ./ 

restore docker的image

都搞定以後,我們輸入以下指令,就可以將這個備份load到這台vm的docker的images

sudo docker load -i ./cassandra-devenv.tar

不過怪異的是,不知有沒有參數可以指令輸入的repository name與tag,我load進來以後,預設是none。接著考慮本機的環境,我希望將cassandra的data目錄換一個位置:就到my/own/datadir吧,這邊沒有絕對名稱,只需要自己分的清楚,解壓縮以後,按照當初打包的相對位置先放置好:

tar -zxvf cassandra-data.tar

註:這邊我後來想想若在壓縮時,有透過-z的參數進行壓縮的話,建議命名就要是tar.gz,否則解壓端應該很難知道需不需要加上-z的參數,這邊因為都是我幹的,所以我當然知道要這樣搞。通通都解到目標目錄,接著看看目錄內容是不是都有了
(註:這邊我還省略了一些解壓目錄以後,再從目錄把檔案cp或mv到my/own/datadir的過程)

接著只要輸入神奇的docker run指令,就會發現

 sudo docker run –name cassandra-dev -p 9042:9042 -v /my/own/datadir:/var/lib/cassandra -d e86

檢查一下,sudo docker ps,已經正常跑起來了,這邊其實我有發現,cassandra的服務通常都要跑三分鐘左右,有時initialize掛掉都是發生在2~3分之間,通常超過3分鐘,應該就是起來了

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2cf14dc1d4d0 e86 “/docker-entrypoint.s” 6 hours ago Up 6 hours 7000-7001/tcp, 7199/tcp, 9160/tcp, 0.0.0.0:9042->9042/tcp cassandra-dev

 

實際連到192.168.65.130(剛剛是從136備份過來)的cassandra來看看囉!嗯~資料看起來都有被複製過來~暫時大功告成!特此記錄一番

 

後記:每次要寫這種過程重現真的是很耗費時間(也整理了差不多1個多小時),我發現,最佳的記錄方式,其實就是當我們在試著學習與除錯的時候(若有那個餘裕啦)

就定期把相關的畫面與做過的事情,記錄到evernote或其他方便的地方,事後的整理事實上真的事半功倍…若下次有機會遇到的話…希望有機會想到…