(給資料分析與開發加星標,提升資料技能)
來源:hello_錦泰
blog.csdn.net/hayre/article/details/80628431
總結的目的在於回顧MongoDB的相關知識點,明確MongoDB在企業級應用中充當的角色,為之後的技術選型提供一個可查閱的資訊簡報。
文章提綱:
1、MongoDB是什麼?
2、為什麼要使用MongoDB?
3、主要特性
4、C/S服務模型
5、完善的命令列工具
6、幾個shell實操
7、在Java中使用MongoDB
1、MongoDB是什麼?
MongoDB是一款為web應用程式和網際網路基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫,是NoSQL型別的資料庫
2、為什麼要用MongoDB?
(1)MongoDB提出的是檔案、集合的概念,使用BSON(類JSON)作為其資料模型結構,其結構是面向物件的而不是二維表,儲存一個使用者在MongoDB中是這樣子的。
1{
2 username:'123',
3 password:'123'
4}
使用這樣的資料模型,使得MongoDB能在生產環境中提供高讀寫的能力,吞吐量較於mysql等SQL資料庫大大增強。
(2)易伸縮,自動故障轉移。易伸縮指的是提供了分片能力,能對資料集進行分片,資料的儲存壓力分攤給多臺伺服器。自動故障轉移是副本集的概念,MongoDB能檢測主節點是否存活,當失活時能自動提升從節點為主節點,達到故障轉移。
(3)資料模型因為是面向物件的,所以可以表示豐富的、有層級的資料結構,比如部落格系統中能把“評論”直接懟到“文章“的檔案中,而不必像myqsl一樣建立三張表來描述這樣的關係。
3、主要特性
(1)檔案資料型別
SQL型別的資料庫是正規化的,可以透過主鍵或者外來鍵的約束保證資料的完整性與唯一性,所以SQL型別的資料庫常用於對資料完整性較高的系統。MongoDB在這一方面是不如SQL型別的資料庫,且MongoDB沒有固定的Schema,正因為MongoDB少了一些這樣的約束條件,可以讓資料的儲存資料結構更靈活,儲存速度更加快。
(2)即時查詢能力
MongoDB保留了關係型資料庫即時查詢的能力,保留了索引(底層是基於B tree)的能力。這一點汲取了關係型資料庫的優點,相比於同型別的NoSQL redis 並沒有上述的能力。
(3)複製能力
MongoDB自身提供了副本集能將資料分佈在多臺機器上實現冗餘,目的是可以提供自動故障轉移、擴充套件讀能力。
(4)速度與永續性
MongoDB的驅動實現一個寫入語意 fire and forget ,即透過驅動呼叫寫入時,可以立即得到傳回得到成功的結果(即使是報錯),這樣讓寫入的速度更加快,當然會有一定的不安全性,完全依賴網路。
MongoDB提供了Journaling日誌的概念,實際上像mysql的bin-log日誌,當需要插入的時候會先往日誌裡面寫入記錄,再完成實際的資料操作,這樣如果出現停電,行程突然中斷的情況,可以保障資料不會錯誤,可以透過修複功能讀取Journaling日誌進行修複。
(5)資料擴充套件
MongoDB使用分片技術對資料進行擴充套件,MongoDB能自動分片、自動轉移分片裡面的資料塊,讓每一個伺服器裡面儲存的資料都是一樣大小。
4、C/S服務模型
MongoDB核心伺服器主要是透過mongod程式啟動的,而且在啟動時不需對MongoDB使用的記憶體進行配置,因為其設計哲學是記憶體管理最好是交給作業系統,缺少記憶體配置是MongoDB的設計亮點,另外,還可透過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以互動的js shell 透過mongo啟動,使用js shell能使用js直接與MongoDB進行交流,像使用sql陳述句查詢mysql資料一樣使用js語法查詢MongoDB的資料,另外還提供了各種語言的驅動包,方便各種語言的接入。
5、完善的命令列工具
mongodump和mongorestore,備份和恢復資料庫的標準工具。輸出BSON格式,遷移資料庫。
mongoexport和mongoimport,用來匯入匯出JSON、CSV和TSV資料,資料需要支援多格式時有用。mongoimport還能用與大資料集的初始匯入,但是在匯入前順便還要註意一下,為了能充分利用好mongoDB通常需要對資料模型做一些調整。
mongosniff,網路嗅探工具,用來觀察傳送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell陳述句。
因此,可以總結得到,MongoDB結合鍵值儲存和關係資料庫的最好特性。因為簡單,所以資料極快,而且相對容易伸縮還提供複雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面,且最好單獨部署,因為是資料庫,所以也需要對其進行熱備、冷備處理。
6、幾個shell實操
因為本篇文章不是API手冊,所有這裡對shell的使用也是基礎的介紹什麼功能可以用什麼陳述句,主要是為了展示使用MongoDB shell的方便性,如果需要知道具體的MongoDB shell語法可以查閱官方檔案。
1、切換資料庫
1use dba
建立資料庫並不是必須的操作,資料庫與集合只有在第一次插入檔案時才會被建立,與對資料的動態處理方式是一致的。簡化並加速開發過程,而且有利於動態分配名稱空間。如果擔心資料庫或集合被意外建立,可以開啟嚴格樣式
2、插入語法
1db.users.insert({username:"smith"})
2db.users.save({username:"smith"})
3、查詢語法
1db.users.find()
2db.users.count()
4、更新語法
1db.users.update({username:"smith"},{$set:{country:"Canada"}})
2//把使用者名稱為smith的使用者的國家改成Canada
3
4db.users.update({username:"smith"},{$unset:{country:1}})
5//把使用者名稱為smith的使用者的國家欄位給移除
6
7db.users.update({username:"jones"},{$set:{favorites:{movies:["casablance","rocky"]}}})
8//這裡主要體現多值修改,在favorties欄位中新增多個值
9
10db.users.update({"favorites.movies":"casablance"},{$addToSet:{favorites.movies:"the maltese"}},false,true)
11//多項更新
5、刪除語法
1db.foo.remove() //刪除所有資料
2db.foo.remove({favorties.cities:"cheyene"}) //根據條件進行刪除
3db.drop() //刪除整個集合
6、索引相關語法
1db.numbers.ensureIndex({num:1})
2//建立一個升序索引
3db.numbers.getIndexes()
4//獲取全部索引
7、基本管理語法
1show dbs
2//查詢所有資料庫
3show collections
4//顯示所有表
5db.stats()
6//顯示資料庫狀態資訊
7db.numbers.stats()
8//顯示集合表狀態資訊
9db,shutdownServer()
10//停止資料庫
11db.help()
12//獲取資料庫操作命令
13db.foo.help()
14//獲取表操作命令
15tab 鍵 //能自動幫我們補全命令
以上的命令只是簡單實體,假設如果你之前沒有學習過任何資料庫語法,同時開始學sql查詢語法和MongoDB 查詢語法,你會發現哪一個更簡單呢?如果你使用的是java驅動去操作MongoDB,你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣,只要構建好一個查詢條件物件,便能輕鬆查詢(接下來會給出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成沒問題,也正因為這樣簡潔,完善的查詢機制,深深的愛上了MongoDB。
7、在Java中使用MongoDB
1、使用maven引入jar包
這裡取用的是最新的驅動包,提供了一套新的訪問連線方式
1<dependency>
2 <groupId>org.mongodbgroupId>
3 <artifactId>mongodb-driver-syncartifactId>
4 <version>3.8.0-beta3version>
5dependency>
2、建立一個訪問客戶端
1MongoClient client = MongoClients.create(“mongodb://10.201.76.94:27017”);
3、獲取集合數量
1public long count() {
2 MongoClient client = this.getClient();
3 MongoCollection<Document> collections= client.getDatabase("mongodb_db_name").getCollection("mongodb_collection_name");
4 return collections.count();
5 }
4、查詢集合
1public List<Document> find(Document params,Bson sort,int skip,int limit) {
2 MongoClient client = this.getClient();
3 MongoCollection<Document> collections= client.getDatabase("mongodb_db_name").getCollection("mongodb_collection_name");
4 List<Document> list = new ArrayList<Document>(Integer.valueOf(config.getPro("sync_limit")));
5 collections.find(params).sort(sort).skip(skip).limit(limit).forEach(new Block<Document>() {
6 @Override
7 public void apply(Document document) {
8 list.add(document);
9 }
10 });
11 return list;
12 }
這裡只舉例了簡單的連結與簡單的MongoDB操作,可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通訊的,如果查詢結果較多,恰好無法全部放進第一伺服器中,將會向伺服器傳送一個getmore指令獲取下一批查詢結果。
插入資料到伺服器時間,不會等待伺服器的響應,驅動會假設寫入是成功的,實際是使用客戶端生成物件id,但是該行為可以透過配置配置,可以透過安全樣式開啟,安全樣式可以校驗伺服器端插入的錯誤。