2018-06-08 07:48:51 +08:00
## NoSQL入门
### NoSQL概述
2019-05-03 16:00:14 +08:00
如今， （ ） ， ， ，
2018-06-08 07:48:51 +08:00
2019-05-03 16:00:14 +08:00
NoSQL是一项全新的数据库革命性运动， ， ， ， ， ， ， ， ， ， ， ，
NoSQL数据库按照其存储类型可以大致分为以下几类：
| 类型 | 部分代表 | 特点 |
| ---------- | ----------------------------------- | ------------------------------------------------------------ |
| 列族数据库 | HBase< br > Cassandra< br > Hypertable | 顾名思义是按列存储数据的。最大的特点是方便存储结构化和半结构化数据， ， ，
| 文档数据库 | MongoDB< br > CouchDB< br > ElasticSearch | 文档数据库一般用类JSON格式存储数据， ， ，
| KV数据库 | DynamoDB< br > Redis< br > LevelDB | 可以通过key快速查询到其value，
| 图数据库 | Neo4J< br > FlockDB< br > JanusGraph | 使用图结构进行语义查询的数据库，它使用节点、边和属性来表示和存储数据。图数据库从设计上，就可以简单快速的检索难以在关系系统中建模的复杂层次结构。 |
| 对象数据库 | db4o< br > Versant | 通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。 |
2018-06-08 07:48:51 +08:00
2019-05-03 20:27:30 +08:00
> 说明： ，
2018-06-08 07:48:51 +08:00
### Redis概述
2019-05-03 16:00:14 +08:00
Redis是一种基于键值对的NoSQL数据库， （ ） ， ， ， ， ， ， ， ， ， ， ， ， ：
#### Redis简介
2008年， （ ， ） ， < https: / / github . com / antirez / redis > )， ， ， ，
Redis是REmote DIctionary Server的缩写， ， ， （ ） ：
- Redis的读写性能极高， （
- Redis支持数据的持久化（ ） ， ，
- Redis支持多种数据类型， ： ，
- Redis支持主从复制（ ） （ ）
- Redis支持分布式集群，
- Redis基于TCP提供的可靠传输服务进行通信，
#### Redis的应用场景
1. 高速缓存 - 将不常变化但又经常被访问的热点数据放到Redis数据库中， ，
2. 排行榜 - 很多网站都有排行榜功能，
3. 商品秒杀/投票点赞 - Redis提供了对计数操作的支持， ，
4. 分布式锁 - 利用Redis可以跨多台服务器实现分布式锁（ ， ） ，
5. 消息队列 - 消息队列和高速缓存一样，是一个大型网站不可缺少的基础服务，可以实现业务解耦和非实时业务削峰等特性，这些我们都会在后面的项目中为大家展示。
#### Redis的安装和配置
可以使用Linux系统的包管理工具（ ） ， ， ， ，
```Shell
wget http://download.redis.io/releases/redis-5.0.4.tar.gz
gunzip redis-5.0.4.tar.gz
tar -xvf redis-5.0.4.tar
cd redis-5.0.4
make & & make install
```
在redis源代码目录下有一个名为redis.conf的配置文件，
```Shell
vim redis.conf
```
配置将Redis服务绑定到指定的IP地址和端口。
配置底层有多少个数据库。
配置Redis的持久化机制 - RDB。
配置Redis的持久化机制 - AOF。
配置访问Redis服务器的验证口令。
配置Redis的主从复制，
配置慢查询。
上面这些内容就是Redis的基本配置， ， ，
#### Redis的服务器和客户端
接下来启动Redis服务器，
```Shell
redis-server
```
如果希望修改Redis的配置（ ） ，
方式一：
```Shell
2019-12-30 23:14:30 +08:00
redis-server --requirepass yourpass --appendonly yes
2019-05-03 16:00:14 +08:00
```
方式二：
```Shell
redis-server /root/redis-5.0.4/redis.conf
```
下面我们使用第一种方式来启动Redis并将其置于后台运行，
```Shell
2019-12-30 23:14:30 +08:00
redis-server --requirepass yourpass > redis.log &
2019-05-03 16:00:14 +08:00
```
可以通过ps或者netstat来检查Redis服务器是否启动成功。
```Shell
ps -ef | grep redis-server
netstat -nap | grep redis-server
```
接下来，
```Shell
redis-cli
2019-12-30 23:14:30 +08:00
127.0.0.1:6379> auth yourpass
2019-05-03 16:00:14 +08:00
OK
127.0.0.1:6379> ping
PONG
127.0.0.1:6379>
```
Redis有着非常丰富的数据类型， ， ， ， ， ，
> 说明：
```Shell
127.0.0.1:6379> set username admin
OK
127.0.0.1:6379> get username
"admin"
127.0.0.1:6379> set password "123456" ex 300
OK
127.0.0.1:6379> get password
"123456"
127.0.0.1:6379> ttl username
(integer) -1
127.0.0.1:6379> ttl password
(integer) 286
127.0.0.1:6379> hset stu1 name hao
(integer) 0
127.0.0.1:6379> hset stu1 age 38
(integer) 1
127.0.0.1:6379> hset stu1 gender male
(integer) 1
127.0.0.1:6379> hgetall stu1
1) "name"
2) "hao"
3) "age"
4) "38"
5) "gender"
6) "male"
127.0.0.1:6379> hvals stu1
1) "hao"
2) "38"
3) "male"
127.0.0.1:6379> hmset stu2 name wang age 18 gender female tel 13566778899
OK
127.0.0.1:6379> hgetall stu2
1) "name"
2) "wang"
3) "age"
4) "18"
5) "gender"
6) "female"
7) "tel"
8) "13566778899"
127.0.0.1:6379> lpush nums 1 2 3 4 5
(integer) 5
127.0.0.1:6379> lrange nums 0 -1
1) "5"
2) "4"
3) "3"
4) "2"
5) "1"
127.0.0.1:6379> lpop nums
"5"
127.0.0.1:6379> lpop nums
"4"
127.0.0.1:6379> rpop nums
"1"
127.0.0.1:6379> rpop nums
"2"
127.0.0.1:6379> sadd fruits apple banana orange apple grape grape
(integer) 4
127.0.0.1:6379> scard fruits
(integer) 4
127.0.0.1:6379> smembers fruits
1) "grape"
2) "orange"
3) "banana"
4) "apple"
127.0.0.1:6379> sismember fruits apple
(integer) 1
127.0.0.1:6379> sismember fruits durian
(integer) 0
127.0.0.1:6379> sadd nums1 1 2 3 4 5
(integer) 5
127.0.0.1:6379> sadd nums2 2 4 6 8
(integer) 4
127.0.0.1:6379> sinter nums1 nums2
1) "2"
2) "4"
127.0.0.1:6379> sunion nums1 nums2
1) "1"
2) "2"
3) "3"
4) "4"
5) "5"
6) "6"
7) "8"
127.0.0.1:6379> sdiff nums1 nums2
1) "1"
2) "3"
3) "5"
127.0.0.1:6379> zadd topsinger 5234 zhangxy 1978 chenyx 2235 zhoujl 3520 xuezq
(integer) 4
127.0.0.1:6379> zrange topsinger 0 -1 withscores
1) "chenyx"
2) "1978"
3) "zhoujl"
4) "2235"
5) "xuezq"
6) "3520"
7) "zhangxy"
8) "5234"
127.0.0.1:6379> zrevrange topsinger 0 -1
1) "zhangxy"
2) "xuezq"
3) "zhoujl"
4) "chenyx"
127.0.0.1:6379> geoadd pois 116.39738549206541 39.90862689286386 tiananmen 116.27172936413572 39.99
135172904494 yiheyuan 117.27766503308104 40.65332064313784 gubeishuizhen
(integer) 3
127.0.0.1:6379> geodist pois tiananmen gubeishuizhen km
"111.5333"
127.0.0.1:6379> geodist pois tiananmen yiheyuan km
"14.1230"
127.0.0.1:6379> georadius pois 116.86499108288572 40.40149669363615 50 km withdist
1) 1) "gubeishuizhen"
2) "44.7408"
```
#### 在Python程序中使用Redis
可以使用pip安装redis模块。redis模块的核心是名为Redis的类， ， ，
```Shell
pip3 install redis
python3
```
```Python
>>> import redis
2019-12-30 23:14:30 +08:00
>>> client = redis.Redis(host='1.2.3.4', port=6379, password='yourpass')
2019-05-03 16:00:14 +08:00
>>> client.set('username', 'admin')
True
>>> client.hset('student', 'name', 'hao')
1
>>> client.hset('student', 'age', 38)
1
>>> client.keys('*')
[b'username', b'student']
>>> client.get('username')
b'admin'
>>> client.hgetall('student')
{b'name': b'hao', b'age': b'38'}
```
2018-06-08 07:48:51 +08:00
### MongoDB概述
2019-05-03 16:00:14 +08:00
#### MongoDB简介
MongoDB是2009年问世的一个面向文档的数据库管理系统， ， ， ， ， ，
MongoDB将数据存储为一个文档， ， ， （ ） ，
目前， ， ，
#### MongoDB的安装和配置
可以从MongoDB的[官方下载链接](https://www.mongodb.com/download-center#community)下载MongoDB， ，
```Shell
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-amazon-3.6.5.tgz
gunzip mongodb-linux-x86_64-amazon-3.6.5.tgz
mkdir mongodb-3.6.5
tar -xvf mongodb-linux-x86_64-amazon-3.6.5.tar --strip-components 1 -C mongodb-3.6.5/
export PATH=$PATH:~/mongodb-3.6.5/bin
mkdir -p /data/db
mongod --bind_ip 172.18.61.250
2018-06-03T18:03:28.232+0800 I CONTROL [initandlisten] MongoDB starting : pid=1163 port=27017 dbpath=/data/db 64-bit host=iZwz97tbgo9lkabnat2lo8Z
2018-06-03T18:03:28.232+0800 I CONTROL [initandlisten] db version v3.6.5
2018-06-03T18:03:28.232+0800 I CONTROL [initandlisten] git version: a20ecd3e3a174162052ff99913bc2ca9a839d618
2018-06-03T18:03:28.232+0800 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.0-fips29 Mar 2010
...
2018-06-03T18:03:28.945+0800 I NETWORK [initandlisten] waiting for connections on port 27017
```
> 说明： ， ， ， ， ， ， ，
#### MongoDB基本概念
我们通过与关系型数据库进行对照的方式来说明MongoDB中的一些概念。
| SQL | MongoDB | 解释（ ）
| ----------- | ----------- | ---------------------- |
| database | database | 数据库/数据库 |
| table | collection | 二维表/集合 |
| row | document | 记录（行）/文档 |
| column | field | 字段（列）/域 |
| index | index | 索引/索引 |
| table joins | --- | 表连接/嵌套文档 |
| primary key | primary key | 主键/主键（`_id`字段） |
#### 通过Shell操作MongoDB
启动服务器后可以使用交互式环境跟服务器通信，如下所示。
```shell
mongo --host 172.18.61.250
MongoDB shell version v3.6.5
connecting to: mongodb://172.18.61.250:27017/
```
1. 查看、创建和删除数据库。
```JavaScript
> // 显示所有数据库
> show dbs
admin 0.000GB
config 0.000GB
local 0.000GB
> // 创建并切换到school数据库
> use school
switched to db school
> // 删除当前数据库
> db.dropDatabase()
{ "ok" : 1 }
>
```
2. 创建、删除和查看集合。
```JavaScript
> // 创建并切换到school数据库
> use school
switched to db school
> // 创建colleges集合
> db.createCollection('colleges')
{ "ok" : 1 }
> // 创建students集合
> db.createCollection('students')
{ "ok" : 1 }
> // 查看所有集合
> show collections
colleges
students
> // 删除colleges集合
> db.colleges.drop()
true
>
```
> 说明： ，
3. 文档的CRUD操作。
```JavaScript
> // 向students集合插入文档
> db.students.insert({stuid: 1001, name: '骆昊', age: 38})
WriteResult({ "nInserted" : 1 })
> // 向students集合插入文档
> db.students.save({stuid: 1002, name: '王大锤', tel: '13012345678', gender: '男'})
WriteResult({ "nInserted" : 1 })
> // 查看所有文档
> db.students.find()
{ "_id" : ObjectId("5b13c72e006ad854460ee70b"), "stuid" : 1001, "name" : "骆昊", "age" : 38 }
{ "_id" : ObjectId("5b13c790006ad854460ee70c"), "stuid" : 1002, "name" : "王大锤", "tel" : "13012345678", "gender" : "男" }
> // 更新stuid为1001的文档
> db.students.update({stuid: 1001}, {'$set': {tel: '13566778899', gender: '男'}})
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> // 插入或更新stuid为1003的文档
> db.students.update({stuid: 1003}, {'$set': {name: '白元芳', tel: '13022223333', gender: '男'}}, upsert=true)
WriteResult({
"nMatched" : 0,
"nUpserted" : 1,
"nModified" : 0,
"_id" : ObjectId("5b13c92dd185894d7283efab")
})
> // 查询所有文档
> db.students.find().pretty()
{
"_id" : ObjectId("5b13c72e006ad854460ee70b"),
"stuid" : 1001,
"name" : "骆昊",
"age" : 38,
"gender" : "男",
"tel" : "13566778899"
}
{
"_id" : ObjectId("5b13c790006ad854460ee70c"),
"stuid" : 1002,
"name" : "王大锤",
"tel" : "13012345678",
"gender" : "男"
}
{
"_id" : ObjectId("5b13c92dd185894d7283efab"),
"stuid" : 1003,
"gender" : "男",
"name" : "白元芳",
"tel" : "13022223333"
}
> // 查询stuid大于1001的文档
> db.students.find({stuid: {'$gt': 1001}}).pretty()
{
"_id" : ObjectId("5b13c790006ad854460ee70c"),
"stuid" : 1002,
"name" : "王大锤",
"tel" : "13012345678",
"gender" : "男"
}
{
"_id" : ObjectId("5b13c92dd185894d7283efab"),
"stuid" : 1003,
"gender" : "男",
"name" : "白元芳",
"tel" : "13022223333"
}
> // 查询stuid大于1001的文档只显示name和tel字段
> db.students.find({stuid: {'$gt': 1001}}, {_id: 0, name: 1, tel: 1}).pretty()
{ "name" : "王大锤", "tel" : "13012345678" }
{ "name" : "白元芳", "tel" : "13022223333" }
> // 查询name为“骆昊”或者tel为“13022223333”的文档
> db.students.find({'$or': [{name: '骆昊'}, {tel: '13022223333'}]}, {_id: 0, name: 1, tel: 1}).pretty()
{ "name" : "骆昊", "tel" : "13566778899" }
{ "name" : "白元芳", "tel" : "13022223333" }
> // 查询学生文档跳过第1条文档只查1条文档
> db.students.find().skip(1).limit(1).pretty()
{
"_id" : ObjectId("5b13c790006ad854460ee70c"),
"stuid" : 1002,
"name" : "王大锤",
"tel" : "13012345678",
"gender" : "男"
}
> // 对查询结果进行排序(1表示升序，
> db.students.find({}, {_id: 0, stuid: 1, name: 1}).sort({stuid: -1})
{ "stuid" : 1003, "name" : "白元芳" }
{ "stuid" : 1002, "name" : "王大锤" }
{ "stuid" : 1001, "name" : "骆昊" }
> // 在指定的一个或多个字段上创建索引
> db.students.ensureIndex({name: 1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
>
```
使用MongoDB可以非常方便的配置数据复制， ， ，
2019-05-20 22:48:55 +08:00
#### 在Python程序中操作MongoDB
2019-05-03 16:00:14 +08:00
可以通过pip安装pymongo来实现对MongoDB的操作。
```Shell
pip3 install pymongo
python3
```
```Python
>>> from pymongo import MongoClient
2019-06-17 00:21:13 +08:00
>>> client = MongoClient('mongodb://127.0.0.1:27017')
2019-05-03 16:00:14 +08:00
>>> db = client.school
>>> for student in db.students.find():
... print('学号:', student['stuid'])
... print('姓名:', student['name'])
... print('电话:', student['tel'])
...
学号: 1001.0
姓名: 骆昊
电话: 13566778899
学号: 1002.0
姓名: 王大锤
电话: 13012345678
学号: 1003.0
姓名: 白元芳
电话: 13022223333
>>> db.students.find().count()
3
>>> db.students.remove()
{'n': 3, 'ok': 1.0}
>>> db.students.find().count()
0
>>> coll = db.students
>>> from pymongo import ASCENDING
>>> coll.create_index([('name', ASCENDING)], unique=True)
'name_1'
>>> coll.insert_one({'stuid': int(1001), 'name': '骆昊', 'gender': True})
< pymongo.results.InsertOneResult object at 0x1050cc6c8 >
>>> coll.insert_many([{'stuid': int(1002), 'name': '王大锤', 'gender': False}, {'stuid': int(1003), 'name': '白元芳', 'gender': True}])
< pymongo.results.InsertManyResult object at 0x1050cc8c8 >
>>> for student in coll.find({'gender': True}):
... print('学号:', student['stuid'])
... print('姓名:', student['name'])
... print('性别:', '男' if student['gender'] else '女')
...
学号: 1001
姓名: 骆昊
性别: 男
学号: 1003
姓名: 白元芳
性别: 男
>>>
```
2018-06-08 07:48:51 +08:00
2019-06-04 00:01:35 +08:00
关于PyMongo更多的知识可以通过它的[官方文档](https://api.mongodb.com/python/current/tutorial.html)进行了解，也可以使用[MongoEngine](< https: / / pypi . org / project / mongoengine / > )这样的库来简化Python程序对MongoDB的操作， ， < https: / / pypi . org / project / motor / > )都是不错的选择。
