更新了第93天的文档

pull/758/head
jackfrued 2021-03-13 12:08:53 +08:00
parent 4e091d9ba1
commit 6a639f0d15
2 changed files with 41 additions and 3 deletions

View File

@ -112,11 +112,15 @@ class TaobaoDownloaderMiddleWare(object):
def __init__(self, timeout=None):
self.timeout = timeout
# options = webdriver.ChromeOptions()
# options.add_argument('headless')
# options.add_argument('--headless')
# self.browser = webdriver.Chrome(options=options)
self.browser = webdriver.Chrome()
options = webdriver.ChromeOptions()
options.add_argument('--headless')
self.browser = webdriver.Chrome(options)
self.browser.set_window_size(1000, 600)
self.browser.set_page_load_timeout(self.timeout)
self.browser.implicitly_wait(10)
# self.browser.add_cookie({})
# self.browser.set_page_load_timeout(self.timeout)
def __del__(self):
self.browser.close()
@ -124,6 +128,7 @@ class TaobaoDownloaderMiddleWare(object):
def process_request(self, request, spider):
try:
self.browser.get(request.url)
# Chrome对象的page_source代表了页面的HTML代码带动态内容
return HtmlResponse(url=request.url, body=self.browser.page_source,
request=request, encoding='utf-8', status=200)
except TimeoutException:

View File

@ -1,5 +1,38 @@
## MySQL性能优化
### 基本原则
想要发挥 MySQL 的最佳性能,需要遵循 3 个基本使用原则。
1. 让MySQL回归存储的基本职能MySQL 数据库只用于数据的存储,不进行数据的复杂计算,不承载业务逻辑,确保存储和计算分离;
2. 查询数据时,尽量单表查询,减少跨库查询和多表关联;
3. 杜绝大事务、大 SQL、大批量、大字段等一系列性能杀手。
- 大事务:运行步骤较多,涉及的表和字段较多,容易造成资源的争抢,甚至形成死锁。一旦事务回滚,会导致资源占用时间过长。
- 大 SQL复杂的SQL意味着过多的表的关联MySQL 数据库处理关联超过3张表以上的SQL时占用资源多性能低下。
- 大批量多条SQL一次性执行完成可以减少一条条执行SQL产生的额外开销但必须确保进行充分的测试并且在业务低峰时段或者非业务时段执行。
- 大字段blob、text类型的大字段要尽量少用必须要用时尽量与主业务表分离减少对这类字段的检索和更新。
### 建库建表
1. 必须指定默认存储引擎为 InnoDB并且禁用 MyISAM 存储引擎,随着 MySQL 8.0 版本的发布,所有的数据字典表都已经转换成了 InnoDBMyISAM 存储引擎已成为了历史。
2. 默认字符集 UTF8mb4以前版本的 UTF8 是 UTF8mb3未包含个别特殊字符新版本的 UTF8mb4 包含所有字符,官方强烈建议使用此字符集。
3. 关闭区分大小写功能。设置参数`lower_case_table_names`的值为`1`,即可关闭区分大小写功能,即大写字母 T 和小写字母 t 一样。
4. 存储过程、触发器、视图、event等功能尽量在程序中实现一方面是为了存储和计算分离另一方面是因为这些功能非常不完整调试、排错、监控都非常困难相关数据字典也不完善存在潜在的风险。一般在生产数据库中禁止使用。
5. 单个数据库实例表数量控制在2000个以内。
#### InnoDB表的注意事项
1. 主键列使用`unsigned`整数,可以使用`auto_increment`,但是要禁止手动更新主键。
2. 每个列都必须添加`comment`注释。
3. 在建表时必须显示指定`engine`。
4. 表必备三字段:`xxx_id`、 `xxx_create``xxx_modified`。其中`xxx_id`为主键,类型`unsigned`整数类型(例如:`int unsigned``xxx_create`、`xxx_modified`的类型均为`datetime`类型,分别记录该条数据的创建时间、修改时间。
5. 所有字段必须指定`not null`,为空值指定`default`值因为MySQL难以优化`null`值,含`null`值的复合索引会失效,最终导致查询效率低。
6. 单张表的字段数尽量空值在50个字段以内如果字段过多可以考虑垂直拆分。
7. 禁用`enum`和`set`类型,因为这样的类型兼容性不好且性能较差。
8. 大文件不应该使用`blob`类型而是保存它们的路径,`blob`和`text`这样的类型会导致处理性能下降,全表扫描代价大大增加。
9. 对货币等对精度敏感的数据,应该使用定点数(`decimal`)而不是浮点数(`float`)。
10. 保存IP地址不要用`char(15)`,应该使用`int unsigned`,可以使用`inet_aton`和`inet_ntoa`函数实现整数和IP地址的转换。
### 使用索引
在前面[《关系型数据库MySQL》](../Day36-40/36-38.关系型数据库MySQL.md)一文中,我们已经讲到过索引的相关知识,这里我们做一个简单的回顾。