一、应用优化

前面章节,我们介绍了很多数据库的优化措施。

但是在实际生产环境中,由于数据库本身的性能局限,就必须要对前台的应用进行一些优化,来降低数据库的访问压力。

1.1、使用数据库连接池

对于访问数据库来说,建立连接的代价是比较昂贵的,因为我们频繁的创建关闭连接,是比较耗费资源的,我们有必要建立 数据库连接池,以提高访问的性能。

Java中常用的数据库如下:

1、C3P0

开源的,成熟的,高并发第三方数据库连接池,作者是 Steve Waldman,相关的文档资料比较完善,大名鼎鼎的hibernate框架就使用了c3p0数据库连接池。

SSM项目中常集成 C3P0 连接池

2、HiKariCP

Spring Boot 默认集成的数据库连接池,速度极快

3、Druid

Alibaba开源的数据库连接池,号称是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

1.2、减少对MySQL的访问

1、减少对数据进行重复检索

在编写应用代码时,需要能够理清对数据库的访问逻辑。能够一次连接就获取到结果的,就不用两次连接,这样可以大大减少对数据库无用的重复请求。

  • 比如 ,需要获取书籍的id 和name字段 , 则查询如下:
1
select id , name from tb_book;
  • 之后,在业务逻辑中有需要获取到书籍状态信息, 则查询如下:
1
select id , status from tb_book;
  • 这样,就需要向数据库提交两次请求,数据库就要做两次查询操作。其实完全可以用一条SQL语句得到想要的结果。
1
select id, name , status from tb_book;

2、增加cache层

在应用中,我们可以在应用中增加 缓存 层来达到减轻数据库负担的目的。缓存层有很多种,也有很多实现方式,只要能达到降低数据库的负担又能满足应用需求就可以。

因此可以部分数据从数据库中抽取出来放到应用端以文本方式存储, 或者使用框架(Mybatis, Hibernate)提供的一级缓存/二级缓存,或者使用redis数据库来缓存数据 。

1.3、负载均衡

负载均衡是应用中使用非常普遍的一种优化方法,它的机制就是利用某种均衡算法,将固定的负载量分布到不同的服务器上, 以此来降低单台服务器的负载,达到优化的效果。

1、利用MySQL复制分流查询

有一台 MySQL主节点 ,可以将数据同步到 从节点

通过MySQL的主从复制,实现读写分离,使增删改操作走主节点,查询操作走从节点,从而可以降低单台服务器的读写压力。

image-20210310212344695

在进行 写操作(增删改) 的时候直接对 master 节点进行操作,然后由 master 节点同步到 salve 节点中。

读操作 不请求 master ,而是请求 slave

的压力集中在 master ,而 的压力集中在 salve

2、采用分布式数据库架构

分布式数据库架构适合大数据量、负载高的情况,它有良好的拓展性和高可用性。通过在多台服务器之间分布数据,可以实现在多台服务器之间的负载均衡,提高访问效率。

二、MySQL中查询缓存优化

注意,MySQL 8.0之后去掉了查询缓存,我们可以使用其他缓存服务器(例如 Redis)来代替

2.1、概述

开启Mysql的查询缓存,当执行完全相同的SQL语句的时候,服务器就会直接从缓存中读取结果,当数据被修改,之前的缓存会失效修改比较频繁的表不适合做查询缓存。

2.2、操作流程

image-20210310213045383

执行流程大致如下:

  • 客户端发送一条查询给服务器;

  • 服务器先会检查查询缓存,如果命中了缓存,则立即返回存储在缓存中的结果。否则进入下一阶段;

  • 服务器端进行SQL解析、预处理,再由优化器生成对应的执行计划;

  • MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询;

  • 将结果缓存一份放入 查询缓存中并返回给客户端。

2.3、查询缓存配置

1、查看当前数据库是否支持查询缓存

1
SHOW VARIABLES LIKE 'have_query_cache';

由于 MySQL 8.0之后已经不支持查询缓存,而我使用用的版本是 8.0.19 ,所以这里的结果自然是 NO

image-20210310215902999

2、查看当前MySQL是否开启了查询缓存

1
SHOW VARIABLES LIKE 'query_cache_type';

image-20210310220419476

3、查看查询缓存的占用大小

1
SHOW VARIABLES LIKE 'query_cache_size';

4、查看查询缓存的状态变量

1
SHOW STATUS LIKE 'Qcache%';

结果中各变量参数说明如下

参数含义
Qcache_free_blocks查询缓存中的可用内存块数
Qcache_free_memory查询缓存的可用内存量
Qcache_hits查询缓存命中数
Qcache_inserts添加到查询缓存的查询数
Qcache_lowmen_prunes由于内存不足而从查询缓存中删除的查询数
Qcache_not_cached非缓存查询的数量(由于 query_cache_type 设置而无法缓存或未缓存)
Qcache_queries_in_cache查询缓存中注册的查询数
Qcache_total_blocks查询缓存中的块总数

2.4、开启查询缓存

MySQL的查询缓存默认是关闭的,需要手动配置参数 query_cache_type , 来开启查询缓存。query_cache_type该参数的可取值有三个:

含义
OFF 或 0查询缓存功能关闭
ON 或 1查询缓存功能打开,SELECT的结果符合缓存条件即会缓存,否则,不予缓存,显式指定SQL_NO_CACHE,不予缓存
DEMAND或 2查询缓存功能按需进行,显式指定 SQL_CACHE 的SELECT语句才会缓存;其它均不予缓存

my.cnf 配置文件中,增加以下配置

1
2
# 开启MySQL查询缓存(不适用于8.0及以上版本)
query_cache_type = 1;

配置完毕之后,重启服务既可生效 ;

然后就可以在命令行执行SQL语句进行验证 ,执行一条比较耗时的SQL语句,然后再多执行几次,查看后面几次的执行时间;获取通过查看查询缓存的缓存命中数,来判定是否走查询缓存。

2.5、查询缓存Select 选项

可以在SELECT语句中指定两个与查询缓存相关的选项 :

SQL_CACHE : 如果查询结果是可缓存的,并且 query_cache_type 系统变量的值为ON或 DEMAND ,则缓存查询结果 。

SQL_NO_CACHE : 服务器不使用查询缓存。它既不检查查询缓存,也不检查结果是否已缓存,也不缓存查询结果。例子:

1
2
SELECT SQL_CACHE id, name FROM customer;
SELECT SQL_NO_CACHE id, name FROM customer;

三、MySQL内存管理及优化

3.1、内存优化原则

  • 将尽量多的内存分配给MySQL做缓存,但要给操作系统和其他程序预留足够内存。

  • MyISAM 存储引擎的数据文件读取依赖于操作系统自身的IO缓存,因此,如果有MyISAM表,就要预留更多的内存给操作系统做IO缓存。

  • 排序区、连接区等缓存是分配给每个数据库会话(session)专用的,其默认值的设置要根据最大连接数合理分配,如果设置太大,不但浪费资源,而且在并发连接较高时会导致物理内存耗尽。

3.2、MyISAM 内存优化

MyISAM存储引擎使用 key_buffer 缓存索引块,加速MyISAM索引的读写速度。对于MyISAM表的数据块,mysql没有特别的缓存机制,完全依赖于操作系统的IO缓存。

1、key_buffer_size

key_buffer_size决定 MyISAM索引块缓存区的大小,直接影响到 MyISAM 表的存取效率。

可以在MySQL参数文件中设置key_buffer_size的值,对于一般 MyISAM 数据库,建议至少将1/4可用内存分配给key_buffer_size。
/usr/my.cnf 中做如下配置:

1
key_buffer_size=512M

2、read_buffer_size

如果需要经常顺序扫描 myisam 表,可以通过增大read_buffer_size的值来改善性能。但需要注意的是
read_buffer_size是每个session独占的,如果默认值设置太大,就会造成内存浪费。

3、read_rnd_buffer_size

对于需要做排序的 myisam 表的查询,如带有order by子句的sql,适当增加 read_rnd_buffer_size 的值,可以改善此类的sql性能。但需要注意的是 read_rnd_buffer_size 是每个session独占的,如果默认值设置太大,就会造成内存浪费。

3.3、InnoDB 内存优化

innodb用一块内存区做IO缓存池,该缓存池不仅用来缓存innodb的索引块,而且也用来缓存innodb的数据块。

1、innodb_buffer_pool_size

该变量决定了 innodb 存储引擎表数据索引数据的最大缓存区大小。在保证操作系统及其他程序有足够内存可用的情况下,innodb_buffer_pool_size 的值越大,缓存命中率越高,访问InnoDB表需要的磁盘I/O 就越少,性能也就越高。

1
innodb_buffer_pool_size=512M

2、innodb_log_buffer_size

决定了innodb重做日志缓存的大小,对于可能产生大量更新记录的大事务,增加innodb_log_buffer_size的大小,可以避免innodb在事务提交前就执行不必要的日志写入磁盘操作。

1
innodb_log_buffer_size=10M

四、MySQL 并发参数调整

从实现上来说,MySQL Server 是多线程结构,包括后台线程和客户服务线程。多线程可以有效利用服务器资源,提高数据库的并发性能。

在Mysql中,控制并发连接和线程的主要参数包括

  • max_connections
  • back_log
  • thread_cache_size
  • table_open_cache。

4.1、max_connections

采用max_connections 控制允许连接到MySQL数据库的最大数量,默认值是 151

如果状态变量connection_errors_max_connections 不为零,并且一直增长,则说明不断有连接请求因数据库连接数已达到允许最大值而失败,这时可以考虑增大max_connections 的值。

Mysql 最大可支持的连接数,取决于很多因素,包括给定操作系统平台的线程库的质量、内存大小、每个连接的负荷、CPU的处理速度,期望的响应时间等。

在Linux 平台下,性能好的服务器,支持 500-1000 个连接不是难事,需要根据服务器性能进行评估设定。

4.2、back_log

back_log 参数控制MySQL监听TCP端口时设置的积压请求栈大小。

如果MySql的连接数达到max_connections时,新来的请求将会被存在堆栈中,以等待某一连接释放资源,该堆栈的数量即back_log,如果等待连接的数量超过back_log,将不被授予连接资源,将会报错。5.6.6 版本之前默认值为 50 , 之后的版本默认为 50 +(max_connections / 5), 但最大不超过 900

如果需要数据库在较短的时间内处理大量连接请求, 可以考虑适当增大 back_log 的值。

类似线程池的阻塞队列

4.3、table_open_cache

该参数用来控制所有SQL语句执行线程可打开表缓存的数量, 而在执行SQL语句时,每一个SQL执行线程至少要打开 1 个表缓存。

该参数的值应该根据设置的最大连接数 max_connections 以及每个连接执行关联查询中涉及的表的最大数量来设定 :max_connections x N

4.4、thread_cache_size

为了加快连接数据库的速度,MySQL 会缓存一定数量的客户服务线程以备重用,通过参数 thread_cache_size 可控制 MySQL 缓存客户服务线程的数量。

4.5、innodb_lock_wait_timeout

该参数是用来设置 InnoDB 事务等待行锁的时间,默认值是50ms , 可以根据需要进行动态设置。对于需要快速反馈的业务系统来说,可以将行锁的等待时间调小,以避免事务长时间挂起; 对于后台运行的批量处理程序来说,可以将行锁的等待时间调大, 以避免发生大的回滚操作。

五、MySQL锁问题

5.1、锁概述

锁是计算机协调多个进程或线程并发访问某一资源的机制(避免争抢)。

在数据库中,除传统的计算资源(如 CPU、RAM、I/O 等)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说,锁对数据库而言显得尤其重要,也更加复杂。

5.2、锁分类

1、从对数据操作的粒度分

  • 表锁

操作时,会锁定整个表

  • 行锁

操作时,会锁定当前操作行

2、从对数据操作的类型分

  • 读锁(共享锁)

针对同一份数据,多个读操作可以同时进行而不会相互影响。

  • 写锁(排他锁)

当前操作没有完成之前,它会阻断其他写锁和读锁。

5.3、MySQL 锁

相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制。下表中罗列出了各存储引擎对锁的支持情况:

存储引擎表级锁行级锁页面锁
MyISAM支持不支持不支持
InnoDB支持支持(默认支持)不支持
MEMORY支持不支持不支持
BDB支持不支持支持

MySQL这三种锁的特性大致可以归纳如下

锁类型特点
表级锁偏向MyISAM 存储引擎,开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。
行级锁偏向InnoDB 存储引擎,开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。
页面锁开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般。

从上述特点可见,很难笼统地说哪种锁更好,只能就具体应用的特点来说哪种锁更合适!仅从锁的角度来说:表级锁更适合于以查询为主,只有少量按索引条件更新数据的应用,如Web 应用;而行级锁则更适合于有大量按索引条件并发更新少量不同数据,同时又有并查询的应用,如一些在线事务处理(OLTP)系统。

5.4、MyISAM 表锁

MyISAM 存储引擎只支持表锁,这也是 MySQL 开始几个版本中唯一支持的锁类型。

1、如何加表锁

MyISAM 在执行查询语句(SELECT)前,会自动给涉及的所有表加读锁,在执行更新操作(UPDATE、DELETE、INSERT 等)前,会自动给涉及的表加写锁,这个过程并不需要用户干预,因此,用户一般不需要直接用 LOCK TABLE 命令给 MyISAM 表显式加锁。

显示加表锁语法:

  • 加读锁
1
lock table table_name read;
  • 加读锁
1
lock table table_name write;
  • 读读共享,读写互斥,写写互斥。

2、读锁案例

  • 准备环境
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
CREATE TABLE `tb_book`
(
`id` INT(11) auto_increment,
`name` VARCHAR(50) DEFAULT NULL,
`publish_time` DATE DEFAULT NULL,
`status` CHAR(1) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE = myisam
DEFAULT CHARSET = utf8;

INSERT INTO tb_book (id, name, publish_time, status)
VALUES (NULL, 'java编程思
想', '2088-08-01', '1');
INSERT INTO tb_book (id, name, publish_time, status)
VALUES (NULL, 'solr编程思想', '2088-08-08', '0');

CREATE TABLE `tb_user`
(
`id` INT(11) auto_increment,
`name` VARCHAR(50) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE = myisam
DEFAULT CHARSET = utf8;

INSERT INTO tb_user (id, name) VALUES(NULL,'令狐冲');
INSERT INTO tb_user (id, name) VALUES(NULL,'田伯光');

打开两个客户端,在客户端一对 tb_book 加一个读锁,然后执行查询语句

1
2
lock table tb_book read;
select * from tb_book;

image-20210311142350179

此时在第二个客户端中也可以查询出 tb_book 中的数据,这是因为读锁是 共享锁

image-20210311142638815

这个时候在第一个客户端中是无法操作其他表的

image-20210311142730459

在第一个客户端中也无法对 tb_book 进行 增删改 操作

1
update tb_book set name = 'wuhu' where id = 2;

image-20210311143054009

这个时候在第二个客户端中进行 增删改 操作时将会阻塞,直到第一个客户端释放读锁。

image-20210311143227420

在第一个客户端中释放读锁

1
unlock tables;

image-20210311144038130

第二个客户端马上执行更新操作

image-20210311144106554

3、写锁案例

  • 在客户端一中为 tb_book 表加上一个写锁
1
lock table tb_book write;

此时在客户端一中仍然可以查询数据

1
select * from tb_book;

image-20210311144838393

在客户端一中,可以对表 tb_book 进行写操作(增删改)

1
update tb_book set name = 'qifei' where id = 2;

image-20210311144949347

  • 在客户端二中进行操作

在客户端二中使用 select 进行读操作,发现进入等待状态

image-20210311145440874

在客户端一中释放锁后,客户端二中的指令被立即执行。

image-20210311145624833

4、结论

锁模式的相互兼容性如表所示:

image-20210311150933537

由上表可见:

  • 对MyISAM 表的读操作,不会阻塞其他用户对同一表的读请求,但会阻塞对同一表的写请求;
  • 对MyISAM 表的写操作,则会阻塞其他用户对同一表的读和写操作;

简而言之,就是读锁会阻塞写,但是不会阻塞读。而写锁,则既会阻塞读,又会阻塞写。

此外,MyISAM 的读写锁调度是写优先,这也是MyISAM不适合做写为主的表的存储引擎的原因。因为写锁后,其他线程不能做任何操作,大量的更新会使查询很难得到锁,从而造成永远阻塞。

  • MyISAM不适合做读表的存储引擎

5.4、InnoDB行锁

1、行锁介绍

行锁特点 :

  • 偏向 InnoDB 存储引擎,开销大,加锁慢;
  • 会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。

InnoDBMyISAM 的最大不同有两点:一是支持事务;二是 采用了行级锁。

2、背景知识

  • 事务及其ACID属性

事务是由一组SQL语句组成的逻辑处理单元。

事务具有以下4个特性,简称为事务ACID属性。

ACID属性含义
原子性(Atomicity)事务是一个原子操作单元,其对数据的修改,要么全部成功,要么全部失败。
一致性(Consistent)在事务开始和完成时,数据都必须保持一致状态。
隔离性(Isolation)数据库系统提供一定的隔离机制,保证事务在不受外部并发操作影响的 “独立” 环境下运行。
持久性(Durable)事务完成之后,对于数据的修改是永久的。
  • 并发事务处理带来的问题
问题含义
丢失更新(Lost Update)当两个或多个事务选择同一行,最初的事务修改的值,会被后面的事务修改的值覆盖。
脏读(Dirty Reads)当一个事务正在访问数据,并且对数据进行了修改,而这种修改还没有提交到数据库中,这时,另外一个事务也访问这个数据,然后使用了这个数据。
不可重复读(Non- Repeatable Reads)一个事务在读取某些数据后的某个时间,再次读取以前读过的数据,却发现和以前读出的数据不一致。
幻读(Phantom Reads)一个事务按照相同的查询条件重新读取以前查询过的数据,却发现其他事务插入了满足其查询条件的新数据。
  • 事务的隔离级别

为了解决上述提到的事务并发问题,数据库提供一定的事务隔离机制来解决这个问题。数据库的事务隔离越严格,并发副作用越小,但付出的代价也就越大,因为事务隔离实质上就是使用事务在一定程度上“串行化” 进行,这显然与“并发” 是矛盾的。
数据库的隔离级别有4个,由低到高依次为Read uncommitted、Read committed、Repeatable read、 Serializable,这四个级别可以逐个解决脏写、脏读、不可重复读、幻读这几类问题。

隔离级别丢失更新(脏写)脏读不可重复读幻读
Read uncommitted×
Read committed××
Repeatable read(默认)×××
Serializable××××

备注:√ 代表可能出现 , × 代表不会出现 。

  • MySQL 的数据库的默认隔离级别为:Repeatable read ,查看方式:
1
show variables like 'tx_isolation';

3、InnoDB的行锁模式

InnoDB 实现了以下两种类型的行锁。

  • 共享锁(S):又称为读锁,简称S锁,共享锁就是多个事务对于同一数据可以共享一把锁,都能访问到数据,但是只能读不能修改。
  • 排他锁(X):又称为写锁,简称X锁,排他锁就是不能与其他锁并存,如一个事务获取了一个数据行的排他锁,其他事务就不能再获取该行的其他锁,包括共享锁和排他锁,但是获取排他锁的事务是可以对数据就行读取和修改。

对于UPDATE、DELETE和INSERT语句,InnoDB会自动给涉及数据集加排他锁(X);

对于普通SELECT语句,InnoDB不会加任何锁;

  • 可以通过以下语句显式地给记录集加共享锁或者排他锁

共享锁:

1
select * FROM table_name WHERE ... LOCK IN SHARE MODE

排他锁:

1
select * FROM table_name WHERE ... FOR UPDATE

4、案例环境准备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
create table test_innodb_lock
(
id int(11),
name varchar(16),
sex varchar(1)
) engine = innodb
default charset = utf8;
insert into test_innodb_lock
values (1, '100', '1');
insert into test_innodb_lock
values (3, '3', '1');
insert into test_innodb_lock
values (4, '400', '0');
insert into test_innodb_lock
values (5, '500', '1');
insert into test_innodb_lock
values (6, '600', '0');
insert into test_innodb_lock
values (7, '700', '0');
insert into test_innodb_lock
values (8, '800', '1');
insert into test_innodb_lock
values (9, '900', '1');
insert into test_innodb_lock
values (1, '200', '0');


create index idx_test_innodb_lock_id on test_innodb_lock (id);
create index idx_test_innodb_lock_name on test_innodb_lock (name);

5、演示 InnoDB 的行锁

  • 打开两个命令行窗口,连接MySQL后关闭自动提交
1
set autocommit = 0;
  • 在窗口一执行一条 update 语句,然后不提交
1
update test_innodb_lock set name = '300' where id = 3;

image-20210311193539183

  • 在窗口二执行一条 update 语句,查看结果
1
update test_innodb_lock set name = '30' where id = 3;

image-20210311193747699

  • 此时在窗口一中执行 commit ,提交事务,就可以释放行锁,执行窗口二的操作。

image-20210311193943691

注:当无索引或者索引失效时,InnoDB的行锁将升级为表锁

6、间隙锁危害

当我们用范围条件,而不是使用相等条件检索数据,并请求共享或排他锁时,InnoDB会给符合条件的已有数据进行加锁;

对于键值在条件范围内但并不存在的记录,叫做 “间隙(GAP)” , InnoDB也会对这个 “间隙” 加锁,这种锁机制就是所谓的 间隙锁(Next-Key锁) 。

因为Query执行过程中通过范围查找的话,他会锁定整个范围内所有的索引键值,即使这个键值并不存在。

间隙锁有一个比较致命的弱点,就是当锁定一个范围键值之后,即使某些不存在的键值也会被无辜的锁定,而造成在锁定的时候无法插入锁定键值范围内的任何数据。在某些场景下这可能会对性能造成很大的危害

image-20210311202823816

  • 准备两个客户端,关闭事务的自动提交。
1
set autocommit = 0;
  • 在窗口一执行一条 update 语句,在这之前我们先查询一下 test_innodb_lock 的数据
1
select * from test_innodb_lock;

image-20210311203317696

1
update `test_innodb_lock` set sex = '2' where id < 4;

image-20210311203444361

  • 这个时候我们再第二个窗口插入一条 id 为2的数据,查看结果
1
insert into test_innodb_lock values(2,'2000','1');

image-20210311203716889

在第一个窗口提交事务,可以看到第二个窗口被阻塞的insert 执行成功。

image-20210311203914384

可以使用逻辑删除来代替物理删除

7、查看InnoDB行锁争用情况

1
show status like 'innodb_row_lock%';

image-20210311204125281

参数说明

  • Innodb_row_lock_current_waits: 当前正在等待锁定的数量
  • Innodb_row_lock_time: 从系统启动到现在锁定总时间长度
  • Innodb_row_lock_time_avg:每次等待所花平均时长
  • Innodb_row_lock_time_max:从系统启动到现在等待最长的一次所花的时间
  • Innodb_row_lock_waits:系统启动后到现在总共等待的次数

当等待的次数很高,而且每次等待的时长也不小的时候,我们就需要分析系统中为什么会有如此多的等待,然后根据分析结果着手制定优化计划。

8、总结

InnoDB 存储引擎由于实现了行级锁定,虽然在锁定机制的实现方面带来了性能损耗可能比表锁会更高一些,但是在整体并发处理能力方面要远远优于 MyISAM 的表锁的。当系统并发量较高的时候, InnoDB 的整体性能和 MyISAM 相比就会有比较明显的优势。
但是,InnoDB 的行级锁同样也有其脆弱的一面,当我们使用不当的时候,可能会让 InnoDB 的整体性能表现不仅不能比 MyISAM高,甚至可能会更差。

优化建议:

  • 尽可能让所有数据检索都能通过索引来完成,避免无索引行锁升级为表锁。
  • 合理设计索引,尽量缩小锁的范围
  • 尽可能减少索引条件,及索引范围,避免间隙锁尽量控制事务大小,减少锁定资源量和时间长度
  • 尽可使用低级别事务隔离(但是需要业务层面满足需求)

六、常用SQL技巧

6.1、SQL执行顺序

1、编写顺序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
SELECT DISTINCT 
<select list>
FROM
<left_table> <join_type>
JOIN
<right_table> ON <join_condition>
WHERE
<where_condition>
GROUP BY
<group_by_list>
HAVING
<having_condition>
ORDER BY
<order_by_condition>
LIMIT
<limit_params>

s f j w g h o l

2、执行顺序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
FROM 
<left_table>
ON
<join_condition>
<join_type> JOIN <right_table>
WHERE
<where_condition>
GROUP BY
<group_by_list>
HAVING
<having_condition>
SELECT DISTINCT
<select list>
ORDER BY
<order_by_condition>
LIMIT
<limit_params>

f j w g h s o l

  • 先指定从哪一张或哪几张表中查询数据(设计联表及联表条件)
  • 根据什么条件进行查询?(where进行一次过滤)
  • 根据什么条件进行分组(group by)
  • 对上面的结果进行二次过滤(having)
  • 从二次过滤的结果中挑选出要取得的结果列
  • 最后进行排序和分页。

6.2、正则表达式的使用

正则表达式是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。

符号含义
^在字符串开始处进行匹配
$在字符串末尾处进行匹配
.匹配任意单个字符, 包括换行符
[…]匹配出括号内的任意字符
[^…]匹配不出括号内的任意字符
a*匹配零个或者多个a(包括空串)
a+匹配一个或者多个a(不包括空串)
a?匹配零个或者一个a
a1|a2匹配a1或a2
a(m)匹配m个a
a(m,)至少匹配m个a
a(m,n)匹配m个a 到 n个a
a(,n)匹配0到n个a
(…)将模式元素组成单一元素

6.3、MySQL常用函数

1、数字函数

函数名称作用
ABS求绝对值
SQRT求二次方根
MOD求余数
CEIL 和 CEILING两个函数功能相同,都是返回不小于参数的最小整数,即向上取整
FLOOR向下取整,返回值转化为一个BIGINT
RAND生成一个0~1之间的随机数,传入整数参数是,用来产生重复序列
ROUND对所传参数进行四舍五入
SIGN返回参数的符号
POW 和 POWER两个函数的功能相同,都是所传参数的次方的结果值
SIN求正弦值
ASIN求反正弦值,与函数 SIN 互为反函数
COS求余弦值
ACOS求反余弦值,与函数 COS 互为反函数
TAN求正切值
ATAN求反正切值,与函数 TAN 互为反函数
COT求余切值

2、字符串函数

函数名称作用
LENGTH计算字符串长度函数,返回字符串的字节长度
CONCAT合并字符串函数,返回结果为连接参数产生的字符串,参数可以使一个或多个
INSERT替换字符串函数
LOWER将字符串中的字母转换为小写
UPPER将字符串中的字母转换为大写
LEFT从左侧字截取符串,返回字符串左边的若干个字符
RIGHT从右侧字截取符串,返回字符串右边的若干个字符
TRIM删除字符串左右两侧的空格
REPLACE字符串替换函数,返回替换后的新字符串
SUBSTRING截取字符串,返回从指定位置开始的指定长度的字符换
REVERSE字符串反转(逆序)函数,返回与原始字符串顺序相反的字符串

3、日期函数

函数名称作用
CURDATE 和 CURRENT_DATE两个函数作用相同,返回当前系统的日期值
CURTIME 和 CURRENT_TIME两个函数作用相同,返回当前系统的时间值
NOW 和 SYSDATE两个函数作用相同,返回当前系统的日期和时间值
MONTH获取指定日期中的月份
MONTHNAME获取指定日期中的月份英文名称
DAYNAME获取指定曰期对应的星期几的英文名称
DAYOFWEEK获取指定日期对应的一周的索引位置值
WEEK获取指定日期是一年中的第几周,返回值的范围是否为 0〜52 或 1〜53
DAYOFYEAR获取指定曰期是一年中的第几天,返回值范围是1~366
DAYOFMONTH获取指定日期是一个月中是第几天,返回值范围是1~31
YEAR获取年份,返回值范围是 1970〜2069
TIME_TO_SEC将时间参数转换为秒数
SEC_TO_TIME将秒数转换为时间,与TIME_TO_SEC 互为反函数
DATE_ADD 和 ADDDATE两个函数功能相同,都是向日期添加指定的时间间隔
DATE_SUB 和 SUBDATE两个函数功能相同,都是向日期减去指定的时间间隔
ADDTIME时间加法运算,在原始时间上添加指定的时间
SUBTIME时间减法运算,在原始时间上减去指定的时间
DATEDIFF获取两个日期之间间隔,返回参数 1 减去参数 2 的值
DATE_FORMAT格式化指定的日期,根据参数返回指定格式的值
WEEKDAY获取指定日期在一周内的对应的工作日索引

4、聚合函数

函数名称作用
MAX查询指定列的最大值
MIN查询指定列的最小值
COUNT统计查询结果的行数
SUM求和,返回指定列的总和
AVG求平均值,返回指定列数据的平均值