一、缓存式的Web应用程序架构在Web层和db层之间加一层cache层主要目的减少数据库读取负担提高数据读取速度。cache存取的媒介是内存可以考虑采用分布式的cache层这样更容易破除内存容量的限制同时增加了灵活性。二、业务拆分电商平台包含了用户、商品、评价、订单等几大模块最简单的做法就是在一个数据库中分别创建users、shops、comment、order四张表。但是随着业务规模的增大访问量的增大我们不得不对业务进行拆分。每一个模块都使用单独的数据库来进行存储不同的业务访问不同的数据库将原本对一个数据库的依赖拆分为对4个数据库的依赖这样的话就变成了4个数据库同时承担压力系统的吞吐量自然就提高了。三、MySQL主从复制读写分离当数据库的写压力增加cache层如Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负。使用主从复制技术master-slave模式来达到读写分离以提高读写性能和读库的可扩展性。读写分离就是只在主服务器上写只在从服务器上读基本原理是让主数据库处理事务性查询而从数据库处理select查询数据库复制被用于把事务性查询增删改导致的改变更新同步到集群中的从数据库。MySQL读写分离提升系统性能1、主从只负责各自的读和写极大程度缓解X锁和S锁争用。2、slave可以配置MyISAM引擎提升查询性能以及节约系统开销。3、master直接写是并发的slave通过主库发送来的binlog恢复数据是异步的。4、slave可以单独设置一些参数来提升其读的性能。5、增加冗余提高可用性。实现主从分离可以使用MySQL中间件如AtlasMySQL主从复制的原理数据复制的实际就是Slave从Master获取Binary log文件然后再本地镜像的执行日志中记录的操作。由于主从复制的过程是异步的因此Slave和Master之间的数据有可能存在延迟的现象此时只能保证数据最终的一致性。四、分表分库在cache层的高速缓存MySQL的主从复制读写分离的基础上这时MySQL主库的写压力开始出现瓶颈而数据量的持续猛增由于MyISAM使用表锁在高并发下会出现严重的锁问题大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。采用Master-Slave复制模式的MySQL架构只能对数据库的读进行扩展而对数据的写操作还是集中在Master上。这时需要对数据库的吞吐能力进一步地扩展以满足高并发访问与海量数据存储的需求。对于访问极为频繁且数据量巨大的单表来说首先要做的是减少单表的记录条数以便减少数据查询所需的时间提高数据库的吞吐这就是所谓的分表。在分表之前首先需要选择适当的分表策略使得数据能够较为均衡地分布到多张表中并且不影响正常的查询。分表能够解决单表数据量过大带来的查询效率下降的问题但是却无法给数据库的并发处理能力带来质的提升。面对高并发的读写访问当数据库master服务器无法承载写操作压力时不管如何扩展Slave服务器都是没有意义的对数据库进行拆分从而提高数据库写入能力即分库。数据库经过业务拆分及分库分表虽然查询性能和并发处理能力提高了。但是原本跨表的事务上升为分布式事务由于记录被切分到不同的库和不同的表中难以进行多表关联查询并且不能不指定路由字段对数据进行查询。且分库分表后需要进一步对系统进行扩容路由策略变更将变得非常不方便需要重新进行数据迁移。分表策略使用用户ID是最常用的分库的路由策略。当数据比较大的时候对数据进行分表操作首先要确定需要将数据平均分配到多少张表中也就是表容量。这里假设有100张表进行存储则我们在进行存储数据的时候首先对用户ID进行取模操作根据user_id%100获取对应的表进行存储查询操作。在实际的开发中我们的用户ID更多的可能是通过UUID生成的这样的话我们可以首先将UUID进行hash获取到整数值然后在进行取模操作。分库策略数据库分表能够解决单表数据量很大的时候数据查询的效率问题但是无法给数据库的并发操作带来效率上的提高因为分表的实质还是在一个数据库上进行的操作很容易受数据库IO性能的限制。因此如何将数据库IO性能的问题平均分配出来很显然将数据进行分库操作可以很好地解决单台数据库的性能问题。分库策略与分表策略的实现很相似最简单的都是可以通过取模的方式进行路由。分库与分表实现策略上述的配置中数据库分表可以解决单表海量数据的查询性能问题分库可以解决单台数据库的并发访问压力问题。有时候我们需要同时考虑这两个问题因此我们既需要对单表进行分表操作还需要进行分库操作以便同时扩展系统的并发处理能力和提升单表的查询性能就是我们使用到的分库分表。分库分表的策略相对于前边两种复杂一些一种常见的路由策略如下、中间变量 user_id%库数量*每个库的表数量;、库序号 取整中间变量每个库的表数量;、表序号 中间变量每个库的表数量;参考解决数据库高并发访问瓶颈问题 - __Meng - 博客园
一、缓存式的Web应用程序架构在Web层和db层之间加一层cache层主要目的减少数据库读取负担提高数据读取速度。cache存取的媒介是内存可以考虑采用分布式的cache层这样更容易破除内存容量的限制同时增加了灵活性。二、业务拆分电商平台包含了用户、商品、评价、订单等几大模块最简单的做法就是在一个数据库中分别创建users、shops、comment、order四张表。但是随着业务规模的增大访问量的增大我们不得不对业务进行拆分。每一个模块都使用单独的数据库来进行存储不同的业务访问不同的数据库将原本对一个数据库的依赖拆分为对4个数据库的依赖这样的话就变成了4个数据库同时承担压力系统的吞吐量自然就提高了。三、MySQL主从复制读写分离当数据库的写压力增加cache层如Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负。使用主从复制技术master-slave模式来达到读写分离以提高读写性能和读库的可扩展性。读写分离就是只在主服务器上写只在从服务器上读基本原理是让主数据库处理事务性查询而从数据库处理select查询数据库复制被用于把事务性查询增删改导致的改变更新同步到集群中的从数据库。MySQL读写分离提升系统性能1、主从只负责各自的读和写极大程度缓解X锁和S锁争用。2、slave可以配置MyISAM引擎提升查询性能以及节约系统开销。3、master直接写是并发的slave通过主库发送来的binlog恢复数据是异步的。4、slave可以单独设置一些参数来提升其读的性能。5、增加冗余提高可用性。实现主从分离可以使用MySQL中间件如AtlasMySQL主从复制的原理数据复制的实际就是Slave从Master获取Binary log文件然后再本地镜像的执行日志中记录的操作。由于主从复制的过程是异步的因此Slave和Master之间的数据有可能存在延迟的现象此时只能保证数据最终的一致性。四、分表分库在cache层的高速缓存MySQL的主从复制读写分离的基础上这时MySQL主库的写压力开始出现瓶颈而数据量的持续猛增由于MyISAM使用表锁在高并发下会出现严重的锁问题大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。采用Master-Slave复制模式的MySQL架构只能对数据库的读进行扩展而对数据的写操作还是集中在Master上。这时需要对数据库的吞吐能力进一步地扩展以满足高并发访问与海量数据存储的需求。对于访问极为频繁且数据量巨大的单表来说首先要做的是减少单表的记录条数以便减少数据查询所需的时间提高数据库的吞吐这就是所谓的分表。在分表之前首先需要选择适当的分表策略使得数据能够较为均衡地分布到多张表中并且不影响正常的查询。分表能够解决单表数据量过大带来的查询效率下降的问题但是却无法给数据库的并发处理能力带来质的提升。面对高并发的读写访问当数据库master服务器无法承载写操作压力时不管如何扩展Slave服务器都是没有意义的对数据库进行拆分从而提高数据库写入能力即分库。数据库经过业务拆分及分库分表虽然查询性能和并发处理能力提高了。但是原本跨表的事务上升为分布式事务由于记录被切分到不同的库和不同的表中难以进行多表关联查询并且不能不指定路由字段对数据进行查询。且分库分表后需要进一步对系统进行扩容路由策略变更将变得非常不方便需要重新进行数据迁移。分表策略使用用户ID是最常用的分库的路由策略。当数据比较大的时候对数据进行分表操作首先要确定需要将数据平均分配到多少张表中也就是表容量。这里假设有100张表进行存储则我们在进行存储数据的时候首先对用户ID进行取模操作根据user_id%100获取对应的表进行存储查询操作。在实际的开发中我们的用户ID更多的可能是通过UUID生成的这样的话我们可以首先将UUID进行hash获取到整数值然后在进行取模操作。分库策略数据库分表能够解决单表数据量很大的时候数据查询的效率问题但是无法给数据库的并发操作带来效率上的提高因为分表的实质还是在一个数据库上进行的操作很容易受数据库IO性能的限制。因此如何将数据库IO性能的问题平均分配出来很显然将数据进行分库操作可以很好地解决单台数据库的性能问题。分库策略与分表策略的实现很相似最简单的都是可以通过取模的方式进行路由。分库与分表实现策略上述的配置中数据库分表可以解决单表海量数据的查询性能问题分库可以解决单台数据库的并发访问压力问题。有时候我们需要同时考虑这两个问题因此我们既需要对单表进行分表操作还需要进行分库操作以便同时扩展系统的并发处理能力和提升单表的查询性能就是我们使用到的分库分表。分库分表的策略相对于前边两种复杂一些一种常见的路由策略如下、中间变量 user_id%库数量*每个库的表数量;、库序号 取整中间变量每个库的表数量;、表序号 中间变量每个库的表数量;参考解决数据库高并发访问瓶颈问题 - __Meng - 博客园
