1500字范文,内容丰富有趣,写作好帮手!
1500字范文 > 写入mysql数据库的数据量很大 – 数据库 – 前端 mysql分区表 按条数分区

写入mysql数据库的数据量很大 – 数据库 – 前端 mysql分区表 按条数分区

时间:2020-09-10 09:13:44

相关推荐

写入mysql数据库的数据量很大 – 数据库 – 前端 mysql分区表 按条数分区

一、分表

将数据分摊到多个表上,流量也将分摊到多个表上,可以提高数据库读写的吞吐量。

如将一个表从1个,分解为256个。

二、缓存

大家可以将数据库中的热点数据,写入缓存中,将读请求的流量优先走缓存,这样可以分摊数据库的读压力。

如使用Redis来存储热点数据,而使用Canal将MySQL中的热点数据同步到Redis中。

三、异步

大家知道,MySQL数据库日志系统,有一个持久化日志redolog,原理是数据库为了减少磁盘IO的次数,将要写入数据库的数据先在内存中暂存,后续再批量写入磁盘中,这边是异步的一种案例。

大家的系统设计,也可以参考这个模式,将要写入数据库中的操作通过发送mq暂存到Kafka中,再通过消费mq的方式,将数据写入数据库,从而避免流量过大,一下子将数据库打死了。

四、分库

经过压测得知,一个16核32G内存500G硬盘的MySQL,它的写入极限是5600/s,这是硬件上的极限,从软件层面已无法提升。

如使用MyCat就是构建数据库集群,以增加更多的数据库实例,从硬件层面上解决问题。

五、其他

以上是互联网大厂最常用的优化方案,只要你肯花心思,总有优化的空间。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。