NingG +

实践系列：高并发的缓存实践

2017-06-21

0.背景

在沟通「商品首页」展示时，如何保证高性能、高可用，具体来说，3 个方面需要注意：

  1. 本地缓存
  2. 分布式缓存
  3. 冷数据存储方案：未命中缓存的冷数据，数据库并发压力

1.高并发的缓存实践

具体来说，围绕下面 3 项，逐个讨论：

  1. 本地缓存
  2. 分布式缓存
  3. 冷数据存储方案：未命中缓存的冷数据，数据库并发压力

1.1.本地缓存

本地缓存，一般采用 Guava，此时，需要考虑 2 个问题：

  1. 数据一致性：本地缓存，会导致数据一致性减弱
  2. 线上服务的影响：大量本地缓存，会导致「堆内存占用」过多，并且导致 gc，会影响线上服务的执行

业界解决方案：

Think：

  1. JVM 上，本地内存的缓存，分级？
  2. JVM 上，如何使用「直接内存」？直接内存是否存在安全性问题？（多进程都访问）

关于堆外内存：

  1. JDK 1.8 默认的「堆外内存大小」跟「堆大小」一致，如果没设置-XX:MaxDirectMemorySize，则默认与-Xmx参数值相同

  2. 堆外内存：

    1. 是什么？JVM 进程占用的「直接内存」，非堆内存
    2. 疑问：这个内存，是 JVM 进程独占的吗？是否有其他进程访问的风险？
    3. 确定：这个内存本质是受 OS 管理的，其他进程可能会访问到
    4. 「堆外内存」：JVM 在直接内存中，开启的一块内存区域
      1. 利用 unsafe 包内工具，直接对物理内存进行的读写
      2. 是「byte 数组」
      3. Java 对象不能直接保存在里面，需要经过「序列化/反序列化」实现存取
    5. 有什么用？
      1. 减少 GC 次数：「堆外内存」的占用，不需要
      2. 减少复制次数：「堆内数据」发送到远端时（网络 IO or 文件 IO），会先复制到「直接内存」再发送，使用「堆外内存」节省了这一步
    6. 适用场景：
      1. 长期存在和能复用的场景：「堆外内存」的分配和回收，也是需要成本的
      2. 注重稳定性的场景：「堆外内存」能有效避免因 GC 导致的暂停
      3. 适合简单对象存储：内部存储的都是「byte 数组」，Java 对象的读写，需要经过「序列化/反序列化」，复杂对象的「序列化/反序列化」需要特别注意
      4. 适合注重 IO 效率的场景：用「堆外内存」读写文件，效率高
    7. 有什么问题？
      1. 内存泄露：对外内存如果泄露，很难排查
      2. 不适合存储复杂对象：内部存储的都是「byte 数组」，Java 对象的读写，需要经过「序列化/反序列化」，复杂对象的「序列化/反序列化」需要特别注意
    8. 如何分配对外内存？
      1. 分配：本质 unsafe 包，直接操作物理内存，都要转换为「字节数组」
      2. 复杂的 Java 对象，都需要手动进行「序列化/反序列化」，因此，复杂对象不建议存储在「对外内存」
    9. 如何实现「堆外内存」的读写？
      1. 有开源方案，实现「堆外内存」的读写

1.2.分布式缓存

分布式缓存，存在几个问题：

  1. 分布式缓存存储不足时，如何处理？只有 LRU 清理缓存这一种策略？
  2. 分布式缓存，Redis 单实例，能支持最大多少并发连接数？QPS 又是多大？

实践中，典型问题：

关联资料：

分布式缓存的：雪崩、击穿、并发（并发控制）

Note：

1.3.冷热库存储

采用 MySQL 存储数据时，在请求量过大，并且缓存空间有限的情况下，如何考虑「冷数据」的处理：

可以使用 NoSQL 方案，例如阿里的 Tair，内存存储，并发效率更高，具体还需要进一步实践。

2.参考资料

原文地址：https://ningg.top/arch-series-high-qps-cache-practise/
微信公众号 ningg, 联系我

同类文章:

微信搜索: 公众号 ningg, 联系我, 交个朋友.

京ICP备19013747号-1
Top