当前位置： 首页>后端>正文

Redis原理&设计

后端2024-04-26 01:49:51

缓存原理&设计

本章学习目标

  • 理解缓存的使用场景（重点）
  • 理解缓存原理（重点）
  • 了解常见缓存以及分类（重点）
  • 理解服务器端缓存（重点）
  • 了解缓存的优势和代价（重点）
  • 理解缓存的读写模式（重点）
  • 掌握常见的缓存设计思路并能运用到项目中（重点）

第1节 缓存基本思想

1.1. 缓存的使用场景

1.1.1. DB缓存减轻DB压力

一般情况下数据存在数据库中，应用程序直接操作数据库。当访问量上万，数据库压力增大可以采取的方案有：

  • 读写分离，分库分表

    当访问量上十万、百万，可以引入 缓存 。将已经访问过的数据或内容存到缓存中，当再次访问时先查找缓存，缓存命中返回数据。不命中在查找数据库，并回填缓存。

Redis原理&设计,第1张
图1

1.1.2. 提高系统响应

数据库的数据是存在文件里，也就是硬盘。与内存做交换(swap)。在大量瞬间访问时(高并发)MySQL单机会因为频繁IO而造成无法响应。MySQL的InnoDB是有行锁。

将数据缓存在Redis中，也就是存在了内存中。内存天然支持高并发访问。可以瞬间处理大量请求。qps到达11万/S读请求 8万写/S

1.1.3. 做session分离

传统的session是由tomcat自己进行维护和管理。集群或分布式环境，不同的tomcat管理各自的session。只能在各个tomcat之间，通过网络和Io进行session的复制，极大的影响了系统的性能。

  1. 各个Tomcat间复制session，性能损耗
  2. 不能保证各个Tomcat的Session数据同步

Redis解决方案：

将登录成功后的Session信息，存放在Redis中，这样多个服务器(Tomcat)可以共享Session信息。 Redis的作用是数据的临时存储。

Redis原理&设计,第2张
在这里插入图片描述

1.1.4. 分布式锁

一般讲锁是多线程的锁，是在一个进程中的。多个进程(JVM)在并发时也会产生问题，也要控制时序性。可以采用分布式锁。使用Redis实现 setNX。

1.1.5. 做乐观锁

同步锁和数据库中的行锁、表锁都是悲观锁。悲观锁的性能是比较低的，响应性比较差。高性能、高响应(秒杀)采用乐观锁。Redis可以实现乐观锁watch + incr

1.2. 什么是缓存

缓存原指CPU上的一种高速存储器，它先于内存与CPU交换数据，速度很快。现在泛指存储在计算机上的原始数据的复制集，便于快速访问。在互联网技术中，缓存是系统快速响应的关键技术之一。以空间换时间的一种技术(艺术)。

1.3. 大型网站中缓存的使用

单机架构LAMP(Linux+apache+MySQL+PHP)、JavaEE(SSM)。访问量越大，响应力越差，用户体验越差。在大型网站中从浏览器到网络，再到应用服务器，再到数据库，通过在各个层面应用缓存技术，大大提 升了系统性能和用户体验。引入缓存，示意图如下：

Redis原理&设计,第3张
在这里插入图片描述

1.4. 常见的缓存分类

1.4.1. 客户端缓存

传统互联网:页面缓存和浏览器缓存
移动互联网:APP缓存

页面缓存

页面缓存:页面自身对某些元素或全部元素进行存储，并保存成文件。

html5:Cookie、WebStorage(SessionStorage和LocalStorage)、WebSql、indexDB、 Application Cache等。

开启步骤：

  1. 设置manifest描述文件
CACHE MANIFEST
#comment

js/index.js 
img/bg.png
  1. html关联manifest属性
<html lang="en" manifest="demo.appcache">

使用LocalStorage进行本地的数据存储，示例代码:

localStorage.setItem("Name","张飞") 
localStorage.getItem("Name") 
localStorage.removeItem("Name") 
localStorage.clear()

1.4.2. 浏览器缓存

当客户端向服务器请求资源时，会先抵达浏览器缓存，如果浏览器有“要请求资源”的副本，就可以直接 从浏览器缓存中提取而不是从原始服务器中提取这个资源。浏览器缓存可分为强制缓存和协商缓存。

强制缓存:直接使用浏览器的缓存数据

条件:Cache-Control的max-age没有过期或者Expires的缓存时间没有过期

<meta http-equiv="Cache-Control" content="max-age=7200" />
<meta http-equiv="Expires" content="Mon, 20 Aug 2010 23:00:00 GMT" />

协商缓存:服务器资源未修改，使用浏览器的缓存(304);反之，使用服务器资源(200)。

<meta http-equiv="cache-control" content="no-cache">

App缓存

原生APP中把数据缓存在内存、文件或本地数据库(SQLite)中。比如图片文件。

网络端缓存

通过代理的方式响应客户端请求，对重复的请求返回缓存中的数据资源。

Web代理缓存

可以缓存原生服务器的静态资源，比如样式、图片等。

常见的反向代理服务器比如大名鼎鼎的Nginx。

Redis原理&amp;设计,第4张
图2

边缘缓存

边缘缓存中典型的商业化服务就是CDN了。CDN的全称是Content Delivery Network，即内容分发网络。CDN通过部署在各地的边缘服务器，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度 和命中率。CDN的关键技术主要有内容存储和分发技术。现在一般的公有云服务商都提供CDN服务。

Redis原理&amp;设计,第5张
图4

1.4.3. 服务端缓存

服务器端缓存是整个缓存体系的核心。包括数据库级缓存、平台级缓存和应用级缓存。

1.4.3.1. 数据库级缓存

数据库是用来存储和管理数据的。

MySQL在Server层使用查询缓存机制。将查询后的数据缓存起来。

K-V结构，Key:select语句的hash值，Value:查询结果。

InnoDB存储引擎中的buffer-pool用于缓存InnoDB索引及数据块。

1.4.3.2. 平台级缓存

平台级缓存指的是带有缓存特性的应用框架。

比如:GuavaCache 、EhCache(二级缓存，硬盘)、OSCache(页面缓存)等。

部署在应用服务器上，也称为服务器本地缓存。

1.4.3.3. 应用级缓存（重点）

具有缓存功能的中间件:Redis、Memcached、EVCache(AWS)、Tair(阿里 、美团)等。

采用K-V形式存储。

利用集群支持高可用、高性能、高并发、高扩展。

分布式缓存

第2节 缓存的优势&代价

2.1. 使用缓存的优势

2.1.1. 提升用户体验

用户体验(User Experience):用户在使用产品过程中建立起来的一种纯主观感受。

缓存的使用可以提升系统的响应能力，大大提升了用户体验。

2.1.2. 减轻服务器压力

客户端缓存、网络端缓存减轻应用服务器压力。

服务端缓存减轻数据库服务器的压力。

2.1.3. 提升系统性能

系统性能指标:响应时间、延迟时间、吞吐量、并发用户数和资源利用率等。缓存技术可以:

  • 缩短系统的响应时间
  • 减少网络传输时间和应用延迟时间
  • 提高系统的吞吐量
  • 增加系统的并发用户数
  • 提高了数据库资源的利用率

2.2. 使用缓存的代价

2.2.1. 额外的硬件支出

  • 缓存是一种软件系统中以空间换时间的技术，需要额外的磁盘空间和内存空间来存储数据
  • 搭建缓存服务器集群需要额外的服务器
  • 采用云服务器的缓存服务就不用额外的服务器了，阿里云(Tair、Redis)，百度云(Redis)，提供缓存服务 AWS亚马逊云服务:EVCache

2.2.2. 高并发缓存失效

在高并发场景下会出现缓存失效(缓存穿透、缓存雪崩、缓存击穿)，造成瞬间数据库访问量增大，甚至崩溃

2.2.3. 缓存与数据库同步问题

缓存与数据库无法做到数据的时时同步，Redis无法做到主从时时数据同步

2.2.4. 缓存并发竞争

多个redis的客户端同时对一个key进行set值得时候由于执行顺序引起的并发问题

第3节 缓存的读写模式

3.1. Cache Aside Pattern（常用）

Cache Aside Pattern(旁路缓存)，是最经典的缓存+数据库读写模式。

读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存，同时返回响应。

Redis原理&amp;设计,第6张
在这里插入图片描述

为什么先更新数据库，在删除缓存呢？而不是更新缓存？

  • 缓存的值是一个结构:hash、list，更新数据需要遍历，先遍历(耗时)后修改
  • 懒加载，使用的时候才更新缓存，使用的时候才从DB中加载。也可以采用异步的方式填充缓存。开启一个线程 定时将DB的数据刷到缓存中。

高并发发生脏读的三种情况？

  • 先更新数据库，在更新缓存：在更新数据库时，如果数据库的commit失败，那么缓存的数据已经被更新。需要造成缓存和DB不一致。
  • 先删除缓存，再更新数据库：先删除缓存，那么当有新的读过来的时候。数据库还没有进行更新操作，那么读到的是旧的数据。并且已经回填了缓存那么造成缓存和数据库不一致。
  • 先更新数据库，再删除缓存（推荐）：先更新数据库，在没有commit之前新的读请求进来了，那么缓存中没有数据。则会去查询DB，此时DB的数据是旧的。那么DB和缓存的数据不一致。可以采用延时双删策略。

3.2. Read/Write Through Pattern

应用程序只操作缓存，缓存操作数据库。

  • Read-Through(穿透读模式/直读模式)：应用程序读缓存，缓存没有，由缓存回源到数据库，并写入缓存。(guavacache)。
  • Write-Through(穿透写模式/直写模式)：应用程序写缓存，缓存写数据库。该种模式需要提供数据库的handler，开发较为复杂。

3.3. Write Behind Caching Pattern

应用程序只更新缓存。缓存通过异步的方式将数据批量或合并后更新到DB中。不能时时同步，甚至会丢数据


https://www.xamrdz.com/backend/3gu1934942.html

相关文章：