1.常见异常
OOM out of memory 堆内存溢出实现 通过new Byte[1024 *1024 *1024]
Stack Overflow 栈内存溢出 实现 通过递归调用方法 因为存放的是方法栈 、方法的局部变量很多
ConCurrentModificationException 并发修改异常 实现 多线程调用集合(List)或hashMap
NosuchElementsException 无这样元素 实现 BlockQueue 中无元素时,调用remove 会报这样异常
RejectedExecutionException 拒绝执行 实现 自定义一个线程池时 ThreadPoolExecutor 使用 AbortPolicy 这个策略时,请求数超过最大线程数和任务队列的等待数时触发
2.juc有关知识
- java.util.concurrent
提供了一系列用于管理并发线程安全的工具类 - 对应的线程安全类
hashMap==> concurrentHashMap hashTable
ArrayList==> CopyOnWriteList Collections.SynchronizedList vectore
LinkedList ==> Collections.syschronizedList 底层是双向链表 对于在链表头和尾进行插入是高效的 如果在中间进行插入,首先进行Node的查找,将index与size>>1进行比较,大于从头部开始进行遍历查找,返回查找到的节点,调用LinkedBefore进行插入
CountDownLatch 教室六个人 班长最后进行锁门 只有前六个人执行完了,最后班长才锁门 适用于多个线程进行计算,得到所有的计算结果时,最后一个线程进行计算汇总。
CyclicBarrier 收集七颗龙珠召唤神龙 类似CountDownLatch(自减 ) CyclicBarrier调用await方法后进行自增
Semaphore 信号灯 适用于多个线程抢占有限的资源 例如三个资源 六个线程去进行抢占,另外没有得到的三个线程会进行阻塞 可以acquire获取,然后进行释放
3.四大函数式接口
1. 函数型接口 :T Function(T t)
2. 判定型接口: boolean Predict(T t);
3. 消费型接口: void Consumer(T t);
4. 供给型接口: T Supply();
4.流式编程 例如将查出的数据进行流式计算 通过list.stream()
例如: list.stream().filter(Predict()).map(Function()).sort(Comparator).limit(1)
参考文档: [https://developer.ibm.com/zh/articles/j-lo-java8streamapi/]
5.线程池
- 可定长 newFixedThreadPool(size)
- 单个 newSingleThreadPool()
- 可缓存 newCacherThreadPool();
- 其底层都是一个类叫 ThreadPoolExecutor 阿里开发手册建议不要使用工具类给我们提供的线程池,自己自定义线程池
因为可定长和可单例 他们使用的队列都是LinkedBlockQueue 而该阻塞队列初始化的队列数是Integer.MaxValue,可缓存的定义的线程数是最大整数有可能都会导致内存溢出 - 建议手写,他们的执行工具类是Executors,父级引用使用ExecutorService
ThreadPoolExecutor其中的七大参数:
1. 核心线程数
2. 最大线程数
3.4 响应时间(即任务数小于队列中任务数,有一部分空闲线程指定时间会关闭)
5.队列(用来保存处理不过来的任务数)
6.线程工厂
7.拒绝策略
(四种 :
a.AbortPolicy 超出最大线程加队列中的任务数会报rejectedExcutionException错误
b.CallerRunsPolicy 会将超出的任务交给调用方处理
c.DiscardPolicy 抛弃
d.DiscardOldestPolicy 抛弃最久等待的任务数)
6.分支合并 ForkJoinTask 对于大的任务数 例如计算0到100的加法 每10个为一个梯度 分成十段去计算 最后将分支的结果合并起来得到最后的结果
fork方法 分支
join方法 合并
启用有个ForkJoinPool submit()提交 ForkJoinTask任务 得到一个ForkJoinTask实例 通过该实例调用get方法可以得到结果
7. redis 由C语言进行开发,基于内存亦可持久化的日志型,key-value的非关系型数据库,并提供多种语言的API
(一)、提供五种基本key-value的数据型
b.hash 以key 多个field-value进行存储 应用场景象淘宝的购物车 添加多件使用 hincryby 命令 获得所有总量数 hgetAll
c.list 消息队列 例如关注了多个公众号 ,每个公众号发布了消息 使用lput 到我的用户id中 然后使用lrange 进行读取所有的为读的发布的消息 实现了队列(lpush+rpop)、栈(lpuh+lpop)的功能
d.set 无序集合 里面提供了交集和差集的api,可以用来做共同好友,可能认识的人场景
e.zset zadd key scores value 有序集合 里面设置有一些的分数字段 可以用来做分数排行榜
(二)、三种让服务器崩溃的造成原因
- 缓存雪崩 (集体失效)
在同一时间段,大量的内存中数据过期,导致请求全部访问数据库,对数据库的压力骤增,可能崩溃
解决办法: (1).将数据的过期时间进行随机设置(分散失效) (2).数据预热 - 缓存击穿:单个失效
单个热点数据失效,导致大量的该请求并发打到redis上,因为没有该缓存,所以直接访问数据库,导致数据库崩溃
解决办法: 在第一个请求执行的时候就设置一个互斥锁(使用分布式锁setnx或者redisson(redis+juc)里的lock方法),其他请求不能访问数据库,等第一个请求查询好了数据库并且进行了缓存后。其他线程就会直接走缓存。 - 缓存穿透: (数据在数据库和redis中都不存在)
解决办法:
(1)、设置查询出来的结果为进行缓存,不过过期时间很短,这样第二次到缓存中就会有值了。
(2)、设置布隆过滤器 将可能的数据存储到一个足够大的bitmap中,如果不存在的key就一定会被拦截掉。在缓存前加一个布隆过滤器,不存在直接过滤,存在查缓存,没有查数据库
(三)redis不但可以做缓存,还可以做数据库。所以了解其持久化机制RDB和AOF - RDB模式 将某个时间点的文件存放到直接将文件快照到本地,默认是dump.rdb文件 通过save命令(但主进程会阻塞)或者bgSave(创建一个forks子线程来进行数据同步的保存)可以设置多久一次保存,例如五分钟之内10个写命令就进行保存
存储的过程:首先生成临时文件,将数据写入临时文件,临时文件代替正式文件,删除原来的DB文件
优点:文件恢复比较快,文件紧凑,通过文件备份由于使用子线程,所以对服务器的性能影响较小
缺点:服务器进行宕机的话,只会保存最后一次备份时间段之后的数据
使用save命令会造成服务器阻塞,等数据同步完成之后才能接受后续请求,使用bgsave同理(数据量太大也会阻塞) - AOF模式: 与rdb存储某个时间段的不同,会保存客户端对服务端的每一次写操作命令,并将这些写操作以redis协议追加到AOF文件末尾
- 提供三种策略:
- always 客户端每一个写操作都会进行追加到AOF文件中 (对服务器的性能影响较大)
- exerysec 每秒追加一次(推荐使用)
- no 交由操作系统进行什么时候写入
- AOF文件损坏 服务器会拒绝载入这个文件可以备份现在的文件,使用check命令修复文件,之后进行重启服务器,加载已经修复的文件
---优点:只是追加文件因此对服务的性能影响较小,速度比RDB要快,内存消耗较小。即使服务器宕机了,丢失的文件也是少数。
---缺点:文件的体量太大,即使重写后的AOF文件也是。服务器重新加载的速度较慢
(四). 我们知道redis基于内存操作,如果断电,服务器宕机,为了防止数据丢失,我们可以对其进行持久化操作。因为是单机版操作,如果电脑坏了,主板等,
那数据还是会丢失。所以我们可以做集群的部署。
- 即在多条电脑上搭建多个服务器redis-server,可以利用主从复制的模式。定义一个主服务器(Master),多个从服务器(slave)。
利用主从复制可以让从服务器Slave精确复制主服务器Master的数据,从服务器还可以设置从服务器(Sub-Slave) - 工作原理:是异步复制。由于异步,在主服务器将数据同步到Slave时,仍然可以接收其他请求 Slave接收数据时也是异步的
- 主从数据复制的三种方式:
(1)当正常连接时,主服务器会将数据命令流给slave服务器,将自身的改变的数据复制给slave
(2)如果因为某些原因断开了连接,则会将断开时间这部分的数据同步给Slave服务器,即部分同步
(3)如果无法同步,则会请求全量同步,master服务器将会把自己的RDB文件发送给slave服务器进行同步,并记录同步期间其他的写入,在发送给slave服务器 - 主从复制的作用:
a.保存Redis数据副本
b.读写分离,为了避免读写操作对主服务器的压力过大,写数据时从Master主服务器,读数据时从Slave服务器,减轻Master的服务器的访问压力
c.高可用与故障转移 高可用即全天24小时不间断的服务。可以通过sentinel管理对个redis服务器,假如主服务宕机或者出现故障了,哨兵模式将会监测到,根据一定规则将某台从服务器升级为主服务器,继续提供服务,实现故障转移,保证Redis不间断
(五).redis提供六种淘汰策略
当数据到达最大内存限制时(maxmemory),redis根据maxmemory-policy配置策略,来决定具体行为
- volatile-lru 过期中最近最少使用
- volatile-ttl 过期中将要过期(即剩余时间最短)的数据
- volatile-random 过期中任意选择淘汰策略
- allkey-lru 从所有中选择最近最少使用
- allkey-random 所有选择中任意选择淘汰
- noeviction 禁止驱逐数据,达到最大内存后还需要内存,直接报错
(六).为了解决数据同一集中在一台服务器上,可以使用范围分片算法和哈希分片
- 范围分片:例如id从0-100存储到实例redis01上 101存储到redis02上
- hash分片:使用hash算法将键转化为一个hash值,通过hash值对redis的实例数量进行求模来存储到对应的实例上