1面试实际开发场景11面试场景题目 分布式服务接口的幂等性如何设计(比如不能重复扣款)?12题目分析 一个分布式系统中的某个接口,要保证幂等性,如何保证?这个事,其实是你做分布式系统的时候必须要考虑的一个生产环境的技术问题,为什么呢? 实际案例1: 假如你有个服务提供一个付款业务的接口,而这个服务分别部署在5台服务器上,然后用户在前端操作时,不知道为啥,一个订单不小心发起了两次支付请求,然后这俩请求分散在了这个服务部署的不同的服务器上,这下好了,一个订单扣款扣了两次。 实际案例2: 订单系统调用支付系统进行支付,结果不消息网络,然后订单系统走了前面我们看到的重试retry机制,那就给你重试一次吧,那么支付系统收到了一个支付请求两次,而且因为负载均衡算法落在了不同的机器上。 小结: 所以你必须得知道这事,否则你做出来的分布式系统恐怕很容易埋坑!2幂等性介绍21概念: 用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。 举个简单的例子:那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常了,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额发现多扣钱了,流水记录也变成了两条。在以前的单应用系统中,我们只需要对数据操作加入事务即可,发生错误的时候立即回滚,但是再响应客户端的时候也有可能网络中断或者异常等等情况。22产生幂等性问题的原因:网络问题用户误操作恶意操作,用户点击了多次网络问题,微服务重试retry网络问题很常见,100次请求,都1万次请求可能1次超时会重试;10万次可能10次超时会重试,100万次可能100次超时会重试;如果100个请求重复了,你没处理,导致订单扣款2次,100个订单都扣错了,每天被100个用户投诉,一个月被3000个用户投诉。23使用幂等性的场景前端重复提交:前端瞬时点击多次造成表单重复提交接口超时重试:接口可能会因为某些原因而调用失败,处于容错性考虑会加上失败重试的机制。如果接口调用一半,再次调用就会因为脏数据的存在而产生异常消息重复消费:在使用消息中间件来处理消息队列,且手动ack确认消息被正常消费时。如果消费者突然断开链接,那么已经执行了一半的消息会重新放回队列。被其他消费者重新消费时就会导致结果异常,如数据库重复数据,数据库数据冲突,资源重复等请求重发:网络抖动引发的nginx重发请求,造成重复调用。3幂等性的解决方案31Insert接口幂等性1。使用分布式锁保证幂等性 秒杀场景下,一个用户只能购买同一商品一次的解决方法:采用用户ID商品ID,存储到redis中,使用redis中的setNX操作,等待自然过期。2。使用token机制保证幂等性 用户注册时,用户点击注册按钮多次,是不是会注册多个用户?我们可以在用户进入注册页面后由后台生成一个token,传给前端页面,用户在点击提交时,将token带给后台,后台使用该token作为分布式锁,setNX操作,执行成功后不释放锁,等待自然过期。3。使用mysqluniquekey保证幂等性 用户注册时,用户点击注册按钮多次,是不是会注册多个用户?我们可以使用手机号作为mysql用户表唯一key。也就是一个手机号只能注册一次。32Update接口幂等性 update操作可能存在幂等性的问题: 1。用户更改个人信息,疯狂点击按钮,不会发生幂等性问题,因为数据始终为修改后的数据。 2。用户购买商品,用户在点击后,网络出现问题,可能再次点击,这样就会出现幂等性问题,导致购买了多次,可以使用乐观锁updateordersetcountcount1,versionversion1whereid1andversion133Delete接口幂等性 根据唯一id删除不会出现幂等性问题,因为第二次删除的时候mysql中已经不存在该数据34Select接口幂等性 查询操作不会改变数据,所以是天然的幂等性操作。35混合操作(一个接口包含多种操作) 使用Token机制,或使用Token分布式锁的方案来解决幂等性问题。4幂等性解决方案实现思路41Token机制实现 通过Token机制实现接口的幂等性,这是一种比较通用性的实现方法。 具体流程步骤:客户端会先发送一个请求去获取Token,服务端会生成一个全局唯一的ID作为Token保存在Redis中,同时把这个ID返回给客户端;客户端第二次调用业务请求的时候必须携带这个T服务端会校验这个Token,如果校验成功,则执行业务,并删除Redis中的T如果校验失败,说明Redis中已经没有对应的Token,则表示重复操作,直接返回指定的结果给客户端。42基于MySQL实现 通过MySQL唯一索引的特性实现接口的幂等性。 具体流程步骤:建立一张去重表,其中某个字段需要建立唯一索引;客户端去请求服务端,服务端会将这次请求的一些信息插入这张去重表中;因为表中某个字段带有唯一索引,如果插入成功,证明表中没有这次请求的信息,则执行后续的业务逻辑;如果插入失败,则代表已经执行过当前请求,直接返回。43基于Redis实现 通过Redis的SETNX命令实现接口的幂等性。 SETNXkeyvalue:当且仅当key不存在时将key的值设为若给定的key已经存在,则SETNX不做任何动作。设置成功时返回1,否则返回0。 具体流程步骤:客户端先请求服务端,会拿到一个能代表这次请求业务的唯一字段;将该字段以SETNX的方式存入Redis中,并根据业务设置相应的超时时间;如果设置成功,证明这是第一次请求,则执行后续的业务逻辑;如果设置失败,则代表已经执行过当前请求,直接返回。5幂等性解决方案案例实现51基于Token机制的实现511实现思路 为需要保证幂等性的每一次请求创建一个唯一的标识token,先获取token,并将此token存入到redis,请求接口时,将此token放在header或者作为请求参数请求接口,后端接口判断redis中是否存在此如果存在,则正常处理业务逻辑,并从redis中删除此token,那么,如果是重复请求,由于token已经被删除,则不能能够通过校验,返回重复提交如果不存在,说明参数不合法或者是重复请求,返回提示即可512请求流程当页面加载的时候通过接口获取token当访问接口时,会经过拦截器,如果发现该接口中有自定义的幂等性注解,说明该接口需要验证幂等性(查看请求头里是否有keytoken的值,如果有,并且删除成功,那么接口就访问成功,否则为重复提交;如果发现该接口没有自定义的幂等性注解,则放行。513代码演示1、使用的技术springBootredis自定义幂等性注解拦截器请求拦截Jmeter压测工具2、创建项目 3、导入pom。?xmlversion1。0encodingUTF8?projectxmlnshttp:maven。apache。orgPOM4。0。0xmlns:xsihttp:www。w3。org2001XMLSchemainstancexsi:schemaLocationhttp:maven。apache。orgPOM4。0。0http:maven。apache。orgxsdmaven4。0。0。xsdmodelVersion4。0。0modelVersiongroupIdorg。examplegroupIdspringBootidempotentartifactIdversion1。0SNAPSHOTversionpropertiesmaven。compiler。source8maven。compiler。sourcemaven。compiler。target8maven。compiler。targetpropertiesparentgroupIdorg。springframework。bootgroupIdspringbootstarterparentartifactIdversion2。3。2。RELEASEversionparentdependenciesdependencygroupIdorg。springframework。bootgroupIdspringbootstarterwebartifactIddependencydependencygroupIdorg。springframework。bootgroupIdspringbootstarterdataredisartifactIddependencydependenciesproject4、自定义注解 该注解的目的是为了实现幂等性的校验,即添加了该注解的接口要实现幂等性验证packagecom。ldp。idempotent。importjava。lang。annotation。;自定义注解说明:添加了该注解的接口要实现幂等性验证Target({ElementType。TYPE,ElementType。METHOD})Retention(RetentionPolicy。RUNTIME)DocumentedpublicinterfaceApiIdempotentAnn{booleanvalue()}5、幂等性拦截器packagecom。ldp。idempotent。importcom。ldp。idempotent。annotation。ApiIdempotentAimportorg。springframework。beans。factory。annotation。Aimportorg。springframework。data。redis。core。StringRedisTimportorg。springframework。stereotype。Cimportorg。springframework。web。method。HandlerMimportorg。springframework。web。servlet。ModelAndVimportorg。springframework。web。servlet。handler。HandlerInterceptorAimportjavax。servlet。http。HttpServletRimportjavax。servlet。http。HttpServletRimportjava。io。PrintWimportjava。lang。reflect。M幂等性拦截器ComponentpublicclassApiIdempotentInceptorextendsHandlerInterceptorAdapter{AutowiredprivateStringRedisTemplateredisT前置拦截器在方法被调用前执行。在该方法中可以做类似校验的功能。如果返回true,则继续调用下一个拦截器。如果返回false,则中断执行,也就是说我们想调用的方法不会被执行,但是你可以修改response为你想要的响应。OverridepublicbooleanpreHandle(HttpServletRequestrequest,HttpServletResponseresponse,Objecthandler)throwsException{如果hanler不是和HandlerMethod类型,则返回trueif(!(handlerinstanceofHandlerMethod)){}转化类型finalHandlerMethodhandlerMethod(HandlerMethod)获取方法类finalMethodmethodhandlerMethod。getMethod();判断当前method中是否有这个注解booleanmethodAnnmethod。isAnnotationPresent(ApiIdempotentAnn。class);如果有幂等性注解if(methodAnnmethod。getAnnotation(ApiIdempotentAnn。class)。value()){需要实现接口幂等性检查token1。获取请求的接口方法查看当前接口的方法之上是否有自定义的注解ApiIdempotentAnn如果说包含了,则认为该接口是要进行幂等性校验的接口检验token如果说有,则访问成功,执行逻辑业务,要删除redis中的token如果说没有,则表示重复调用如果说没有包含了,则直接放行checkToken(request);如果token有值,说明是第一次调用if(result){则放行returnsuper。preHandle(request,response,handler);}else{如果token没有值,则表示不是第一次调用,是重复调用response。setContentType(charsetutf8);PrintWriterwriterresponse。getWriter();writer。print(重复调用);writer。close();response。flushBuffer();}}否则没有该自定义幂等性注解,则放行returnsuper。preHandle(request,response,handler);}检查tokenprivatebooleancheckToken(HttpServletRequestrequest){从请求头对象中获取tokenStringtokenrequest。getHeader(token);如果不存在,则返回false,说明是重复调用if(tokennull。equals(token)){}否则就是存在,存在则把redis里删除tokenreturnredisTemplate。delete(token);}后置,暂时没用OverridepublicvoidpostHandle(HttpServletRequestrequest,HttpServletResponseresponse,Objecthandler,ModelAndViewmodelAndView)throwsException{super。postHandle(request,response,handler,modelAndView);}}6、MVC配置文件packagecom。ldp。idempotent。importcom。ldp。idempotent。intceptor。ApiIdempotentIimportorg。springframework。beans。factory。annotation。Aimportorg。springframework。context。annotation。Cimportorg。springframework。web。servlet。config。annotation。InterceptorRimportorg。springframework。web。servlet。config。annotation。WebMvcCmvc配置ConfigurationpublicclassMvcConfigimplementsWebMvcConfigurer{AutowiredprivateApiIdempotentInceptorapiIdempotentI添加自定义拦截器到Springmvc配置中,拦截所有请求addInterceptor需要一个实现HandlerInterceptor接口的拦截器实例addPathPatterns用于设置拦截器的过滤路径规则;addPathPatterns()对所有请求都拦截excludePathPatterns:用于设置不需要拦截的过滤规则OverridepublicvoidaddInterceptors(InterceptorRegistryregistry){registry。addInterceptor(apiIdempotentInceptor)。addPathPatterns();}}7、接口实现packagecom。ldp。idempotent。importcom。ldp。idempotent。annotation。ApiIdempotentAimportorg。springframework。beans。factory。annotation。Aimportorg。springframework。data。redis。core。StringRedisTimportorg。springframework。web。bind。annotation。GetMimportorg。springframework。web。bind。annotation。RestCimportjava。util。UUID;importjava。util。concurrent。atomic。AtomicIRestControllerpublicclassApiController{AutowiredprivateStringRedisTemplatestringRedisT前端获取token,然后把该token放入请求的header中returnGetMapping(getToken)publicStringgetToken(){StringtokenUUID。randomUUID()。toString()。substring(1,9);stringRedisTemplate。opsForValue()。set(token,1);}定义int类型的原子类的类AtomicIntegernumnewAtomicInteger(100);主业务逻辑,num,并且加了自定义接口returnGetMapping(submit)ApiIdempotentAnnpublicStringsubmit(){numnum。decrementAndGet();}查看num的值returnGetMapping(getNum)publicStringgetNum(){returnString。valueOf(num。get());}}8、PostMan测试获取token 浏览器访问:http:localhost:9090getToken,获取token的值 执行幂等性业务接口第一次,在postman中调用当前接口,并在请求头中设置token 第二次,再次postman中访问该业务接口,显示重复调用的提示 查看num的值得接口 浏览器访问:http:localhost:9090getNum 9Jmeter压力测试工具测试 使用方法参考Jmeter压力测试工具使用说明v1。010小结 通过以上代码演示了解到,本案例对submit接口方法使用了基于token的幂等性解决方案,也就是当前submit接口方法只能调用一次,如果由于网络抖动或者网络异常出现多点或者点击多次的情况,就会出现报错提示,不允许调用当前接口,那么也就解决了当前业务接口幂等性的问题。