记一次接口并发，酿成20万损失的惨案

1、故障时间：

2019年9月25日10:05:00

2、故障现象

用户提现，财务使用禾源打款，用户银行卡到账成功，但系统把余额又退回到用户余额账户

3、故障影响

涉及256个用户，提现金额总计208400 元，已于2019-09-25 11:29:47 将255名用户，总计208300元余额扣回。

其中一名用户将余额用掉28元，此用户的余额账户里只有72元，不够扣回100元。客服已联系该用户，该用户可选择主动将钱打回名融支付宝账户，或将用户余额账户冻结，等该用户余额够扣回之后，平台再扣回

4、故障原因

1、前端打款按钮没有做点击控制，导致财务误点击两次打款，从业务上对此批用户发起两次打款流程

2、后端：没有考虑防重复请求控制，收到两次打款请求，第一次收到打款请求，结果本是成功的，但因三方打款操作有时间延迟，还没等到三方回调成功打款的结果，第二次打款请求就过来了，因为此批订单号重复，直接返回打款失败，此时系统将钱主动退还到用户余额账户。过了几分钟后，三方通知系统第一次打款成功的结果，就造成了钱已经退回用户余额账户，又给用户银行卡打了钱的问题。

3、测试虽然测试过重复打款的异常场景，但因为测试环境打款通信时间没有延迟，没有出现该现象，就遗漏了该问题。

5、定位和防范

1、定位：f12,重复点击，查看是否发送2个请求；同时检查数据库，相同时间是否有2条数据；b、直接jmeter压测，检测；c、借助渗透工具fiddler、burpsuite 验证重复问题；d、模拟弱网环境，