民生银行信誉卡中心妄想值引擎项目背后的故事

2020年4月，，，，，，，918博天娱乐官网项目团队接到了民生银行卡中心的垂危需要——在2020年6月16日上线中国民生银行信誉卡中心妄想值引擎项目。。。。。。。。

妄想值是啥？？？？？说白点就类似于积分的作用，，，，，，，用户在民生银行信誉卡APP中通过做工作能够获得妄想值，，，，，，，再用妄想值兑换商品。。。。。。。。而我们掌管的这个妄想值引擎项目重要为妄想值提供服务接口、数据处置，，，，，，，保障妄想值账务的正确性。。。。。。。。

各人掐指一算，，，，，，，这工期满打满算也只有1.5个月！并且这个项目对不变性、扩大性、机能等方面要求都极度严格，，，，，，，同时要求7X24幼时线上运行，，，，，，，真的是功夫太紧了，，，，，，，工作太沉了！

怎么办？？？？？在918博天娱乐官网科技技术宝宝的字典里就没佑装不成能」剽仨字儿，，，，，，，那就撸起袖子加油干吧。。。。。。。。

正本所有都在严重有序的推动中，，，，，，，感触尽在把握，，，，，，，直到民生银行信誉卡测试团队进行集成测试。。。。。。。。

那是6月10日，，，，，，，民生测试团队发现有时妄想值未能正常调增。。。。。。。。

看到这个景象，，，，，，，我内心咯噔一下，，，，，，，做这行，，，，，，，各人都知路妄想值的正确性是整个项主张根基！若是在出产上出现该问题，，，，，，，很难在短功夫内解决，，，，，，，后果将极度严沉！

但距离项目正式上线只剩6天，，，，，，，我的心紧绷起来，，，，，，，内心只剩下一个想头，，，，，，，肯定要急剧找出原因，，，，，，，解决这个问题！

但这个BUG最大的问题不在于它有多难解决，，，，，，，而在于它是无意性的，，，，，，，会不会复现、什么时辰复现都不知路，，，，，，，底子无法正确定位。。。。。。。。

我们项目组立即开会，，，，，，，向测试团队相识测试场景，，，，，，，猜测可能的各类原因。。。。。。。。

918博天堂(中国区)官方网站

老韩说：会不会是网络问题，，，，，，，网络有抖动？？？？？
老刘说：是不是上游提供新闻有遗漏或者消费新闻有谬误？？？？？调整妄想值出现问题？？？？？
如此说：会不会是redis什么处所出现了问题？？？？？
还有人猜测kafka、mysql、hbase或……出现什么问题？？？？？

你一言我一语，，，，，，，经过一番最大化的发散会商后，，，，，，，我们达成一致，，，，，，，思考到BUG的不确定性，，，，，，，决定选取固然最耗时但却是最稳妥的排查规划，，，，，，，从最源头起头逐步分段进行排查，，，，，，，分析各类日志及监控源码。。。。。。。。因而便出现了开头的那一幕，，，，，，，各人都在严重地进行排查，，，，，，，严兵秣马，，，，，，，寻找BUG地点。。。。。。。。

功夫一分一秒从前，，，，，，，凌晨1点，，，，，，，项目组根基定位了问题起源，，，，，，，原来是由于统一账号有关的多条新闻放入kafka，，，，，，，在挪用调增接口后，，，，，，，第一条新闻获取redis锁后短功夫不开释，，，，，，，而其他新闻跳逾期待期直接返回，，，，，，，导致这些新闻迷失。。。。。。。。

定位了问题，，，，，，，各人内心都稍微松了一口气，，，，，，，但丝绝不敢懈怠，，，，，，，立即分头行动，，，，，，，如此用自己半吊子的英文加上翻译软件起头翻英文版的redis官方手册，，，，，，，老刘、老韩则分头查找redis锁机造、锁道理，，，，，，，锁节造实现代码，，，，，，，各人缜密共同。。。。。。。。

凌晨3点，，，，，，，如此终于从官方手册找到解决规划。。。。。。。。我们将源代码批改（将redis锁的期待功夫设置为10s，，，，，，，将锁的超不断间设置为20s）并自测实现后，，，，，，，立即提交行方专业测试团队，，，，，，，最终回归测试成功，，，，，，，BUG美满解决，，，，，，，直到这一刻，，，，，，，各人悬着的那颗心才真正落了下来。。。。。。。。

奋战一晚，，，，，，，我们却困意全无，，，，，，，心中充斥了苦战一场、大获全胜的爽性，，，，，，，脱离项目组已是凌晨4点多，，，，，，，新的一天即将到来。。。。。。。。

6月16日，，，，，，，终于迎来了该项目成功上线，，，，，，，不仅美满顶住了616活动峰值压力，，，，，，，也展示出了优越的机能，，，，，，，我们项目组获得了行方有关辅导的高度表彰，，，，，，，对我们来说，，，，，，，这不仅是对918博天娱乐官网科技项目服务能力的认可，，，，，，，更是对我们918博天娱乐官网人拼搏心灵的一种认可！

后续：

后来幼编再次问闵工，，，，，，，在这次事务中，，，，，，，让他印象最深的是什么。。。。。。。。他说：那注定是918博天娱乐官网组员群策群力，，，，，，，共同战胜难题的样子呀，，，，，，，那一刻各人没有一幼我有感情、有抱怨，，，，，，，健忘功夫、健忘困倦，，，，，，，只是单纯地奔着问题、解决问题，，，，，，，这也是各人最美的样子……

柴静在《看见》里面曾说：“每一个微笑的背后，，，，，，，都有一个咬紧牙关的魂灵。。。。。。。。”