开心一刻 今天好哥们找我借钱 哥们:兄弟,我最近手头紧,能不能借我点... 我:我手头也不宽裕,要不你试试银行贷款或者花呗? 哥们:不行,那个借了要还的 我:... 问题回顾 某天下午,生产监控告警:消息积压,队列 xxx 消息数超过 100;我第一时间想到的是应用服务是不是停了,但应用服务存活监控又没有告警,但我还是找值班运维同事帮忙确认了下,确认结果是服务的 6 个节点都是存活的,然后我又让运维确认了下队列的消费者情况,结果发现消费者列表中只有 2 个节点的消费者,其他 4 个节点的消费者不见了,所以消息消费不过来,导致了消息积压! 所以问题来了 那 4 个节点的注册的消费者为何消失? 但当务之急是解决消息积压的问题,所以让运维重启那 4 个节点的服务,消费者重新注册上,消息得以快速消费,消息积压告警得以恢复 生产问题虽暂时得以解决,但未找到根因,还是存在复发风险;下面就请大家跟随我的脚本,来看看我是如何排查的 问题排查 直接查 ERROR 级别的日志,很容易就能就找到了关键日志 Consumer thread error, thread abort.