6 个接口同步,丢 37 条订单后加了队列
10 月 30 日下午,一套 6 个接口的订单同步服务改完上线。改之前的那一晚,38 家门店的订单里有 37 条没有进 ERP,第二天仓库按缺数据的单据发货,漏发了 12 单。
出问题的是状态回写接口。10 月 26 日晚上 11 点 40 分到 27 日 0 点 20 分,平台侧接口连续返回 502,同步程序重试了 2 次就放弃,日志里只记了一行“同步失败”,没人看到。27 日早上 8 点盘点,37 条订单在 ERP 里查不到,其中 12 条已经过了发货时限。
改造做了三件事。第一是把重试从 2 次加到 3 次,间隔 5 分钟、15 分钟、30 分钟;第二是失败进队列,队列里的记录每天早上 9 点汇总成一条微信推送,写清失败条数、接口名与首条错误码;第三是加每日对账报表,比对平台与 ERP 的订单条数和金额合计,差异超过 0.5% 就标红。
10 月 30 日上线后跑了 5 天,失败队列共进 11 条,其中 9 条是客户取消订单导致的 409 冲突,属于预期内;2 条是地址编码查不到,人工补录后重跑成功。对账报表在 11 月 3 日亮过一次红,差异 1.2%,查下来是 ERP 侧一张退货单没有回写,当天下午补上。
这套系统现在每分钟跑一次增量,实测订单从下单到进 ERP 的延迟在 1 至 3 分钟。技术负责人提到一个代价:重试次数加多以后,偶发的重复下单需要靠幂等键拦住,所以每条记录都带了平台订单号做唯一键,重复写入会被数据库直接拒掉,5 天里拦了 3 次。
这一篇里被问到的两个问题
对账报表能自动补数吗?
不会自动补。差异需要人工确认原因再决定补传或冲销,自动补容易把错账盖过去,反而查不清。
对方接口没有幂等键怎么办?
我方生成唯一键并在目标表建唯一索引,重复写入直接失败并入队列,避免重复下单。