1次訂單事故,扣了我3個月績效!

上一篇 / 下一篇  2021-03-25 13:35:43

  這個事故的表象是這樣的:系統出現了兩個一模一樣的訂單號,訂單的內容卻不是不一樣的,而且系統在按照訂單號查詢的時候一直拋錯,也沒法正;卣{,而且事情發生的不止一次,所以 這次系統升級一定要解決掉。
  經手的同事之前也改過幾次,不過效果始終不好:總會出現訂單號重復的問題, 所以趁著這次問題我好好的理了一下我同事寫的代碼。
  這里簡要展示下當時的代碼:
  /** 
       * OD單號生成 
       * 訂單號生成規則:OD + yyMMddHHmmssSSS + 5位數(商戶ID3位+隨機數2位) 22位 
       */ 
      public static String getYYMMDDHHNumber(String merchId){ 
          StringBuffer orderNo = new StringBuffer(new SimpleDateFormat("yyMMddHHmmssSSS").format(new Date())); 
          if(StringUtils.isNotBlank(merchId)){ 
              if(merchId.length()>3){ 
                  orderNo.append(merchId.substring(0,3)); 
              }else { 
                  orderNo.append(merchId); 
              } 
          } 
          int orderLength = orderNo.toString().length(); 
          String randomNum = getRandomByLength(20-orderLength); 
          orderNo.append(randomNum); 
          return orderNo.toString(); 
      } 
   
   
      /** 生成指定位數的隨機數 **/ 
      public static String getRandomByLength(int size){ 
          if(size>8 || size<1){ 
              return ""; 
          } 
          Random ne = new Random(); 
          StringBuffer endNumStr = new StringBuffer("1"); 
          StringBuffer staNumStr = new StringBuffer("9"); 
          for(int i=1;i<size;i++){ 
              endNumStr.append("0"); 
              staNumStr.append("0"); 
          } 
          int randomNum = ne.nextInt(Integer.valueOf(staNumStr.toString()))+Integer.valueOf(endNumStr.toString()); 
          return String.valueOf(randomNum); 
      } 
  可以看到,這段代碼寫的其實不怎么好,代碼部分暫且不議,代碼中使訂單號不重復的主要因素點是隨機數和毫秒,可是這里的隨機數只有兩位。
  在高并發環境下極容易出現重復問題,同時毫秒這一選擇也不是很好,在多核 CPU 多線程下,一定時間內(極小的)這個毫秒可以說是固定不變的(測試驗證過)。
  所以這里我先以 100 個并發測試下這個訂單號生成,關注微信訂閱號碼匠筆記,回復架構獲取一些列的架構知識。
  測試代碼如下:
  public static void main(String[] args) { 
          final String merchId = "12334"; 
          List<String> orderNos = Collections.synchronizedList(new ArrayList<String>()); 
          IntStream.range(0,100).parallel().forEach(i->{ 
              orderNos.add(getYYMMDDHHNumber(merchId)); 
          }); 
   
          List<String> filterOrderNos = orderNos.stream().distinct().collect(Collectors.toList()); 
   
          System.out.println("生成訂單數:"+orderNos.size()); 
          System.out.println("過濾重復后訂單數:"+filterOrderNos.size()); 
          System.out.println("重復訂單數:"+(orderNos.size()-filterOrderNos.size())); 
      } 
  果然,測試的結果如下:
  生成訂單數:100 
  過濾重復后訂單數:87 
  重復訂單數:13 
  生成訂單數:100過濾重復后訂單數:87重復訂單數:13
  當時我就震驚了,一百個并發里面竟然有 13 個重復的!!!我趕緊讓同事先不要發版,這活兒我接了!
  對這一燙手的山竽拿到手里沒有一個清晰的解決方案可是不行的,我大概花了 6 分多鐘和同事商量了下業務場景。
  最后決**如下更改:
  · 去掉商戶 ID 的傳入(按同事的說法,傳入商戶 ID 也是為了防止重復訂單的,事實證明并沒有叼用)
  · 毫秒僅保留三位(縮減長度同時保證應用切換不存在重復的可能)
  · 使用線程安全的計數器做數字遞增(三位數最低保證并發 800 不重復,代碼中我給了 4 位)
  · 更換日期轉換為 java8 的日期類以格式化(線程安全及代碼簡潔性考量)
  經過以上思考后我的最終代碼是:
  /** 訂單號生成(NEW) **/ 
     private static final AtomicInteger SEQ = new AtomicInteger(1000); 
     private static final DateTimeFormatter DF_FMT_PREFIX = DateTimeFormatter.ofPattern("yyMMddHHmmssSS"); 
     private static ZoneId ZONE_ID = ZoneId.of("Asia/Shanghai"); 
     public static String generateOrderNo(){ 
         LocalDateTime dataTime = LocalDateTime.now(ZONE_ID); 
         if(SEQ.intValue()>9990){ 
             SEQ.getAndSet(1000); 
         } 
         return  dataTime.format(DF_FMT_PREFIX)+SEQ.getAndIncrement(); 
     } 
  當然代碼寫完成了可不能這么隨隨便便結束了,現在得走一個測試 main 函數看看:
  public static void main(String[] args) { 
   
      List<String> orderNos = Collections.synchronizedList(new ArrayList<String>()); 
      IntStream.range(0,8000).parallel().forEach(i->{ 
          orderNos.add(generateOrderNo()); 
      }); 
   
      List<String> filterOrderNos = orderNos.stream().distinct().collect(Collectors.toList()); 
   
      System.out.println("生成訂單數:"+orderNos.size()); 
      System.out.println("過濾重復后訂單數:"+filterOrderNos.size()); 
      System.out.println("重復訂單數:"+(orderNos.size()-filterOrderNos.size())); 
  } 
   
  /** 
      測試結果:  
      生成訂單數:8000 
      過濾重復后訂單數:8000 
      重復訂單數:0 
  **/ 
  真好,一次就成功了,可以直接上線了。。。
  然而,我回過頭來看以上代碼,雖然最大程度解決了并發單號重復的問題,不過對于我們的系統架構還是有一個潛在的隱患。
  如果當前應用有多個實例(集群)難道就沒有重復的可能了?鑒于此問題就必然需要一個有效的解決方案,所以這時我就思考:多個實例應用訂單號如何區分開呢?
  以下為我思考的大致方向:
  · 使用 UUID(在第一次生成訂單號時初始化一個)
  · 使用 Redis 記錄一個增長 ID
  · 使用數據庫表維護一個增長 ID
  · 應用所在的網絡 IP
  · 應用所在的端口號
  · 使用第三方算法(雪花算法等等)
  · 使用進程 ID(某種程度下是一個可行的方案)
  在此我想了下,我們的應用是跑在 Docker 里面,而且每個 Docker 容器內的應用端口都一樣,不過網路 IP 不會存在重復的問題,至于進程也有存在重復的可能,對于 UUID 的方式之前吃過虧。
  總之吧,Redis 或 DB 也算是一種比較好的方式,不過獨立性較差。。。
  同時還有一個因素也很重要,就是所有涉及到訂單號生成的應用都是在同一臺宿主機(Linux 實體服務器)上, 所以就目前的系統架構我選用了 IP 的方式。
  以下是我的代碼:
  import org.apache.commons.lang3.RandomUtils; 
   
  import java.net.InetAddress; 
  import java.time.LocalDateTime; 
  import java.time.ZoneId; 
  import java.time.format.DateTimeFormatter; 
  import java.util.ArrayList; 
  import java.util.Collections; 
  import java.util.List; 
  import java.util.concurrent.atomic.AtomicInteger; 
  import java.util.stream.Collectors; 
  import java.util.stream.IntStream; 
   
  public class OrderGen2Test { 
   
      /** 訂單號生成 **/ 
      private static ZoneId ZONE_ID = ZoneId.of("Asia/Shanghai"); 
      private static final AtomicInteger SEQ = new AtomicInteger(1000); 
      private static final DateTimeFormatter DF_FMT_PREFIX = DateTimeFormatter.ofPattern("yyMMddHHmmssSS"); 
      public static String generateOrderNo(){ 
          LocalDateTime dataTime = LocalDateTime.now(ZONE_ID); 
          if(SEQ.intValue()>9990){ 
              SEQ.getAndSet(1000); 
          } 
          return  dataTime.format(DF_FMT_PREFIX)+ getLocalIpSuffix()+SEQ.getAndIncrement(); 
      } 
   
      private volatile static String IP_SUFFIX = null; 
      private static String getLocalIpSuffix (){ 
          if(null != IP_SUFFIX){ 
              return IP_SUFFIX; 
          } 
          try { 
              synchronized (OrderGen2Test.class){ 
                  if(null != IP_SUFFIX){ 
                      return IP_SUFFIX; 
                  } 
                  InetAddress addr = InetAddress.getLocalHost(); 
                  //  172.17.0.4  172.17.0.199 , 
                  String hostAddress = addr.getHostAddress(); 
                  if (null != hostAddress && hostAddress.length() > 4) { 
                      String ipSuffix = hostAddress.trim().split("\\.")[3]; 
                      if (ipSuffix.length() == 2) { 
                          IP_SUFFIX = ipSuffix; 
                          return IP_SUFFIX; 
                      } 
                      ipSuffix = "0" + ipSuffix; 
                      IP_SUFFIX = ipSuffix.substring(ipSuffix.length() - 2); 
                      return IP_SUFFIX; 
                  } 
                  IP_SUFFIX = RandomUtils.nextInt(10, 20) + ""; 
                  return IP_SUFFIX; 
              } 
          }catch (Exception e){ 
              System.out.println("獲取IP失敗:"+e.getMessage()); 
              IP_SUFFIX =  RandomUtils.nextInt(10,20)+""; 
              return IP_SUFFIX; 
          } 
      } 
   
   
      public static void main(String[] args) { 
          List<String> orderNos = Collections.synchronizedList(new ArrayList<String>()); 
          IntStream.range(0,8000).parallel().forEach(i->{ 
              orderNos.add(generateOrderNo()); 
          }); 
   
          List<String> filterOrderNos = orderNos.stream().distinct().collect(Collectors.toList()); 
   
          System.out.println("訂單樣例:"+ orderNos.get(22)); 
          System.out.println("生成訂單數:"+orderNos.size()); 
          System.out.println("過濾重復后訂單數:"+filterOrderNos.size()); 
          System.out.println("重復訂單數:"+(orderNos.size()-filterOrderNos.size())); 
      } 
  } 
   
  /** 
    訂單樣例:20082115575546011022 
    生成訂單數:8000 
    過濾重復后訂單數:8000 
    重復訂單數:0 
  **/ 
  最后,代碼說明及幾點建議:
  · generateOrderNo() 方法內不需要加鎖,因為 AtomicInteger 內使用的是 CAS 自旋轉鎖(保證可見性的同時也保證原子性,具體的請自行了解)
  · getLocalIpSuffix() 方法內不需要對不為 null 的邏輯加同步鎖(雙向校驗鎖,整體是一種安全的單例模式)
   ·本人實現的方式并不是解決問題的唯一方式,具體解決問題需要視當前系統架構具體而論
  · 任何測試都是必要的,我同事在前幾次嘗試解決這個問題后都沒有自測,不測試有損開發專業性!

TAG: 軟件開發

 

評分:0

我來說兩句

顯示全部

:loveliness: :handshake :victory: :funk: :time: :kiss: :call: :hug: :lol :'( :Q :L ;P :$ :P :o :@ :D :( :)

日歷

« 2021-05-15  
      1
2345678
9101112131415
16171819202122
23242526272829
3031     

數據統計

  • 訪問量: 21952
  • 日志數: 159
  • 建立時間: 2020-08-11
  • 更新時間: 2021-05-14

RSS訂閱

Open Toolbar
农村里的风流韵事