聚云位智發揚工匠精神 開創決策型數據庫時代

近日，北京聚云位智信息科技有限公司全球首發了新版本數據庫產品Linkoop DB，該產品面向大數據和人工智能，采用自主研發技術突破了一系列限制，在兼容傳統數據庫功能的前提下，為人工智能應用提供了更簡便的支撐和更強大的計算。

聚云將這款數據庫產品命名為“決策型數據庫系統”，該數據庫系統具備如下特點：

1.自主研發。聚云未使用MYSQL或者PostgreSQL等現存數據庫內核，完全參照基礎數據庫理論和大量行業積累而設計實現，因而從根本上避免了“外國人設計、中國人實現”做法帶來的深層次存儲與計算能力的限制。

2. Linkoop DB采用MPP理念設計，可以做到無上限線性擴展。Linkoop DB是分析型數據庫系統的演進結果 ，屬于關系型數據庫。

3. Linkoop DB充分考慮了復雜的、迭代類AI計算與流計算的支持。并由此目標出發，重新設計實現了數據庫內核中的存儲引擎、計算引擎和優化策略。

數據庫技術的發展歷史大體分成兩條主線，事務型數據庫系統(Transactional Database)和分析型數據庫系統(Analytical Database)。 事務型數據庫系統是OLTP(on-line transaction processing)業務系統的核心支撐軟件，主要針對日常交易的增刪改查。事務型數據庫系統的主要供應商是Oracle和IBM。分析型數據庫系統是OLAP(On-Line Analytical Processing)業務系統的核心支撐軟件，主要針對數據統計、分析和決策支持，是企業數據倉庫(EDW，Enterprise Data Warehouse)的核心構成軟件。分析型數據庫系統的主要供應商是Teradata，Oracle和IBM，以及其他一些規模中小的數據庫系統。

然而，隨著業務需求在擴展性、實時性和決策性等方面的快速發展，以傳統分析型數據庫為核心的決策支持系統已經不能滿足當前和未來的發展需要。因此，一個滿足當下和未來數據處理需求的新型數據庫系統，就成為了解決問題的關鍵。即，如何緊緊圍繞海量數據處理、性能優化、實時處理和人工智能場景等方面的大數據核心需求的解決，是評判一家大數據公司是否在正確方向發展的合理準則。

聚云在今年4月份獲得Pre-A融資后，在既有技術基礎上補充了一大批核心技術人員，并繼續突破傳統數據庫技術，引領處理技術的迭代演進。

海量數據處理不僅需要解決數據存儲的問題，更重要的是解決數據訪問的問題，也就是說讓計算模塊能夠用最快的方式拿到數據輸入。因此數據的更新、插入、過濾和索引至少是和存儲擴展性一樣重要的能力。基于開源Hadoop體系演進而來的SQL-on-Hadoop系統很多碰到了這方面的技術瓶頸。解決的辦法是需要全新的、可擴展的存儲引擎，這是考驗相關公司技術能力的重要指標。

性能優化是試圖找到最理想任務執行策略的技術，不同的執行策略消耗的資源可能有巨大差別。優化器的設計與實現一直是數據庫領域的核心技術，在當前大數據時代也是如此。由大數據和人工智能帶來的巨大需求發展同時也對優化器的發展提出了更高要求。解決的思路是以準確的方式刻畫多種不同任務類型(批處理、流處理和機器學習等)的執行代價，從而選擇代價最優的方案執行任務。

實時數據處理是需求發展的必然要求，它主要解決兩個場景：一是避免數據采集端形成數據積壓;二是解決實時得到計算響應的業務需求。現實應用場景中實時和批量經常是相互關聯的，因此需要統一的操作方式來避免以多平臺的方式管理數據和計算邏輯。

人工智能是場景化的應用，當前主要難度在于問題的理解、尋找問題的合適刻畫方式以及試探性的調整算法以及參數的過程耗時耗力。多數人工智能公司依靠領域專家和數據專家配合的方式來解決問題，然而，領域專家和數據專家都是稀缺資源，也難于培養，從而導致人工智能成為了貴族應用，不好落地。解決的辦法是自動化，包括特征選擇、模型選擇、模型訓練、模型評估以及模型發布的局部自動化和整體自動化。如此才能降低AI的落地門檻，成為大面積可落地的生產力。

聚云決策型數據庫Linkoop DB采用自研存儲系統完成海量數據的線性擴展存儲，并同時保持高性能的數據存取。在性能優化方面，聚云擁有獨創的“增量式查詢優化技術”，保障海量數據計算的最佳性能。在算法模型方面，聚云自研了多因素關聯、多目標優化和多系統協同等場景化的人工智能模型，采用突破性技術使特征選擇和模型評估自動化，并采用SQL統一驅動的方式，讓業務決策與數據訪問無縫結合。聚云還深度改造了開源實時計算框架使之與SQL、規則、人工智能模型高度融合，從而在擴大解決問題領域的同時顯著提高了系統計算能力。截至目前，聚云Linkoop DB已經在金融、電信、制造、教育等領域得到了廣泛應用與驗證。