大數據時代的到來,企業為了適應時代發展,需要進行數字化轉型,但在實施過程中,面臨種種問題,例如企業在多云環境下,上百臺集群統一運維與管理的問題,如果這么多集群的管理和運維沒有一個很好的平臺支撐,估計人工運維1年最少要投入6-7個人,極大消耗的資源,增加企業的人員投入成本。為了減輕生產過程中,眾多PaaS組件的學習與運維問題,急需一套統一的組件管理平臺進行支撐;
目前,市面上多數的云組件大多存在如下現狀問題:
l 管理分散運維難:企業在使用多云環境時,組件管理分散,租戶權限無法統一開通、統一管理,導致運維效率低下,運維難度大。
l 云PaaS昂貴:客戶購買了云平臺的ECS主機,在使用云PaaS組件時又要單獨付費購買,收費按租用期限、規格計算,價格昂貴。
l 云PaaS組件節點限制:組件部署方案不夠多元化,很多限制要求,對多業務場景、海量數據支撐乏力。
l 組件類型偏少:云PaaS組件覆蓋范圍少,更新慢,遠遠不能滿足企業對新技術組件安裝管理的需求。
以上問題,導致現有云平臺的PaaS組件在政企客戶的推廣中屢屢受阻。
彈性計算平臺(簡稱ECMP)深度整合了大數據及容器技術,提供PaaS組件的自動化開通、部署、擴容、縮容,權限管理、監控、告警能力。支持組件包括:分布式檢索服務組件、消息中間件服務組件、數據庫服務組件、Web服務組件、大數據服務組件、容器服務組件共6大類28種組件。幫助企業解決 IT、架構及運維等問題,使企業更聚焦于業務,是新一代的私有云計算PaaS平臺。
極元彈性計算平臺是一款基于云計算與大數據技術的PaaS組件服務管理的產品。通過快速靈活的部署方式,可以分鐘級完成組件的部署、服務開通、權限管理,并提供完善的運維監控告警通知方式,減少運維人員在管理實施中的難度。該產品為支撐業務系統運行,提供所需要的中間件服務。特別在政府、運營商、企業集團、醫療、公檢司法、金融、交通、電力等包含大量業務系統的環境中,通過構建統一的PaaS技術平臺服務,可以實現一體化、全方位的管理。從而減少運維人員的學習實施成本,為企業快速的實現數字化轉型提供一臂之力。
ECMP可以同時適配公有云和私有云環境,提供PaaS組件管理能力,可以對組件部署,資源開通,權限管理,服務監控,進行一體化操作。與現在市面上的PaaS不同的是,公有云提供云PaaS層的解決方案多依賴云的硬件資源網絡設施等,有一定的局限性,例如:需要改動客戶機房底層操作系統和網絡設施,可能與云管平臺沖突等問題。實施難度大,風險系數搞。因此在這方面公有云無法實現無侵入式部署和管理。另外很多PaaS組件是基于純容器部署,但是有些服務容器支撐并不理想。
ECMP平臺是搭建在IaaS層上的軟件管理平臺即PaaS層管理軟件,提供和公有云一樣的功能。組件的部署和操作可以實現全流程的自動化。
ECMP的PaaS組件管理是自主研發的,高度定制化的組件服務,支持Kafka、Elasticsearch、Redis、MySQL、MongoDB、Tomcat、OpenLDAP、Hadoop等30多種組件服務,滿足多用戶的部署需求。
使用ECMP解決方案,能夠為您帶來以下價值:
Ø 多云管理:支持多云多集群的應用管理,支持多種部署方式,靈活應對復雜場景,有效降低管理成本。
Ø 自主運維:使用自動化手段,適配企業復雜的運維流程,減少運維時間,大幅提高運維效率。
Ø 降低成本:規范并統一多種應用可視化操作模式,實現標準化操作,降低應用運維復雜度,降低運維風險。
Ø 應用發布:一鍵創建Kubernetes集群,自動化部署、運維容器應用,整個生命周期都在容器服務內一站式完成。
目前,云產品多種多樣,常見的云平臺有阿里云、網易云、騰訊云、青云等,這些都是I-PaaS層產品,需要租用云主機,設備等。ECMP是PaaS層支撐平臺,滿足定制化的需求開發,更貼合私有企業使用,有自己獨特的優勢。
只需約0.5天部署ECMP服務,即可通過ECMP的PaaS平臺實現分鐘級部署各類PaaS組件,極大的縮短了組件服務的部署周期,大幅度的提升運維人員效率。
彈性計算平臺整體功能視圖如下:
ECMP提供用戶、租戶、團隊三級管理模式。
用戶是平臺的登錄帳號,提供登錄、資源申請、通知查看、系統管理等功能。
租戶是具備一定資源的實體,例如MySQL 帳號,Linux帳號,Hadoop 租戶。
團隊是用戶的一個分組模式,不同團隊的資源完全隔離。
用戶和租戶是多對多的關系,一個用戶可以綁定多個租戶即多個資源實體。
ECMP提供了PaaS組件的自動化部署、啟停、參數修改、監控、告警等功能。
組件的部署允許用戶根據自己的項目需求選擇版本,自主的填寫配置參數,進行自動化部署,所有的參數透明化,自己完全掌握部署的服務內容。
ECMP在參數修改上支持組件參數的版本管理,提供參數歷史版本的回退功能。
ECMP支持對部署組件的監控功能,我們提供通過撥測方式對服務的端口進行檢測,并可以通過配置監控規則,告警策略對異常的服務進行告警及郵件通知。
ECMP平臺可以對平臺部署的組件進行權限控制。權限控制可以授權到不同的租戶。
例如:MySQL組件支持用戶庫和表的INSERT,UPDATE,DELETE,SELECT權限控制。
平臺提供界面化的權限授權與回收的功能,管理員可以很方便的對授權對象進行管理,并提供權限開通和回收的消息通知。
資源自動化開通在很多同類產品中都不提供,需要手動進行命令行操作。增加運維難度和對運維人員的要求。
對于資源開通,ECMP提供了常用組件的自動化開通功能,Linux主機帳號、Hadoop租戶、Hive帳號、MySQL 帳號、OpenLDAP帳號、Kerberos帳號、Elasticsearch帳號、Kafka帳號、Harbor帳號,Kubernetes命名空間等。實現頁面的自動化開通,增加操作易用性。降低運維人員的操作難度。
ECMP提供對資源開通后的回收功能和資源開通消息通知功能,方便開發者及時獲取資源開通信息。
ECMP平臺具備主機和組件的監控能力。
主機方面:通過無侵入的技術,只需要在獲取目標主機SSH 登錄信息的情況下,就可以對監控主機進行監控指標采集,采集的指標包括:主機規格信息、CPU使用率、內存使用率、磁盤使用率、網絡帶寬、端口個數、PING延時等。支持以圖表方式顯示單位時間內的資源變化情況。
組件方面:采集組件的服務狀態,組件的指標項。
監控配置:支持對監控指標進行配置監控閥值,監控周期,監控告警接收人。
ECMP平臺提供了自主組件編排功能。通過可視化托拉拽的方式編排項目架構拓撲圖,支持界面展示項目的組件使用情況,組件個數,組件狀態等信息,支持導出部署組件拓撲圖功能。
ECMP提供了靈活和易于操作的組件管理。組件的安裝主機和配置參數完全交給使用者配置。
組件配置靈活性體現:
l 部署主機靈活選擇
組件服務的安裝需要選擇部署的主機,部署主機的IP地址,帳號由管理員任意配置。
l 部署參數靈活配置
組件服務的參數可以靈活調整,所有組件的參數都支持在線更新,支持參數的歷史版本回退。
開源組件的版本更新迭代快,平均1-3個月就會更新,云產品的PaaS組件很難做到及時更新,因此在滿足現場客戶的版本要求時無能為力。
ECMP平臺管理的組件服務為定制化開發,可以根據客戶的要求快速定制不同類型的版本,并可以提供多種部署方式,如單機,主從,集群等。
下面列出平臺目前提供支撐的組件清單:
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
MySQL |
關系型數據庫 |
Ø 單機 Ø 主從 Ø 主主 |
5.7.27 |
x |
√ |
5.7.35 |
√ |
x |
|||
8.0.20 |
√ |
x |
|||
Redis |
K-V數據庫 |
Ø 單機 Ø 集群 Ø 主從 |
5.0.3 |
√ |
√ |
MongoDB |
文檔型數據庫 |
Ø 單機 Ø 副本 Ø 副本+分片 |
4.0.21 |
√ |
x |
4.0.3 |
x |
√ |
|||
ClickHouse |
列式數據庫 |
Ø 單機 Ø 集群 |
21.6.3.14 |
√ |
x |
OpenLDAP |
目錄訪問協議 |
Ø 單機 Ø 主主 |
2.4.48 |
√ |
x |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Zookeeper |
應用協調服務器 |
Ø 集群 |
3.4.6 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Spark |
大數據計算引擎 |
Ø 單機 Ø 集群 |
2.2.0 |
√ |
√ |
Flink |
流處理框架 |
Ø 單機 Ø 集群 |
1.11.1 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Jenkins |
持續集成引擎 |
Ø 單機 |
2.251 |
√ |
√ |
Nginx |
WEB服務器 |
Ø 單機 |
1.16.1 |
√ |
√ |
1.21.1 |
√ |
√ |
|||
Tomcat |
應用服務器 |
Ø 單機 |
7.0.59 |
√ |
√ |
8.0.53 |
√ |
√ |
|||
9.0.52 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Kafka |
消息中間件 |
Ø 集群 |
2.11-0.10.1.1 |
√ |
√ |
2.11-2.2.0 |
√ |
√ |
|||
KafkaManager |
Kafka監控工具 |
Ø 單機 |
2.0.0.2 |
√ |
√ |
RabbitMQ |
消息中間件 |
Ø 單機 Ø 集群 |
3.6.10 |
√ |
√ |
RocketMQ |
消息中間件 |
Ø 單機 Ø 主從 |
4.2.0 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Elasticsearch |
分布式搜索引擎 |
Ø 不分角色 Ø 分角色 |
6.5.4 |
√ |
√ |
Logstash |
日志收集處理框架 |
Ø 單機 |
6.5.4 |
√ |
√ |
Kibana |
ES數據可視化工具 |
Ø 單機 |
6.5.4 |
√ |
√ |
Cerebro |
ES監控工具 |
Ø 單機 |
0.8.1 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Filebeat |
日志數據采集器 |
Ø 單機 |
6.5.4 |
√ |
√ |
Flume |
日志收集系統 |
Ø 單機 |
1.8.0 |
√ |
√ |
1.9.0 |
√ |
√ |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Hdfs |
分布式文件系統 |
Ø 單機 Ø 集群 |
3.2.1 |
√ |
x |
Hive |
基于Hadoop的數據倉庫 |
Ø 單機 Ø 集群 |
3.1.2 |
√ |
x |
HBase |
分布式列式存儲系統 |
Ø 單機 Ø 集群 |
2.2.6 |
√ |
x |
Sqoop |
數據遷移工具 |
Ø 單機 |
1.4.7 |
√ |
x |
名稱 |
名稱 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Docker |
容器引擎 |
Ø 單機 |
18.03.1 |
√ |
x |
Harbor |
私有容器鏡像倉庫 |
Ø 單機 |
1.5.3 |
√ |
x |
Kubernetes |
容器編排引擎 |
Ø 集群 |
1.12 |
√ |
x |
Etcd |
分布式服務協調器 |
Ø 集群 |
3.2.22 |
√ |
x |
Flannel |
開源CNI網絡插件 |
Ø 單機 |
0.10.0 |
√ |
x |
ECMP具備容器和大數據組件的PaaS組件功能,目前支持x86架構主機和國產ARM架構主機,用戶可以根據需要,采用靈活的部署方案。
以下是不同主機架構的部署環境參考。
軟件安裝操作系統 |
大于Centos7.2 |
連接ssh版本 |
大于OpenSSH_6.8p1 小于OpenSSH_8.4p1 |
資源規格 |
大于4核8G |
服務器類型 |
VMware虛擬化主機 |
內核版本 |
大于3.10.0-327.el7.x86_64 |
軟件安裝操作系統 |
Centos7.6 |
連接ssh版本 |
大于OpenSSH_6.8p1 小于OpenSSH_8.4p1 |
資源規格 |
大于4核8G |
服務器類型 |
云服務器ARM計算型AC2 |
內核版本 |
4.14.0-115.el7a.0.1.aarch64 |
主機操作系統 |
Win7/Win10/Win11/MacOS |
兼容瀏覽器 |
Edge/Chrome/Firefox,推薦Chrome |
顯示器尺寸 |
17/19/22/27/32 |
分辨率 |
大于1024*768,推薦1920*1080 |
ECMP產品,能夠支持基于主機部署和基于OVA鏡像部署兩種部署模式。
ECMP提供用于OVA模式進行部署所使用的OVA鏡像,只需導入OVA鏡像即可完成部署服務。
ECMP提供用于主機模式進行部署所使用的所有組件介質,只需要提供安裝的主機即可以最小化的模式部署ECMP服務。
平臺在組件服務創建和開通中使用大數據技術,由于涉及組件很多,我們對大數據的組件進行了相關的封裝,開發了HostUtil、HadoopUtil、SSHUtil、ElasticsearchUtil等20余個工具包,全面滿足大數據生態圈內組件的管理功能。
平臺支持主機級監控策略配置和組件級監控策略配置。
主機監控策略包括:資源監控(CPU、內存、磁盤、網絡、帶寬、PING等)、進程檢測策略、入侵檢測策略、文件防篡改、異常登錄檢測策略、防火墻策略等。其中,文件防篡改策略,通過特有的文件加密技術,可實現對監控文件設置密碼,無密碼不可修改。
組件監控策略包括:MySQL、Elasticsearch等開源組件的關鍵指標進行監控,如Elasticsearch組件的HEAP和索引數量,MySQL組件的連接數等。