Spark 是繼 Hadoop 之后新一代的大數(shù)據(jù)分布式處理平臺(tái)。它是一個(gè)基于內(nèi)存、容錯(cuò)型的分布式計(jì)算引擎，與 Hadoop MapReduce 相比，計(jì)算速度要快100倍。 Spark 卓越的用戶體驗(yàn)以及統(tǒng)一的技術(shù)堆?；旧辖鉀Q了大數(shù)據(jù)領(lǐng)域所有的核心問題，使得 Spark 迅速成為當(dāng)前最為熱門的大數(shù)據(jù)基礎(chǔ)平臺(tái)。 除此之外，青云 QingCloud 提供的 Spark 還包括在線伸縮、監(jiān)控和告警等功能，幫助您更好地管理集群。更多詳情請(qǐng)參看“ Spark 服務(wù)指南”。

集成 HDFS

青云 QingCloud 既提供純計(jì)算引擎的 Spark 集群，也提供和 Hadoop HDFS 集成的 Spark 集群。在創(chuàng)建 Spark 時(shí)可以選擇是否集成 Hadoop HDFS。

在線伸縮

青云的 Spark 集群支持橫向與縱向的在線伸縮， 而且橫向伸縮時(shí)，用戶的業(yè)務(wù)連續(xù)性不會(huì)中斷。

實(shí)時(shí)監(jiān)控

青云提供了 Spark 節(jié)點(diǎn)的主機(jī)的監(jiān)控信息，服務(wù)、應(yīng)用級(jí)別的監(jiān)控由 Spark、Hadoop 提供。 對(duì)主機(jī)的監(jiān)控包括如下監(jiān)控項(xiàng)：

• CPU
• 內(nèi)存
• 硬盤使用率
• 硬盤 IOPS
• 硬盤吞吐量

監(jiān)控告警

Spark 的監(jiān)控告警策略會(huì)監(jiān)控 Spark 節(jié)點(diǎn)，包括如下監(jiān)控項(xiàng)：

• CPU：CPU 使用百分比
• 內(nèi)存：內(nèi)存使用百分比
• 硬盤：硬盤使用百分比

測(cè)試

Spark 創(chuàng)建完成之后可以測(cè)試其可用性。具體測(cè)試方法請(qǐng)參看“文檔”。