基于HDFS+Spark的時空大數(shù)據(jù)存儲與處理--以智慧無錫時空大數(shù)據(jù)為例
關(guān)鍵詞：時空大數(shù)據(jù) 集群計算 存儲處理 數(shù)據(jù)挖掘
摘要：海量時空數(shù)據(jù)的高效存儲、讀寫、處理與分析是當(dāng)前地理信息科學(xué)領(lǐng)域的研究熱點。本文對目前主流大數(shù)據(jù)技術(shù)產(chǎn)品進(jìn)行了選取和融合,開展了基于HDFS+Spark的時空大數(shù)據(jù)存儲、處理分析等方面的研究和探討,以智慧無錫時空信息云平臺為應(yīng)用對象,搭建了一套時空大數(shù)據(jù)存儲處理的集群平臺,并通過具體應(yīng)用實驗,得到了時空數(shù)據(jù)存儲、處理、挖掘的響應(yīng)時間及可視化展示結(jié)果,證實了HDFS+Spark集群計算平臺在解決時空大數(shù)據(jù)存儲、處理、挖掘方面的有效性。
軟件雜志要求:
{1}來稿若有基金項目或其他資金資助項目，請詳細(xì)列出基金或其他資金項目類型、名稱及編號，每篇來稿的基金項目或其他資金資助項目原則上不超過3個。
{2}編輯部收到稿件后立即編號，并給回執(zhí)，日后聯(lián)系時請注明編號。在接到本刊回執(zhí)3個月未接到稿件處理通知書，系該稿仍在審閱中。
{3}參考文獻(xiàn)盡可能使用近5年公開發(fā)表的文獻(xiàn)，數(shù)量在10—30條，采用順序編碼制著錄，依照其在文中出現(xiàn)的先后順序用阿拉伯?dāng)?shù)字標(biāo)出，并將序號置于方括號中，排列于文后。
{4}每篇文稿均應(yīng)標(biāo)引3～8個中文及英文關(guān)鍵詞。
{5}來稿需注明作者的真實姓名、單位、地址、郵編、職務(wù)、專業(yè)等信息，寫明電子郵箱及電話以便聯(lián)系。凡學(xué)生來稿請務(wù)必注明學(xué)校、專業(yè)和年級。
注：因版權(quán)方要求，不能公開全文，如需全文，請咨詢雜志社
