當前位置:聚美館>智慧生活>心理>

hadoop功能介紹

心理 閱讀(1.99W)
hadoop功能介紹

Hadoop是大數據處理框架,工具

hdfs和mapReduce是Hadoop的兩個原始核心功能,前者是負責儲存的系統,類似把試卷放在幾個櫃子裏,後者負責並行計算,類似把100份試卷分給5個人批改。

Hadoop後來逐漸加了其他工具

hive提供數據彙總查詢功能,給了一個視窗處理數據,對數據進行加減乘除。

hbase是一個可擴展的、非關係型數據庫,不是傳統的excel表那種的數據格式

spark是比mapReduce更快的計算框架

Hadoop和mysql的關係是“Friends with benefits”

Hadoop的並行處理系統加上mysql的快速處理大量數據能力,就能得到一個能夠使用關係型數據並以巨大速度進行計算的數據庫。