大數據是什么意思

關注：63 發布時間：2022-02-01 07:49:01

剛開始學接觸編程的時候接觸到c，然后是c，然后是java。我第一次接觸java的時候，就愛上了它，因為它簡單易懂。之后接觸了javaweb，開始學習一些后端開發技術。那時候大數據也熱，而且因為我是數學出身，大數據對我來說是個不錯的選擇。

慢慢的，我開始涉足大數據，從javase開始，然后學習linux系統，其中linux包含了centos和ubuntu，兩者個人都比較好用。然后學習hadoop，它包括兩個塊：hdfs(分布式文件系統)和mapreduce(并行計算框架)。雖然現在用的比較少，但是學習它對你以后學習更好的并行計算框架會有很多好處。然后就可以學習數據倉庫hive了。hive的底層實現是mapreduce。它使用的sql語言叫做hql。如果你之前學過mysql數據庫的話，很容易上手。但是想要更好的了解hive，就需要學習mapreduce。hive用于olap，不支持交易。然后學習面向列族的hbase分布式數據庫，支持事務操作，但是在實踐中感覺不是很好。它是一個基于hadoop的數據庫，適合隨機訪問和實時讀寫。但是，在擁有了大量的數據之后，如何更好的將不同來源的數據導入到想要使用的數據庫中，可以使用sqoop。個人覺得簡單方便。

接下來，您可以學習flume，這是一個分布式日志收集框架，可以處理多種類型的文件。然后學習卡夫卡，這是一個消息發布和訂閱的實時處理系統。具有高通量的能力。然后你可以學習strom，一個實時流媒體計算框架。它可以高速抓取數據，并對各種數據進行并行計算。然后可以學習spark，spark由sparksql、spark streaming、mllib、graph等組成。它可以解決三個核心問題，如批處理、流處理和ad-hocquery。spark確實比mapreduce快很多，畢竟是基于內存計算的框架。

接下來可以學習數據分析、數據挖掘、機器學習等相關知識。

現在我要開始讀什么是大數據了。

大數據顧名思義就是海量數據，到什么程度？不是幾兆，不是幾千兆，而是幾百千兆，幾tb，幾千兆，傳統數據庫承受不了的。現在一般用hadoop技術，hive技術，spark技術等等進行處理。

那么大數據有什么特點呢？有四點

1.數據量非常大，比如文字，來源各種各樣，比如電子書，實體書，雜志，報紙等。他們的數據很大。

2.數據的類型有很多種，有些是結構化數據，比如傳統數據庫中的數據，比如oracle、mysql等，一般都是結構化的，也有非結構化的，比如html、word、execl等格式。

3.它們的價值密度低。這么說吧。比如你看一段數據，看起來它的價值并不大，但是分析完所有的數據之后呢？總會有重要的東西被挖掘出來。

大數據的特征

4.處理這些數據的速度應該很快。比如像hadoop技術這樣的mapreduce計算框架，比傳統的數據庫處理速度快，吞吐量特別大。例如，spark的內存比hadoop快100倍，磁盤快10倍。

大數據處理和傳統數據處理有什么區別？

就是用所有的數據去分析，去得出結論，去思考，去了解它的好處。

大數據的應用？