數據挖掘基于數據庫理論，機器學習，人工智能，現代統(tǒng)計學的迅速發(fā)展的交叉學科，在很多領域中都有應用。涉及到很多的算法，源于機器學習的神經網絡，決策樹，也有基于統(tǒng)計學習理論的支持向量機，分類回歸樹，和關聯分析的諸多算法。數據挖掘的定義是從海量數據中找到有意義的模式或知識。

大數據是最近幾年提出來，也是媒體忽悠的一個概念。有三個重要的特征：數據量大，結構復雜，數據更新速度很快。由于Web技術的發(fā)展，web用戶產生的數據自動保存、傳感器也在不斷收集數據，以及移動互聯網的發(fā)展，數據自動收集、存儲的速度在加快，全世界的數據量在不斷膨脹，數據的存儲和計算超出了單個計算機(小型機和大型機)的能力，這給數據挖掘技術的實施提出了挑戰(zhàn)(一般而言，數據挖掘的實施基于一臺小型機或大型機，也可以進行并行計算)。Google提出了分布式存儲文件系統(tǒng)，發(fā)展出后來的云存儲和云計算的概念。

1.從結構化數據到非結構化數據。傳統(tǒng)的數據挖掘都是依據數據庫里面的數據進行分析，在大數據時代，數據來源多種多樣，對于這些非結構化數據的加工是大數據數據挖掘的重要特征。因為非結構化數據處理的成功與否決定了大數據數據源的質量好壞，而這并不是算法可以解決的。

2.從抽樣數據到全量數據。傳統(tǒng)數據挖掘受制于數據處理能力，只能使用少量的抽樣數據進行分析。在大數據技術環(huán)境下，完全可以實現全量數據的分析，效率甚至可能高于抽樣數據的分析。

3.從因果關系到相關性分析。大數據分析通過事件和多種因素進行相關性分析，通過數據挖掘和機器學習的算法找到其關聯關系，并運用回歸分析從而實現預測。

數據挖掘的任務按照目標可以分為4類：

1) 分類：通過分析訓練集的數據，為每一個分類建立分類分析模型，用這個已知的規(guī)律對其他數據進行分類

2) 回歸：建立因變量和自變量之間關系的模型

3) 聚類：將對象集合分成由類似的對象組成的多個類的過程

4) 關聯規(guī)則：尋找給定數據集合中各個因子之間的關聯關系

人們經常見到的“邏輯回歸模型”、“神經網絡模型”、“遺傳算法”、“決策樹”等等都是監(jiān)督學習過程的挖掘算法。這類算法在機器學習和深度學習里面大量使用，是大數據公司必備的專業(yè)技能。極光大數據作為國內領先的移動大數據服務商，在這方面的實際案例頗多，例如極光大數據團隊利用神經網絡算法預測個人前往某一個特定區(qū)域的概率和時間，準確度可以達到80%以上;他們還利用神經網絡算法和隨機森林算法對個人喜歡的移動應用進行推薦下載和推薦產品;此外，極光大數據團隊還自主開發(fā)了空間軌跡相似度STS(spatial trajectory similarity)算法進行同軌分析等。

數據挖掘技術隨著大數據時代的到來已變幻出更強的功能特征，而在大數據服務商的精耕細作下，也必將為各行業(yè)帶來進步的動力。