資料分析常用方法
資料分析常用方法 篇1
一、資料分析很普及
以往的資料分析在今天的各型別企業中，資料分析非常的普及，並且得到認可，資料分析的核心任務往往是支撐運營和營銷，將企業內部的資料，客戶的資料進行分析和總結，形成以往工作情況的量化表現，以及客戶的行為趨勢或特徵等。
如果從更宏觀的角度來認識資料要達到的目標就是希望透過資料來發現潛在的規律，進而幫助預測未來，這一點同資料探勘的目標一致。今天我們還是在反覆提到資料探勘這個概念，我們就需要來看看資料分析都有哪些是沒有做到的內容。
1) 資料分散
多數資料分析崗位在公司中的崗位設定是隸屬在單一業務部門中作為一個支撐崗，只有少數的公司是將資料分析作為一個獨立的部門。其差異性在於，前者的資料分析所能分析的內容僅限於自身部門所輸出的指標，比如投訴部門只看投訴處理過程中的資料，銷售部門只看銷售過程中的資料，一旦涉及到需要將各類指標彙總分析的情況，這種組織架構就會帶來極大的負面影響，由於不同部門具備自己部門指標匯出的許可權，且與其他部門的配合並不影響績效任務，所以這種跨部門採集資料的過程往往效率奇低。而資料分析最關鍵的就在於彙集更多的資料和更多的維度來發現規律，所以以往的資料分析多是做最基礎的對比分析以及帕累託分析，少有使用演算法來對資料進行挖掘的動作，因為越少的指標以及越少的維度將會使得演算法發揮的效果越差。
2) 指標維度少
在以往的企業中，數字化管理更多的體現在日常運維工作中，對於客戶端的資料採集雖然從很早以前就已經開展，CRM系統的誕生已經有很久的時間了，但是一直以來客戶端的資料維度卻十分缺失，其原因在於上述這些途徑所獲得的資料多為客戶與企業產生互動之後到互動結束之間的資料，但是這段時間只是這個客戶日常生活中很少的一部分內容，客戶在微博，微信上的行為特點，關注的領域或是品牌，自身的性格特點等，可以說一個客戶真正的特點、習慣，僅透過與企業的互動是無從知曉的，因此難以挖掘出有效的結論。
3) 少使用演算法
在上述制約條件下，可想而知資料分析人員對於演算法的使用必然是較少的，因為資料分析依賴於大量的指標、維度以及資料量，沒有這三個條件是難以發揮演算法的價值的，而在排除掉演算法後，資料分析人員更多的只能是針對有限的資料做最為簡單的分析方法，得出淺顯易懂的分析結論，為企業帶來的價值則可以想象。
4) 資料分析系統較弱
目前的資料分析多采用excel，部分資料分析人員能夠使用到R或SPSS等軟體，但當資料量達到TB或PB單位級別時，這些軟體在運算時將會消耗大量時間，同時原始的資料庫系統在匯出資料時所花費的時間也是相當長的，因此對大資料量的分析工作，常規的系統支撐難以到達要求。（目前市面上較好的有紐帶線CRM系統的資料分析工具）
二、技術革命與資料探勘
得益於網際網路對於人們生活的影響逐漸增大，我們發現數據正在瘋狂的增長。今天一個人一天的時間中有將近一半是在網際網路中度過的，一方面這些使用網際網路的互動都是能夠被捕捉記錄的，一方面由於碎片化時間的使用，客戶與企業互動的機會也變的越來越頻繁，進一步保障了客戶資料的豐富。同時在大資料技術的支撐下，今天的系統能夠允許對這些大規模的資料量進行高效的分析。
因此資料分析人員也能夠開始使用一些較為抽象的演算法來對資料做更為豐富的分析。所以資料分析正式進入到了資料分析2.0的`時代，也就是資料探勘的時代了。
三、資料處理流程
資料分析也即是資料處理的過程，這個過程是由三個關鍵環節所組成：資料採集，資料分析方法選取，資料分析主題選擇。這三個關鍵環節呈現金字塔形，其中資料採集是最底層，而資料分析主題選擇是最上層。
四、資料採集
資料採集即是如何將資料記錄下來的環節。在這個環節中需要著重說明的是兩個原則，即全量而非抽樣，以及多維而非單維。今天的技術革命和資料分析2.0主要就是體現在這個兩個層面上。
1. 全量而非抽樣
由於系統分析速度以及資料匯出速度的制約，在非大資料系統支撐的公司中，做資料分析的人員也是很少能夠做到完全全量的對資料進行收集和分析。在未來這將不再成為問題。
2. 多維而非單維
另一方面則在於資料的維度上，這在前邊同樣提及。總之針對客戶行為實現5W1H的全面細化，將互動過程的什麼時間、什麼地點、什麼人、因為什麼原因、做了什麼事情全面記錄下來，並將每一個板塊進行細化，時間可以從起始時間、結束時間、中斷時間、週期間隔時間等細分；地點可以從地市、小區、氣候等地理特徵、渠道等細分；人可以從多渠道註冊賬號、家庭成員、薪資、個人成長階段等細分；原因可以從愛好、人生大事、需求層級等細分；事情可以從主題、步驟、質量、效率等細分。透過這些細分維度，增加分析的多樣性，從而挖掘規律。
五、資料分析方法選取
資料分析方法是透過什麼方法去組合資料從而展現規律的環節。從根本目的上來說，資料分析的任務在於抽象資料形成有業務意義的結論。因為單純的資料是毫無意義的，直接看資料是沒有辦法發現其中的規律的，只有透過使用分析方法將資料抽象處理後，人們才能看出隱藏在資料背後的規律。
資料分析方法選取是整個資料處理過程的核心，一般從分析的方法複雜度上來講，我將其分為三個層級，即常規分析方法，統計學分析方法跟自建模型。我之所以這樣區分有兩個層面上的考慮，分別是抽象程度以及定製程度。
其中抽象程度是說，有些資料不需要加工，直接轉成圖形的方式呈現出來，就能夠表現出業務人員所需要的業務意義，但有些業務需求，直接把資料轉化成圖形是難以看出來的，需要建立資料模型，將多個指標或一個指標的多個維度進行重組，最終產生出新的資料來，那麼形成的這個抽象的結果就是業務人員所需要的業務結論了。基於這個原則，可以劃分出常規分析方法和非常規分析方法。
那麼另一個層面是定製程度，到今天數學的發展已經有很長的時間了，其中一些經典的分析方法已經沉澱，他們可以通用在多用分析目的中，適用於多種業務結論中，這些分析方法就屬於通用分析方法，但有些業務需求確實少見，它所需要的分析方法就不可能完全基於通用方法，因此就會形成獨立的分析方法，也就是專門的數學建模，這種情況下所形成的數學模型都是專門為這個業務主題定製的，因此無法適用於多個主題，這類分析方法就屬於高度定製的，因此基於這一原則，將非常規分析方法細分為統計學分析方法和自建模型類。
1) 常規分析方法
常規分析方法不對資料做抽象的處理，主要是直接呈現原始資料，多用於針對固定的指標、且週期性的分析主題。直接透過原始資料來呈現業務意義，主要是透過趨勢分析和佔比分析來呈現，其分析方法對應同環比及帕累託分析這兩類。同環比分析，其核心目的在於呈現本期與往期之間的差異，如銷售量增長趨勢；而帕累託分析則是呈現單一維度中的各個要素佔比的排名，比如各個地市中本期的銷售量增長趨勢的排名，以及前百分之八十的增長量都由哪幾個地市貢獻這樣的結論。常規分析方法已經成為最為基礎的分析方法，在此也不詳細介紹了。
2) 統計學分析方法
統計學分析方法能夠基於以往資料的規律來推導未來的趨勢，其中可以分為多種規律總結的方式。根據原理多分為以下幾大類，包括有目標結論的有指導學習演算法，和沒有目標結論的無指導學習演算法，以及迴歸分析。
其中有指導的學習演算法簡單說就是有歷史資料裡邊已經給出一個目標結論，然後分析當各個變數達到什麼情況時，就會產生目標結論。比如我們想判斷各項指標需要達到什麼水平時我們才認定這個人患有心臟病的話，就可以把大量的心臟病人的各項指標資料和沒有心臟病的正常人的各項指標資料都輸入到系統中，目標結論就是是否有心臟病，變數就是各項指標資料，系統根據這些資料算出一個函式，這個函式能夠恰當的描述各個指標的資料與最終這個是否是心臟病人之間的關係，也就是當各個指標達到什麼臨界值時，這個人就有心臟病的判斷，這樣以後再來病人，我們就可以根據各項指標的臨界值。這個案例中的函式就是演算法本身了， 這其中的演算法邏輯有很多種，包括常見的貝葉斯分類、決策樹、隨機森林樹以及支援向量機等，有興趣的朋友可以在網上看看各種演算法的邏輯是怎麼樣的。
另外無指導的學習演算法因為沒有一個給定的目標結論，因此是將指標之中所有有類似屬性的資料分別合併在一起，形成聚類的結果。比如最經典的啤酒與尿布分析，業務人員希望瞭解啤酒跟什麼搭配在一起賣會更容易讓大家接受，因此需要把所有的購買資料都放進來，然後計算後，得出其他各個商品與啤酒的關聯程度或者是距離遠近，也就是同時購買了啤酒的人群中，都有購買哪些其他的商品，然後會輸出多種結果，比如尿布或者牛肉或者酸奶或者花生米等等，這每個商品都可以成為一個聚類結果，由於沒有目標結論，因此這些聚類結果都可以參考，之後就是貨品擺放人員嘗試各種聚類結果來看效果提升程度。在這個案例中各個商品與 啤酒的關聯程度或者是距離遠近就是演算法本身了，這其中的邏輯也有很多中，包括Apriori等關聯規則、聚類演算法等。
另外還有一大類是迴歸分析，簡單說就是幾個自變數加減乘除後就能得出因變數來，這樣就可以推算未來因變數會是多少了。比如我們想知道活動覆蓋率、產品價格、客戶薪資水平、客戶活躍度等指標與購買量是否有關係，以及如果有關係，那麼能不能給出一個等式來，把這幾個指標的資料輸入進去後，就能夠得到購買量，這個時候就需要回歸分析了，透過把這些指標以及購買量輸入系統，運算後即可分別得出，這些指標對購買量有沒有作用，以及如果有作用，那麼各個指標應該如何計算才能得出購買量來。迴歸分析包括線性及非線性迴歸分析等演算法。
統計學分析方法還有很多，不過在今天多用上述幾大類分析方法，另外在各個分析方法中，又有很多的不同演算法，這部分也是需要分析人員去多多掌握的。
3) 自建模型
自建模型是在分析方法中最為高階也是最具有挖掘價值的，在今天多用於金融領域，甚至業界專門為這個人群起了一個名字叫做寬客，這群人就是靠數學模型來分析金融市場。由於統計學分析方法所使用的演算法也是具有侷限性的，雖然統計學分析方法能夠通用在各種場景中，但是它存在不精準的問題，在有指導和沒有指導的學習演算法中，得出的結論多為含有多體現在結論不精準上，而在金融這種錙銖必較的領域中，這種演算法顯然不能達到需求的精準度，因此數學家在這個領域中專門自建模型，來輸入可以獲得資料，得出投資建議來。在統計學分析方法中，迴歸分析最接近於數學模型的，但公式的複雜程度有限，而數學模型是 完全自由的，能夠將指標進行任意的組合，確保最終結論的有效性。
六、資料分析主題選取
在資料分析方法的基礎上，進一步是將分析方法應用在業務需求中，基於業務主題的分析可以涉及太多的領域，從客戶的參與活動的轉化率，到客戶的留 存時長分析，再到內部的各環節銜接的及時率和準確度等等，每一種都有獨特的指標和維度的要求，以及分析方法的要求，以我個人的經驗來看，主要分析主題都是圍繞著營銷、運營、客戶這三大角度來開展的。
1. 營銷/運營分析
營銷運營分析多從過程及最終的成效上來進行分析，包括營銷活動從釋出到客戶產生購買的過程的分析，運營從客戶開始使用到停止使用為止的過程中的分析，前者更傾向於分析客戶行為的變動趨勢，以及不同型別的客戶之間的行為差異，後者更傾向於分析在過程中服務的及時率和有效率，以及不同型別的客戶之間對於服務需求的差異。
在針對這部分分析主題時，多采用常規分析方法，透過同環比以及帕累託來呈現簡單的變動規律以及主要型別的客戶，但透過統計學分析方法，營銷分析可以根據有指導的學習演算法，得出營銷成功與營銷失敗之間的客戶特徵的差異，而運營分析則可以根據無指導的學習演算法，得出哪些特徵的客戶對哪些服務是有突出的需求的，另外營銷和運營分析都可以透過迴歸分析來判斷，各項績效指標中，哪些指標是對購買以及滿意度有直接影響的。透過這些深入的挖掘，可以幫助指導營 銷及運營人員更好的完成任務。
2. 客戶分析
客戶分析除了與營銷和運營資料關聯分析時候使用，另外單獨對於客戶特徵的分析也是有很大價值的。這一部分分析更多需要透過統計學分析方法中的有指導和無指導的學習演算法，一方面針對高價值客戶，透過有指導的學習演算法，能夠看到哪些特徵能夠影響到客戶的價值高低，從而為企業鎖定目標客戶提供指導；另一方面針對全體客戶，透過無指導的學習演算法，能夠看到客戶可以大概分為哪幾種群落，針對每個群落的客戶展開焦點討論和情景觀察，從而挖掘不同群落客戶之間的需求差異，進而為各個群落的客戶提供精準營銷服務。透過以上這些的操作，一個企業的資料分析或者說資料探勘工作的完整流程就呈現了出來。可以看到，無論是資料採集，還是分析方法，亦或是分析主題，在大資料和網際網路的支撐基礎上，在未來都將有大幅度的增加，資料分析人員將成為下一個階段的關鍵企業支撐人員，也即是在未來，在各個領域中，都將產生大量的寬客，或者增長駭客這樣的資料分析人員，來帶動企業的發展。
今天的企業資料分析的架構和方法就到這裡了，我們只有不斷的理論聯絡實際，在實踐中掌握方法和技巧，在不斷的實踐中得到啟發，做好企業資料分析，推動企業高速發展，順應市場和時代發展。
資料分析常用方法 篇2
1、未被滿足的需求分析
商業可以簡單的理解為滿足客戶需求的全部。未被滿足的需求分析指的是揭示你的產品、服務、客戶滿意度以及收入方面是否還有未被滿足的需求。對於未被滿足的需求分析，有效的工具包括產品評價，定性調查，小組討論和訪談。你也可以使用類似於Google Trends這樣的工具來幫助識別客戶都在搜尋什麼。
提示：現在向你的客戶提問是一個非常經濟實惠而又快速的辦法。例如建立一個論壇，線上小組討論，亦或是邀請客戶關注你的Facebook頁面並加入到一個反饋小組裡面。
2、市場規模分析
如果對自己的市場規模和潛力不夠了解，我們很容易對商業決策的可行性妄下結論。市場規模分析指的是評估你的產品以及服務市場規模有多大，是否有足夠的增長潛力。衡量指標包括產量（售出多少）、產值、頻率（一個產品或服務的出售頻率）。有效資料包括政府公佈的資料，行業協會資料，競爭對手財務資料以及客戶調查。
提示：僅因為某個市場大並不意味著它是有利可圖的——特別地，如果大多數客戶想要的某個產品或者服務市場上已經有了，那麼他們不太可能會接受另一個產品或服務了。
3、需求預測
瞭解需求對於保持企業的競爭力是至關重要的。需求預測屬於預測分析領域，旨在預估消費者可能會購買的產品數量或服務。不同於簡單猜測，它是基於過去市場上的歷史資料或當前資料作出的估計。此時，分析技術（如時間序列分析）就顯得非常有用了。
提示：用於需求預測的資料必須是乾淨並且準確的。如果不是這樣的話，得到的結果將不準確，並且有可能導致你誤入歧途。
4、市場趨勢分析
每個企業都需要知道它自己的一個市場前進方向。市場趨勢分析指的是確定市場是否在增長，停滯還是衰落，以及市場變化的快慢。瞭解市場的規模大小很重要，但瞭解的市場正趨勢上漲還是下跌同樣也很重要。為了監測市場動向，你可以做一些商業推演或情景分析以此判斷市場未來的一個大概樣子。客戶調查或小組討論有一定的幫助作用。
提示：始終警惕外部環境，如立法的修改，社會期望。
5、非客戶分析
傳統地，我們被告知我們需要了解我們的客戶，以便於我們知道他們是怎樣的一些人並找出更多跟他們相似的人。道理雖這樣，但另一方面可能更重要——非客戶分析。非客戶分析指的是瞭解那些目前還不是你的客戶對你的產品，服務或品牌的看法。透過識別出那些不買你產品的人，以此來擴大市場。訪談，問卷調查，焦點小組可以提供幫助。
提示：透過社交媒體的力量，我們可以輕鬆的獲取那些不是你的客戶的意見反饋。
6、競爭對手分析
任何業務都是在競爭環境中成長的。競爭對手分析對市場營銷和戰略規劃非常重要，它指的是識別你的競爭者是誰，他們的市場定位是怎樣的，他們的業務跟自己的業務有什麼關係。通過了解自己的優勢和劣勢，你利用對方的弱點來尋找機會。收集競爭對手資料的方法有很多種，例如商業期刊和報紙，年度報告，產品說明書和營銷活動。你甚至可以讓你的一個員工、朋友或者家庭成員從你的競爭對手那裡購買他們的產品或者服務進行比較。
提示：競爭對手分析的最有用的技巧是去做這件事情！可悲的是，大多數企業沒有這樣做。
7、定價分析
定價分析指的是在產品釋出之前找出你的客戶願意為你的產品支付多少錢。它涉及細分市場價格靈敏度分析，尤其在高度競爭的市場非常有用。定價分析需要資料探勘，預測模型和演算法的開發。同時，它還涉及多個並行的商業實驗，以此來測量價格變動所帶來的變化。
提示：如果你希望透過定價分析來提升收入，請確保給那些為你的產品支付了更多錢的客戶提供了更高的價值。
8、銷售渠道分析
有數以百計的渠道和市場可以用來推廣你的產品和服務。銷售渠道分析可以幫助你評估現有銷售渠道的有效性。你可能會透過不同的渠道來達到您的不同細分市場，但我們有必要知道哪些渠道是有效的，哪些渠道可以到達事半功倍的效果。對於每個現有的市場營銷渠道以及那些潛在的尚未使用的渠道，你最好設定一些轉化率目標，以便於瞭解各個渠道的推廣效果。
提示：銷售渠道分析顯然是線上比線下更適合。線上渠道具有數字化的特徵，並且經常是構建在市場和銷售平臺之上的。
9、品牌分析
品牌分析旨在確定你跟競爭對手相比你的品牌實力如何。品牌不是簡單的商品標識和包裝，它還包含了客戶對你的產品的感受以及它們對客戶的寓意。真正的瞭解客戶如何看待自己的品牌很重要，因為這會影響到你的決策和戰略方向。你需要從各種渠道來獲取客戶以及那些潛在客戶的資料來進行資料分析，如客服服務記錄，銷售記錄，網路論壇，部落格，評論網站和社交媒體等。
提示：網際網路為人們如何看待你的品牌以及你的業務提供了是一個豐富的資訊源。人們樂於去分享他們的想法和感受，所以我們應該努力挖掘這樣一個豐富的資訊金礦。
資料分析對市場營銷的益處
為什麼要在市場營銷中使用資料分析？ 因為它可以給你的市場營銷工作帶來很多的幫助。
假設你發起了一個電子郵件營銷活動，你怎麼知道你的郵件列表上有多少人打開了郵件？ 在電子郵件營銷活動中，有些人可能已經決定不再和你做生意了———你如何追蹤這些取消訂閱的使用者？資料分析為電子郵件營銷平臺提供瞭解決這些問題的答案。
資料分析也可以幫助營銷人員做出更好的決策。你知道哪種廣告方法的投資回報率最高嗎？ 透過對不同渠道的資料監測分析，你可以辨別出更有效的推廣方式和渠道。你可能會發現，把錢投到CPC廣告（點選付費廣告）中並不能產生你所希望的投資回報。然而，也許電子郵件營銷活動比你意識到的要成功得多。
如何在市場營銷中成功地使用資料分析
雖然資料分析可以改善營銷活動的效果，但前提是你必須遵循一些最佳實踐方法。
首先，你應該設定明確的目標。資料是海量的，你不可能分析所有的資料，你也不應該分析所有的資料，畢竟不是每個資料都會對你產生益處。你需要且應該分析的是那些對你有益的資料。而這些都要求你明確自己想要完成的事情（如接觸不活躍的客戶，提高客戶的參與度，決定銷售到成交的比率等等），並找到合適的資料。
另一個最佳實踐方法是保持資料“乾淨”。有時，資訊可能有誤。例如，如果一個電話號碼的兩位數被調換，你就不會找到合適的人。確保你的資料是無誤的，這將幫助你更好地進行使用者行為分析，從而更好地指導產品運營。
最後，使用合適的工具進行工作。市場上有許多資料分析解決方案，例如，開源私有化部署的Cobub Razor，它可以幫助你採集使用者行為資料，並且提供視覺化的報表，許多市場營銷人員都認為它是有用的。儘管市場上的資料分析產品這麼多，但最終你的團隊需要找到適合其需求的資料分析工具，從而產生最佳的結果。
資料分析常用方法 篇3
一、面板資料
面板資料：其有時間序列和截面兩個維度，當這類資料按兩個維度排列時，是排在一個平面上，與只有一個維度的資料排在一條線上有著明顯的不同，整個表格像是一個面板,所以把panel data譯作“面板資料”。但是,如果從其內在含義上講,把panel data譯為“時間序列—截面資料” 更能揭示這類資料的本質上的特點。也有譯作“平行資料”或“TS-CS資料（Time Series - Cross Section）”。
線性面板線性面板資料裡面各種估計量的關係，每個箭頭都是可以證明的，感興趣的可以自己證明：
二、離散選擇模型和受限因變數模型
在實證微觀計量經濟學分析當中，我們常常會碰到這樣一類計量經濟模型，其中的因變數或者是定性的，或者是取值範圍受到限制。在這兩種情形下，必須要使用特殊的方法才能對這類計量經濟模型進行有效分析，才能獲得其中引數的一致估計。
當因變數是定性的時候，某些場合我們可以給它賦予諸如LL,,,2,1,0n等數值。但是，前提必須是有意義的。在實證微觀計量經濟學分析當中，我們常常會碰到這樣一類計量經濟模型，其中的因變數或者是定性的，或者是取值範圍受到限制。在這兩種情形下，必須要使用特殊的方法才能對這類計量經濟模型進行有效分析，才能獲得其中引數的一致估計。當因變數是定性的時候，某些場合我們可以給它賦予諸如0,1，...,n...等數值。但是，前提必須是有意義的。二元選擇模型的特點就是其因變數僅有二個結果。
三、靜態面板資料
我們一般所說的靜態面板資料模型，是指解釋變數中不包含被解釋變數的滯後項（通常為一階滯後項）的情形。但嚴格地講，隨機干擾項服從某種序列相關的模型，如AR(1)，AR(2)，MA(1)等，也不是靜態模型。動態和靜態模型在處理方法上往往有較大的差異。用靜態面板資料建立的模型通常有三種，即混合模型、固定效應模型和隨機效應模型。
四、動態面板資料
動態面板資料是研究現象動態行為的一種重要方式，在一個模型中新增動態因素，是對方程理解上的一個變化。在方程中新增滯後變數即右邊變數的整個歷史，所以所觀測的任何影響都以這個歷史為條件。假如在面板資料模型右端加入滯後因變數的話，則模型變為動態面板資料模型。
【資料分析方】相關文章：