閱讀屋>社會> 社會調查資料分析方法

社會調查資料分析方法

社會調查資料分析方法

  針對現今的社會調查資料處理與分析中存在的問題,該文透過三維矩陣建立了社會調查資料的數學模型。下面是小編為大家整理的社會調查資料分析方法,歡迎閱讀。

  一、社會調查資料的特點

  通常情況下,社會調查資料特點如下。

  (1)相關性

  對於一個樣本個體而言,它具有本身的多個特徵,這些特徵之間就具有一定的相關性。對於多個樣本而言,個體與個體的特徵之間具有相關性。如果樣本隨時間而變化,那麼該樣本在不同時刻的特徵之間又具有相關性。因此,由於上述多個原因使得社會調查資料具有了複雜的相關性,傳統的統計學調查難以解決這樣的問題。

  (2)離散性

  因為社會調查資料是透過自填式問卷、網路調查資料庫等方法得到,所以社會調查資料一般以離散變數為主,且這些資料之間只有標示作用,並沒有嚴格的邏輯關係。

  (3)模糊性

  社會調查資料當中不可避免的會接觸到各種表達方式和概念,因此,它具有模糊性。因為由自填式問卷或結構式訪問的方法得到的社會調查資料具有以上特點,所以在實際應用中基於統計學的處理方法只能籠統的顯示資料的部分特性,如頻數、離散程度等。對於資料之間的關係只能分析出維數極少的大致的關係。而且利用軟體進行資料探勘時,因為現有的軟體中的資料探勘演算法對於資料型別和格式要求較高,所以能應用到的資料探勘演算法很少。就算是資料要求較低的關聯分析,其結果也存在大量的冗餘。因此,我們需要建立一個合適的社會調查資料的數學模型來完善原先的方法並使跟多的資料探勘方法可以運用到其中,使得結果更準確。

  二、社會調查資料的建模

  研究中我們發現,三維矩陣可適用於社會調查資料的建模。

  1 三維矩陣的定義

  三維矩陣的定義:由n個p×q階的矩陣組成的n×p×q階的矩陣A稱為三維矩陣,又稱立體陣。Ak,i,j表示三維矩陣A的第k層,第i行,第j列上的元素。其中n,p,q分別表示三維矩陣的高度,厚度和寬度。

  2 三維矩陣模型的建立

  調查問卷的題目一般有三種類型:單選題、多選題和排序題。這三類題目都可以表示成向量的形式,其中每一道單選題、多選題可以表示成一個向量,排序題可以表示成多個向量組成的矩陣。對於單選題和多選題,可以按選項的順序可以表示成一個向量,其中選中的`用“1”表示,未選中的項用“0”表示。對於排序題,可以表示成一個n×n的方陣,,其中n表示該排序題的選項數,。這樣,每一題就可以定義為空間中的一個維度,從而所有的題目就可以構成一個N維空間。每份調查問卷的資訊用一個M×N矩陣表示(M為題目的最大選項數),其在每一維上的選擇稱之為一個元素,這樣每份問卷的資訊就包括了N個元素。以第1,2,3題資料為例,其中第1題為單選題選擇“B”,用向量 (0,1, 0..0)T 表示為一個元素,第2題為多選題選擇“ACE”,用向量 (1, 0,1, 0,1, 0..0)T 表示為一個元素,第3題為排序題順序為CBADEFIHG,用矩陣表示,每一個列向量是一個元素,如圖1所示。

  那麼,假設有一問卷資訊用一個大小為M×N的矩陣表示。K份的問卷資訊就可以用K個大小為M×N的矩陣表示。將這K個矩陣疊加,形成一個三維矩陣。這個三維矩陣就是我們建立的三維矩陣數學模型,如圖2所示。

  在圖2中我們看到,該三維矩陣數學模型有三個座標軸,它們分別是題目、人數、選項。題目軸以每一道題為一個單位;人數軸以每一份問卷為一個單位;選項軸的刻度A,B,C,D,E,F等題目選項,其個數為該調查問卷中選項最多的題目的選項個數。在此基礎之上,這樣的三維矩陣具有以下性質。

  (1) 在題目軸中選取對應的題目,將三維矩陣面向豎切得到截面1,截面2表示每一道題所有人選擇的資訊。

  (2) 在人數軸中選取對應的人,將三維矩陣橫切得到橫截面1,橫截面1表示對應的人選擇所有題目的資訊。

  在得到三維矩陣後,可對它進行畫素化處理,置1的元素用黑點代替,置0元素的則空白,在得到畫素化三維矩陣後我們可以將三維矩陣沿著人數維度上向下投影,這樣就可以得到一個具有濃黑不一的點的平面。透過這些點的濃度,可以知道每一選項選擇的人數。接下來我們可用灰度級表示點的濃度,篩選出濃度大於一定程度的點,在此基礎上進行後續演算法處理。

  上述三維矩陣數學模型具有數學三維矩陣的所有性質,可依據調查問卷的需求進行轉置,加權、相乘、篩選等數學處理,另外在數學處理的基礎上,採用超圖理論可以大大豐富了調查問卷的處理方法。

  三、基於超圖演算法的調查問卷分析技術

  超圖是離散數學中重要的內容,是對圖論的推廣。超圖是有限集合的子系統,它是一個由頂點的集合V和超邊集合E組成的二元對,超圖的一條邊可以有多個頂點的特性,這與一般的圖有很大不同。超圖分為有向超圖與無向超圖兩類,在無向超圖的每條超邊上新增方向後得到的有向二元對就是有向超圖。

  超圖在許多領域有廣泛的應用。大家可以利用無向超圖表示每一道題的選擇情況,先將這每一題的每一個選項設成一個節點,然後將三維矩陣從上向下投影,如果某一題的若干個選項同時被一個人選擇,就用一條超邊包圍這些節點,那麼選這些選項的人越多,投影得到的超邊就越濃。這樣就用超圖表示了問卷中每道題的資訊,可以進行聚類處理。

  利用有向超圖,可以將關聯規則表示成有向超圖的形式,在得到了關聯規則後,設實際中得到的關聯規則的形式為:前項和後項都是由多個項組成的集合。該文定義一條關聯規則由一條有向超邊表示,有向超邊的頭節點表示關聯規則的前項,有向超邊的尾節點表示關聯規則的後項。每條有向超邊的頭節點和尾節點均可以為多個,如此便成功表示了複合規則,從而可以使用相關演算法進行冗餘規則檢測。

  透過基於有向超圖的冗餘規則檢測就可以將關聯規則之間存在著的大量冗餘檢測出,減少挖掘資源的浪費,從而增加了挖掘結果的有效性。

  傳統的聚類方法都對原始資料計算它們之間的距離來得到相似度,然後透過相似度進行聚類,這樣的方法對於低維資料有良好的效果,但是對於高維資料卻不能產生很好的聚類效果,因為高維資料的分佈有其特殊性。透過超圖模型的分割實現對高維資料的聚類卻能產生較好的效果。它先將原始資料之間關係轉化成超圖,資料點表示成超圖的節點,資料點間的關係用超邊的權重來表示。然後對超圖進行分割,除去相應的超邊使得權重大的超邊中的點聚於一個類中,同時使被除去的超邊權重之和最小。這樣就透過對超圖的分割實現了對資料的聚類。具體的演算法流程如下。

  首先,將資料點之間的關係轉化為超圖,資料點表示為超圖節點。如果某幾個資料點的支援度大於一定閾值,則它們能構成一個頻繁集,就將它們用一條超邊連線,超邊的權重就是這一頻繁集的置信度,重複同樣的方法就可以得超邊和權重。

  然後,在基礎此上,透過超圖分割實現資料的聚類。若設將資料分成k類,則就是對超圖的k類分割,不斷除去相應的超邊,直到將資料分為k類,且每個分割中資料都密切相關為止,同時保持每次被除去的超邊權重和最小,最終得到的分割就是聚類的結果。

  首先,將資料點之間的關係轉化為超圖,資料點表示為超圖節點。如果某幾個資料點的支援度大於一定閾值,則它們能構成一個頻繁集,就將它們用一條超邊連線,超邊的權重就是這一頻繁集的置信度,重複同樣的方法就可以得超邊和權重。

  然後,在基礎此上,透過超圖分割實現資料的聚類。若設將資料分成k類,則就是對超圖的k類分割,不斷除去相應的超邊,直到將資料分為k類,且每個分割中資料都密切相關為止,同時保持每次被除去的超邊權重和最小,最終得到的分割就是聚類的結果。

  如圖3所示是基於超圖演算法的選題型調查問卷的分析技術的流程圖,主要包括4個主要部分,一是用向量表示調查問卷結果,二是將向量表示的調查問卷轉化為三維矩陣數學模型表示調查問卷結果,三是使用超圖演算法進行最佳化,四是根據要求顯示調查問卷結果。

  四、結語

  該文針對社會調查資料處理與分析中存在的問題,建立了基於三維矩陣的數學模型,將單選題和多選題表示成向量,將排序題表示成多個列向量,從而每一題可以表示成空間的一個維度,每一個向量就是一個元素,這樣每一張問卷就可以表示成一個矩陣,透過將多個矩陣疊加就可以得到三維矩陣。該數學模型可以

  利用三維矩陣的性質對其進行多種數學處理,如豎切、橫切、畫素化後投影等。在數學處理的基礎上,該文又提出超圖理論對資料進行聚類和檢測冗餘規則的分析。

【社會調查資料分析方法】相關文章: