2022-1-3 資深UI設計者
12月份馬上就結束了,這也意味著這個雙月的體驗OKR也到了復盤的階段。想趁這個機會復盤一下自己這么久以來的體驗經(jīng)歷,幫助我拓寬了設計職能的邊界,站在整個產品和業(yè)務的角度,思考當前產品遇到的問題和解決方案。
所以打算分幾篇文章輸出一些關于我在體驗中遇到的問題和解決方案,以及一些個人感悟。
之所以會先從問卷入手,一方面是因為我們在問卷的設計的過程中,很難找到全面分析問卷設計的文章。另一方面是因為理解用戶,才能理解體驗。真正好的體驗一定來自于用戶,且以幫助用戶解決問題為目的。
接下來,本文會通過大量問卷案例,把實際過程中的落地經(jīng)驗分享給大家。
在實際的工作中,常用的用戶調研方式有兩種:問卷調研和用戶訪談。
那么,我們這次體驗調研,為什么使用問卷調研而不是用戶訪談呢?
想要回答這個問題,可以從問卷和訪談的差異性上進行對比:
當一個問題沒有明確答案的時候,很適合做訪談,因為沒有確定的參考變量,不知道方向在哪,訪談可以幫助我們找到目標方向。甚至你的訪談對象可以不是產品用戶,但是他一定要有相同的產品需求。比如一個用戶沒有使用過微信,但是他有明確的社交需求,那么這個用戶就有被訪談的價值,因為他能夠幫助我們找到產品后續(xù)的迭代方向。
而問卷是基于現(xiàn)有數(shù)據(jù),向用戶求證問題的過程。當公司產品經(jīng)歷了冷啟動階段之后,后臺已經(jīng)記錄了足夠的產品數(shù)據(jù),這其中包括各功能的使用情況、用戶行為等,都為問卷設計提供了很好的參考變量。所以,這個時候調研對象控制在使用過我們產品的用戶,可以幫助我們快速定位問題。
當然,上述觀點并不絕對,根據(jù)公司業(yè)務、使用場景、成本預算等因素,問卷和調研一起使用的情況也是有的,所以找到適合自己公司的調研方式最重要。
補充:問卷是一種常用的定量分析工具,使用場景主要分為收集用戶數(shù)據(jù)和需求驗證:
收集用戶數(shù)據(jù)主要是為了判斷我們對用戶的的定位是否精準。具體表現(xiàn)為收集用戶的基本信息、和用戶的體驗反饋(吐槽、好評),主要作為了完善用戶畫像。
需求驗證主要是調研產品功能是否符合用戶預期,以及判斷現(xiàn)有功能是否有優(yōu)化的價值和空間(判斷優(yōu)化空間的依據(jù)主要以后臺數(shù)據(jù)為根本立足點)。
舉個例子:平臺上架了一個xx功能,新功能的觸達路徑從首頁到目標頁需要三步,通過后臺數(shù)據(jù)埋點的追蹤發(fā)現(xiàn),在第二步的時候,觸達人數(shù)驟降。那么針對新功能的問卷重點之一,就會放在這個頁面觸達率為什么這么低上,以此尋找解決方案。
問卷調研屬于間接調查,即被調查者填寫問卷是在調查者不在場的情況下進行的,即調查者與被調查者一般不見面。
問卷的優(yōu)點:
效率高:低成本、反饋快。
容易量化:問卷的內容呈封閉式,答案基本會被限定在有限的數(shù)量范圍內,很少有主觀問答,樣本結果可控,容易量化。
范圍廣:問卷調研不受人數(shù)、地域范圍、時空的限制。
問卷的缺點:
封閉性:問卷的答案是設計者預先設計好的,所以收到的信息有限。
數(shù)據(jù)質量不穩(wěn)定:由于問卷覆蓋的用戶廣,回答問卷的人是不受約束的,用戶的配合意愿對數(shù)據(jù)質量影響較大(可能會出現(xiàn)隨便答題的情況)。
在工作中,問卷的設計流程通常被分為四個階段:準備階段、設計階段、發(fā)放并回收階段,分析報告階段。
確定問卷目的是為了聚焦問題的范圍和方向。
每一個產品調研問卷都應該圍繞著至少1-2個核心目標進行拆分,過多的核心目標會導致問題數(shù)量沒法控制和調研方向不清晰。
在向用戶提出問題之前,有個最重要也是最容易忽略的地方,就是問卷的說明部分,通常這些說明會包括以下內容:
告訴用戶為什么要做這份問卷調查:讓用戶知道,他們的建議會影響產品的設計方向。
告訴用戶做調研的人是誰(即平臺方的名稱)
告訴用戶這份問卷的重要程度:告訴用戶的選擇會影響最后產品的方向
告訴用戶需要多久能填完這份問卷:讓用戶判斷當前是否有足夠的時間完成全部問卷。
告訴用戶回答問卷的有效期限:避免用戶填寫完后,提交的時候發(fā)現(xiàn)已經(jīng)錯過了時機。
告訴用戶保證受訪者的個人隱私是保密的:打消用戶不必要的顧慮,反映客觀事實和觀點。
問卷獎勵的說明:激勵用戶答題,最好是和產品相關的獎勵,比如說平臺會員獎勵。
用戶分群其實就是通過權衡來讓調研目的和用戶的需求相匹配,忽略和調研目的不相關的用戶,從而更好的調研目標用戶的需求,本質是為了提升效率。
常用的用戶分群維度由時間、用戶行為和用戶屬性三個維度組合完成:
時間范圍:比如,最近7天,或者給出一個時間區(qū)間。
用戶行為:圍繞調研目標,明確用戶的核心行為路徑以及分支路徑。然后判斷用戶完成了/未完成/依次完成了xx路徑,比如:
完成了登錄注冊的用戶
沒完成登錄注冊的用戶
完成了登錄注冊,并且點擊了首頁廣告位的用戶
用戶屬性:關于用戶屬性的定義,沒有統(tǒng)一的標準,通常會從業(yè)務角度出發(fā),基于產品功能或運營玩法,對用戶進行屬性分類,比如:性別/是否新用戶/是否實名認證/用戶來源(抖音、地推)等。
下圖是我們用的用戶分群工具:
我們在進行用戶分群時,定位的精準程度,和維度的選擇數(shù)量是正相關的。時間范圍越窄,用戶行為越多,用戶屬性越多,定位到的用戶越精確。
舉個例子:“近7天使用xx功能的男性用戶”,一定比“近7天使用xx功能的用戶”更加精準,因為多了一個“性別”的維度。
當然,每一個產品的業(yè)務模式和用戶群體都是復雜的,根據(jù)商業(yè)模式、產品功能、用戶使用習慣和目的不同,這些因素都可能成為用戶細分的維度。
樣本的數(shù)量,主要取決于我們想要回收多少份有效問卷,也就是回收率。
回收率 = 回收的有效回答份數(shù) / 總發(fā)送的份數(shù) × 100%
問卷回收數(shù) = 回收率 × 樣本數(shù)量
所以,在回收率固定不變的情況下,樣本數(shù)量越大,問卷回收的數(shù)量越多,反之,樣本數(shù)量越小,問卷回收的數(shù)量越少。
影響樣本數(shù)量的因素主要分為響應率和完成率:
響應率 = 打開問卷的用戶 / 問卷實際發(fā)放人數(shù)×100%
舉個例子:平臺通過渠道向100人發(fā)放問卷,只有50人打開了問卷,那么調查的響應率為50 / 100 × 100% = 50%
完成率 = 完成并提交問卷的用戶 / 打開問卷的用戶×100%
舉個例子:有100人點開了問卷,最終有50個人填寫完成,那么完成率為50 / 100 × 100% = 50%
相同的調研樣本數(shù)量,用戶響應率和完成率越高,有效問卷的回收率也就越高。所以,除了增加樣本數(shù)量外,也可以通過提高用戶的響應率和完成率,來提高問卷的回收數(shù)量。
舉個例子:
擴大問卷的曝光量,從而觸達更多用戶,提高響應率。
豐富問卷獎勵,增加用戶的答題意愿,提高完成率。
問卷數(shù)量的價值是存在邊際效應的,因為隨著樣本數(shù)量的增多,回收的答案是趨于一致的,參考價值較低,所以問卷的樣本數(shù)量并不是越多越好。
通常為了保證最終的有效問卷回收能滿足研究報告,應該在理想的樣本數(shù)量上,進行適當?shù)臄U充。
舉個例子:通過觀察平臺用戶的響應率和完成度,估算出抽取1000數(shù)量的樣本數(shù)量能夠支撐最終的研究產出,但是考慮一些特殊情況的產生,此時會再加上200的樣本數(shù)量,來確保問卷的回收率。
MECE是一種將一個具體事物進行"拆分"的原則,該原則由麥肯錫顧問巴巴拉·明托(Barbara Minto)在《金字塔原理》一書中首次提出,隨即被奉為咨詢解決思路的圭臬。其目的在于分析問題時盡量做到對問題點進行不重疊且不遺漏的分類,而且能夠借此有效把握問題的核心,并成為有效解決問題的方法。
MECE原則可以分為兩個部分:
相互獨立(ME):
互斥性原則是指在問卷答案的設計中,同一問題的若干個答案之間關系時是互相排斥的,不能有重疊、交叉、包含等情況。
完全窮盡(CE):
完備性原則是指在問卷答案的設計中,所排列出的答案應包含問題的全部情況,不能有遺漏。特別是針對封閉題而言的,必須做到窮盡。
了解完MECE原則后,接著從以下四個步驟來說一下它的實際用法:
明確問題是什么,比如說我們當前產品的問題是:“為什么新用戶搭訕次數(shù)低?”,所以我們的問題就會聚焦在搭訕數(shù)低的原因上,這也是“完全窮盡”的基礎,只有當問題有了邊界,才能窮盡。
切入點指的是按什么方向進行拆分,還是以“為什么新用戶搭訕次數(shù)低?”這個問題來舉例,我們從搭訕數(shù)低的原因出發(fā),選擇的切入點是“角色”。即:在整個業(yè)務中,會涉及到的“用戶方”和“產品方”兩個角色:
用戶在使用過程中遇到哪些問題,導致用戶搭訕次數(shù)低,比如說用戶對平臺推薦的人不感興趣、不知道搭訕是什么等。
產品的功能設計是否合理,比如說交互邏輯、界面布局,甚至可以聚焦到按鈕的大小和顏色,這些都可能會影響用戶使用搭訕。
考慮當前問題是否可以繼續(xù)細分,比如說用戶方可以分為男性和女性,但是這對搭訕數(shù)并沒有直接的影響,可能還要繼續(xù)細分為年齡、地區(qū)、職業(yè)等屬性,直到找到影響“搭訕”的因素。
細分完成之后,對問題進行檢查,看看是否有明顯遺漏或者重復的問題。
怎么檢查提出的問題是否已經(jīng)滿足相互獨立和完全窮盡呢?這里提供以下兩個方法:
判斷是否相互獨立:每個拆分后的問題,是否可以和其他問題清楚的區(qū)分開。
判斷是否完全窮盡:拆分后的問題是否具有唯一性,是否把能想到的都想到了。
*注:MECE原則同時適用于問題和答案的設計。
MECE的拆分方法具體分為以下五種:
二分法指的是把信息分成A和非A的兩個部分,也就是說在找出事物的某一維度后,繼續(xù)找出一個相反的維度,通俗來說就是找出他的反義詞。常見的例子在我們生活中隨處可見,比如說:未婚和已婚、成年和未成年、黑和白、上和下等等。
找到一個事物的兩個維度,進行坐標系劃分,變成4個象限。
比如我們一次性接到了很多迭代的設計需求,可以根據(jù)任務的重要性和緊急程度兩個維度,確定所有迭代需求的優(yōu)先級。
P0:重要且緊急,該問題未得到解決,用戶無法順利完成任務,這種需要馬上開始進行優(yōu)化解決的,比如一個電商軟件,用戶付款時總是失敗。
P1:重要但不緊急,這種一般指用戶在操作時可能感到麻煩,但仍然可以繼續(xù)完成任務,比如說按鈕、反饋很不顯眼,需要仔細查找??梢赃^段時間交付的內容也算在這個范圍內,比如國慶大型活動這種需求一般都要提前很久準備,可能交付時間在一兩個星期之后。
P2:不重要但緊急,這種情況在設計工作中一般會比較少,比如歷史版本中遺留下來的字號、間距等問題。
P3:不重要且不緊急,盡量少做,或者可以不做的需求,比如需求評審會上不完善、待修改的需求。
要素法是根據(jù)一個事物的做成要素行劃分的。比如說我們作為設計師,都知道體驗很重要,但是什么樣的體驗才能被稱之為好呢?于是很多公司會制定自己的體驗度量標準,比如Ant rDesign的PTECH模型,就把體驗拆分成了性能體驗、任務完成度、參與度、清晰度和滿意度。
*題外話補充:
HEART模型更多是用來度量C端產品的體驗,并不太適用于B端產品。B端產品多是提高效率的工具類產品,業(yè)務比較復雜且用戶需要付費才能使用,比較注重任務的完成效率和邏輯的清晰度。
按照現(xiàn)有公式中的要素進行去分類,比如說銷售額 = 銷售量 x 價格,CTR = 點擊數(shù) / 曝光數(shù)(根據(jù)不同業(yè)務和場景會有細微差異)。
這種時候,我們就可以把銷售額拆分為銷售量和價格,CTR拆分為點擊數(shù)和曝光數(shù)。
流程法指的是把一個事物,按照進行的流程進行劃分。拿我自己的上班日常來舉例:8個活動組成一個流程。
封閉式:
在提出的每個問題下面給出若干個答案,讓被調查者選出其中的一個或若干個問題來回答的問卷形式。封閉式問題的優(yōu)勢在于,用戶在看到問題和答案的時候,很快就能理解提問者的目的。
a. 是非型:有且只有兩個備選答案,受訪者只能從中選擇一個答案。
b. 并列型:提供兩個及以上的并列答案,讓用戶在其中選擇最適合自己的答案。
c. 等級型:對兩個及以上分成等級的答案進行選擇的題型,只能從中選擇一個答案。
d. 排序型:讓用戶從備選答案中選出全部或者部分答案,根據(jù)用戶選擇順序對答案進行排列的一種方式。
開放式:
開放式問卷是問卷設計者提供問題,由被調查者自行構思自由發(fā)揮,從而按自己意愿答出問題的問答題型為主,也就是我們常說的填空題。
開放式的優(yōu)勢是經(jīng)常會收集到一些意料之外的信息,且都是用戶直觀的感受。但正是由于它的開放性,會導致問題的答案很不規(guī)范,經(jīng)常會出現(xiàn)用戶的回答和問題不相符的情況。這類不規(guī)范的回答無法使用數(shù)據(jù)分析方法,嚴重影響最后的分析效率。
比如說我們本次的問卷目標是調研影響用戶搭訕率和回復率的因素,其中有道填空題:
問題:您在搭訕聊天的過程中,有什么不滿意的地方?或有什么建議?
回答:不太清楚、不知道等詞語。
混合式:指的是封閉式+開放式組合,常見的是在封閉式的答案下,用戶選擇一個答案后,會出現(xiàn)一個輸入框,填寫用戶自己的看法,根據(jù)不同的情況,輸入框分為必填和非必填。
*問題的產生要有理有據(jù)。
我們本次調研的目的,主要是為了幫助用戶解決問題,所以在問卷的設計過程中,要問自己兩個問題:
找到用戶遇到了哪些問題?
造成用戶遇到這些問題的原因有哪些?
步驟一:通過用戶使用路徑差異,定位問題
通過對比路徑和數(shù)據(jù)漏斗,發(fā)現(xiàn)并記錄用戶在使用過程中遇到的問題。
如下圖,是一個簡化的用戶路徑和漏斗數(shù)據(jù),主要分析的是“首頁 - 發(fā)送消息”這條核心路徑,可以發(fā)現(xiàn):用戶流失最大的地方在“查看用戶資料 - 進入IM頁”這一階段。
當定位問題后,還需要通過福格模型來擬定問題和答案。
步驟二:通過福格模型,分析影響因素
福格模型認為,行為的發(fā)生,有 3 個關鍵的要素,并且需要 3 個要素同時發(fā)生才能產生作用,也就是動機、能力和提示:
動機:做出行為的欲望。
能力:去做某個行為的能力。
提示:提醒你做出某個行為的信號。
*之前的版本為 B=MAT,其中 T 是 trigger 觸發(fā)的意思,后續(xù)迭代成 B=MAP,P 是 Prompt 提示的意思,但是提示和觸發(fā)的差異并不大,不必糾結。
當我們利用福格模型去分析“查看用戶資料 - 進入IM頁”的流失問題時,就變成了:
動機:對方資料頁的哪些信息對用戶的吸引力高?哪些吸引力低?
能力:阻礙用戶點擊私聊的原因可能是什么?按鈕是否在拇指可觸控區(qū)域?
提示:用戶是否注意到了私聊的存在?怎樣在不打擾用戶的情況下讓用戶注意到私聊按鈕?
針對MAP這三個因素,預測用戶在各個使用場景會遇到的困難,總結成問卷,向用戶求證。
我們通過上述方法設計出很多的問題后,時常會出現(xiàn)問題很多,“我全都要”的情況。
這里提供給大家一個思路:根據(jù)屬性不同,對所有問題進行歸類。當然,有時候會遇到這樣的情況:有一些問題沒有明確的屬性進行定義,但是又很重要,這種問題可以統(tǒng)一概括為其他。
歸類完成后,從每一個屬性中,選出固定數(shù)量的問題整合成問卷,篩選的標準以目標結果為導向,也就是每個問題和本次問卷目標的關聯(lián)性,關聯(lián)性強,則納入問卷,反之則剔除。
這樣做的好處是在最后的問卷結構上,可以把相同屬性的問題放在一起,保證上下問題的邏輯性和相關性,用戶作答時不顯得別扭。
問題的數(shù)量沒有固定的要求,根據(jù)不同的業(yè)務、不同的問卷目的,問卷的數(shù)量都是不同的。
通常情況下,問卷中的問題越多,所得的數(shù)據(jù)就越詳細。但是問題越多,用戶的投入成本也就越高,這樣就會導致填寫意愿降低。
我們公司平時的問題數(shù)量,基本會控制在15個左右,為的是讓用戶能夠在半小時內填寫完畢。因為用戶填寫問卷的耐心和時間都是有限的,所以在問題的數(shù)量上,不宜過多。
按照問題的難易程度進行排列:問題應該先易后難,由淺入深,先問正面的問題,后問負面的問題,先描述客觀問題,后描述主觀問題,先一般性質的問題,后特殊性質的問題。
按照問題的類型進行排序:排列問題的順序時,要注意把不同類型的問題放在一起,這樣用戶可以一起回答,避免破壞用戶的思路和注意力。
按照問題的時間順序進行排列:一般來說,問題應該按照事情發(fā)生的過去、現(xiàn)在、未來的時間順序進行排列,也可以發(fā)過來,即由近到遠。
在設計問題時,避免回憶性問題,特別是長時間以前的回憶,記憶的模糊會降低答題的準確率。
因為人的記憶是呈碎片化存儲在大腦里的,直接問用戶是很難被搜索到的。但是,在實際調研中,經(jīng)常會出現(xiàn)不得不讓用戶回憶的情況,針對這種場景,需要在問題當中構建出一個具象的場景,這里的場景可以是時間、地點或者產品功能等,能夠幫助用戶串聯(lián)起回憶的都可以。
舉個例子:比如我現(xiàn)在想調研用戶使用發(fā)布模塊的情況,那么在問題設計時,就會圍繞發(fā)布相關的場景進行提問。
如果問題中帶有偏向性的語境,這樣就可能引發(fā)“誘導”,會導致用戶選擇問題“暗示”的答案。
舉個例子:
如下圖,單看修改前的問題是沒什么對錯的,但聊天只是我們產品的功能之一,它由1v1聊天、群組聊天等多個功能組成。這樣就會造成用戶回答的內容很寬泛,很難提取出有價值的信息。所以在問題的修改上,我們需要更加具體的指向性內容。
一個問句中,出現(xiàn)兩個及以上的問題。這個很簡單,我們直接用上面學到的MECE原則進行拆分就可以了,直接分成兩個問題提問。
在設計問題時要避免使用專業(yè)性術語,通俗易懂的語言容易被不同畫像的用戶理解,避免誤會而引起的問答偏差。有些用戶可能因為不知道“算法”的具體意思,導致問卷無法進行。
雙重否定就是否定兩次,即表示肯定的意思,如:不得不。這種句式的問題,用戶通常不能一下子就讀懂句子的意思,增加答題成本。
轉移法
不直接詢問用戶對某事的觀點,而是把問題轉移到其他人身上,然后,請用戶以第三人稱的視角,對他人的回答作出評價,更能得到用戶真實的想法。
假設法
首先假設某一情景或現(xiàn)象的存在,然后再詢問用戶的看法。
答案的設計最后會影響數(shù)據(jù)的有效性,所以在設計上需要注意以下三點事項:
具體量化:避免主觀描述,比如,偶爾、經(jīng)常、幾乎、相當多。這類詞語在不同的情況下,不同的用戶會有不同程度的理解。
避免無效數(shù)據(jù):特殊情況下,提供無效答案,比如其他、以上都不是等選項,避免給出的答案都不是用戶想要的,隨便選一個,影響最后的數(shù)據(jù)分析。
避免多選:多選的話設置上限,一般不超過三個,可根據(jù)具體情況增加或減少。
在內部評審之前,首先要自審一遍,這就要求我們在設計問卷后,最好是站在問卷回答者的角度,試著自己做一遍問卷,避免出現(xiàn)一些比較常規(guī)性質的問題,比如問卷的邏輯性、用詞的通俗性、語意的表達等。
問卷自審后沒什么問題后,可以邀請項目組的人進行內審,最好可以拉上開發(fā)、產品一起,提供多角度的思考方向。
問卷發(fā)放主要從時間、地點、人物三個維度出發(fā)。
在問卷的發(fā)放和回收時間之間,需要考慮用戶看到問卷的時間和答題時間。
根據(jù)問卷的曝光程度,留有足夠的時間讓用戶能夠看到并點擊問卷,如果發(fā)放和回收中間留的時間過短,會造成用戶可能沒看到問卷,或正在答題中,就已經(jīng)開始回收了。這種情況會導致用戶在沒有完整閱讀題目或者充分思考的情況下,隨便作答,無法獲取足夠的樣本數(shù)據(jù)和用戶的真實想法。
當然,發(fā)放和回收中間留的時間也不宜過長,時間越長,用戶忘記調研問卷這回事的概率也就越大。
投放渠道,由于我們的體驗工作一般圍繞APP進行,所以我們的渠道主要分為以下幾種:
app消息推送(push)
優(yōu)點:可實現(xiàn)精準投放
缺點:受限于設備的消息開關,打擾性強
app廣告位推送:啟動頁,banner,信息流等形式
優(yōu)點:由于是用戶主動點擊進行,所以有效性較高
缺點:廣告位多為全量投放,無法保證用戶參與度
用戶和問卷的匹配關系:問卷的調研對象必須是我們的用戶。也就是說,如果投放的用戶和問卷不匹配,那么最后得到的數(shù)據(jù)是沒有意義。
并且在分發(fā)方式上,還會根據(jù)規(guī)模分為部分和全量。部分就是針對用戶分群后的具體用戶,有選擇性的進行問卷發(fā)放。全量則是針對平臺所有用戶的問卷,這種由于平臺的用戶類型很多,資源浪費等問題,基本不太用。
在前文關于問卷的特點中我們提到,用戶回答問題的場景是不可控的,可能會出現(xiàn)瞎填的情況,如果我們回收問卷后立馬進行分析,會混入一些無效數(shù)據(jù),大大降低我們調研結果的可靠性。
所以,在正式進行數(shù)據(jù)分析之前,還有一個問卷篩選的環(huán)節(jié),以此保證數(shù)據(jù)的有效性,專業(yè)名稱叫做數(shù)據(jù)清洗。
既然涉及數(shù)據(jù)清洗,那么就一定會有一套標準去判斷哪些數(shù)據(jù)是可以“被清洗”的,所以我們這里總結了以下幾個標準供大家參考:
選項呈重復性和規(guī)律性
檢查答案是否出現(xiàn)保持一致,或呈現(xiàn)某種規(guī)律的情況,出現(xiàn)的問卷進行刪除。
舉個例子:所有的答案都是“A-A-A-A”或”A-B-A-B”
剔除漏答數(shù)過多的問卷
嚴格來說應該將漏填的答卷全都進行剔除,但有時候會遇到回收樣本量很少的情況,所以一般會設置漏答數(shù)的標準。
常用的標準是總題數(shù)的2/3,例如問卷一共設計了 10 個問題,回答了 6 個以上的用戶即視為有效問卷,反之,則視為無效問卷。
前后邏輯不符
有些用戶受主客觀因素影響,可能不會認真選答案,所以需要檢查前后的選項是否矛盾。
在問題的設計中,經(jīng)常會出現(xiàn)多個問題之間保持邏輯關系,如果用戶選擇了前一題“A”,則不應該選擇后一道題的“B”。
舉個例子:用戶在前一題中選擇了“從未搭訕過”,后面卻又選擇了“搭訕后沒有人回復“,這種就可以視為前后邏輯不符的答卷。
如果問卷中實在找不出可以用來表示邏輯關系的問題,那么也可以設置一個明顯錯誤的答案,最后統(tǒng)計問卷數(shù)據(jù)時,剔除該問卷即可。
當然問題的迷惑性不能太強,我們只是想要檢驗用戶是否在認真答題,而不是為難用戶,所以認真閱讀問題和答案就不會出錯。
未按問卷所指示之題項填答
舉個例子:第1題問:「請問您使用過語音功能嗎?若沒有,請忽略第 2 題」,如果用戶第1題選沒有的,卻仍回答了第2題,那么就可以把該問卷視為無效。
根據(jù)填答時間和提交時間處理
在發(fā)放問卷前,我們會進行答題測試,目的是估算出答題所需要的總時長,以此作為問卷答題時長的有效性依據(jù),如果最后回收的問卷答題時間比預估時間過長或過短,就可以判斷為答題不認真,都可以根據(jù)業(yè)務需求酌情剔除。
提交時間主要針對的是在規(guī)定時間內完成答題,但超過了提交時間的用戶。比如說我們回收問卷的截止時間是12月7日,但是有的用戶是在12月8日完成答題并提交的,也會被視為無效問卷。(市面上有些問卷工具,可以回收設置時間,超過規(guī)定時間提交的問卷不計入問卷回收。)
統(tǒng)計各選項的數(shù)量、頻率是最常用到的分析方法,然后通過圖表展現(xiàn)出來,可以非常直觀的看出整體分布情況。具體可以分為趨勢分析和分組分析兩種方法。
顧名思義,分類篩選是根據(jù)類別來進行數(shù)據(jù)篩選的一種方法,常用的類別有:
按回答篩選:根據(jù)題目中某道題進行篩選分類。使用場景如:需要分別查看男、女性的數(shù)據(jù),或者是按部門查看數(shù)據(jù)。
問卷提交時間:顧名思義按提交的時間篩選(以天為時間單位)。
來源詳情:如鏈接地址、郵件地址、手機、PC等。
地區(qū):省份、城市
其他類別:比如得分、IP地址等。
舉個例子:如下圖,選擇的篩選條件是問題回答+提交日期。最終選擇的類別為:年齡在21-30歲之間的用戶,且2021/12/23之前提交問卷的用戶,最后得到的有效答卷是 44 份,這就說明滿足該篩選條件的用戶有44人。
此時,系統(tǒng)會把這44個人回答的其他問題也全部篩選出來,如下圖:
44個人當中,有7個人搭訕過 1 次,9個人搭訕過 2-5 次,4個人搭訕過6-10次,5個人搭訕過 10 次以上,剩下19個人從未搭訕過。
除了分類統(tǒng)計,我們還可以通過交叉法,進行差異分析,找出影響因素。
交叉分析法通常用于分析兩個及以上的變量關系,即同時將有一定聯(lián)系的變量及其值交叉排列在一張表格內,形成交叉表,從而分析交叉表中變量之間的關系。
聽上去有一些麻煩,但是現(xiàn)在的很多問卷平臺都會提供交叉分析的功能,下面會以問卷星為例,簡單的了解一下交叉分析的具體流程。
步驟一:點擊問卷后臺的統(tǒng)計頁面,選擇交叉分析,選擇自變量X和因變量Y,點擊交叉分析。
步驟二:得出“分析年齡和關注信息之間的關系”數(shù)據(jù)表現(xiàn)。
當數(shù)據(jù)都放在一起分析時,很難看出年齡和關注信息這一行為的關系,但使用交叉分析之后,可以聚焦每個年齡段對于關注點的偏好,針對性的給出優(yōu)化方案。
20歲以下的用戶中,最關注的是顏值,占比為63.64%。
21-30歲的所有用戶中,最關注的是年齡,占比為67.86%。
31-40歲的所有用戶中,最關注城市,占比為76.92%。
其他年齡的信息偏好等等...
上述的兩種分析方法(分類篩選和交叉分析),都是我們常用且方便的分析方法。如果想要更加深入的進行調研總結,可以使用一些專業(yè)的分析軟件,例如使用SPSS軟件,或者導入Excel表格做數(shù)據(jù)的處理,這都是目前使用比較廣泛的一些分析工具。
*重要的不是分析工具,而是對數(shù)據(jù)的敏感程度和分析能力。
至此,從問卷設計到最后的數(shù)據(jù)分析就講解完了。
問卷調研不是目的,目的是通過調研得出的結論,指導我們體驗的優(yōu)化方向,問卷調研本身只是了解用戶的手段之一,重要的是在問卷設計過程中加深對手頭業(yè)務的理解。
12月份馬上就結束了,這也意味著這個雙月的體驗OKR也到了復盤的階段。想趁這個機會復盤一下自己這么久以來的體驗經(jīng)歷,幫助我拓寬了設計職能的邊界,站在整個產品和業(yè)務的角度,思考當前產品遇到的問題和解決方案。
所以打算分幾篇文章輸出一些關于我在體驗中遇到的問題和解決方案,以及一些個人感悟。
之所以會先從問卷入手,一方面是因為我們在問卷的設計的過程中,很難找到全面分析問卷設計的文章。另一方面是因為理解用戶,才能理解體驗。真正好的體驗一定來自于用戶,且以幫助用戶解決問題為目的。
接下來,本文會通過大量問卷案例,把實際過程中的落地經(jīng)驗分享給大家。
在實際的工作中,常用的用戶調研方式有兩種:問卷調研和用戶訪談。
那么,我們這次體驗調研,為什么使用問卷調研而不是用戶訪談呢?
想要回答這個問題,可以從問卷和訪談的差異性上進行對比:
當一個問題沒有明確答案的時候,很適合做訪談,因為沒有確定的參考變量,不知道方向在哪,訪談可以幫助我們找到目標方向。甚至你的訪談對象可以不是產品用戶,但是他一定要有相同的產品需求。比如一個用戶沒有使用過微信,但是他有明確的社交需求,那么這個用戶就有被訪談的價值,因為他能夠幫助我們找到產品后續(xù)的迭代方向。
而問卷是基于現(xiàn)有數(shù)據(jù),向用戶求證問題的過程。當公司產品經(jīng)歷了冷啟動階段之后,后臺已經(jīng)記錄了足夠的產品數(shù)據(jù),這其中包括各功能的使用情況、用戶行為等,都為問卷設計提供了很好的參考變量。所以,這個時候調研對象控制在使用過我們產品的用戶,可以幫助我們快速定位問題。
當然,上述觀點并不絕對,根據(jù)公司業(yè)務、使用場景、成本預算等因素,問卷和調研一起使用的情況也是有的,所以找到適合自己公司的調研方式最重要。
補充:問卷是一種常用的定量分析工具,使用場景主要分為收集用戶數(shù)據(jù)和需求驗證:
收集用戶數(shù)據(jù)主要是為了判斷我們對用戶的的定位是否精準。具體表現(xiàn)為收集用戶的基本信息、和用戶的體驗反饋(吐槽、好評),主要作為了完善用戶畫像。
需求驗證主要是調研產品功能是否符合用戶預期,以及判斷現(xiàn)有功能是否有優(yōu)化的價值和空間(判斷優(yōu)化空間的依據(jù)主要以后臺數(shù)據(jù)為根本立足點)。
舉個例子:平臺上架了一個xx功能,新功能的觸達路徑從首頁到目標頁需要三步,通過后臺數(shù)據(jù)埋點的追蹤發(fā)現(xiàn),在第二步的時候,觸達人數(shù)驟降。那么針對新功能的問卷重點之一,就會放在這個頁面觸達率為什么這么低上,以此尋找解決方案。
問卷調研屬于間接調查,即被調查者填寫問卷是在調查者不在場的情況下進行的,即調查者與被調查者一般不見面。
問卷的優(yōu)點:
效率高:低成本、反饋快。
容易量化:問卷的內容呈封閉式,答案基本會被限定在有限的數(shù)量范圍內,很少有主觀問答,樣本結果可控,容易量化。
范圍廣:問卷調研不受人數(shù)、地域范圍、時空的限制。
問卷的缺點:
封閉性:問卷的答案是設計者預先設計好的,所以收到的信息有限。
數(shù)據(jù)質量不穩(wěn)定:由于問卷覆蓋的用戶廣,回答問卷的人是不受約束的,用戶的配合意愿對數(shù)據(jù)質量影響較大(可能會出現(xiàn)隨便答題的情況)。
在工作中,問卷的設計流程通常被分為四個階段:準備階段、設計階段、發(fā)放并回收階段,分析報告階段。
確定問卷目的是為了聚焦問題的范圍和方向。
每一個產品調研問卷都應該圍繞著至少1-2個核心目標進行拆分,過多的核心目標會導致問題數(shù)量沒法控制和調研方向不清晰。
在向用戶提出問題之前,有個最重要也是最容易忽略的地方,就是問卷的說明部分,通常這些說明會包括以下內容:
告訴用戶為什么要做這份問卷調查:讓用戶知道,他們的建議會影響產品的設計方向。
告訴用戶做調研的人是誰(即平臺方的名稱)
告訴用戶這份問卷的重要程度:告訴用戶的選擇會影響最后產品的方向
告訴用戶需要多久能填完這份問卷:讓用戶判斷當前是否有足夠的時間完成全部問卷。
告訴用戶回答問卷的有效期限:避免用戶填寫完后,提交的時候發(fā)現(xiàn)已經(jīng)錯過了時機。
告訴用戶保證受訪者的個人隱私是保密的:打消用戶不必要的顧慮,反映客觀事實和觀點。
問卷獎勵的說明:激勵用戶答題,最好是和產品相關的獎勵,比如說平臺會員獎勵。
用戶分群其實就是通過權衡來讓調研目的和用戶的需求相匹配,忽略和調研目的不相關的用戶,從而更好的調研目標用戶的需求,本質是為了提升效率。
常用的用戶分群維度由時間、用戶行為和用戶屬性三個維度組合完成:
時間范圍:比如,最近7天,或者給出一個時間區(qū)間。
用戶行為:圍繞調研目標,明確用戶的核心行為路徑以及分支路徑。然后判斷用戶完成了/未完成/依次完成了xx路徑,比如:
完成了登錄注冊的用戶
沒完成登錄注冊的用戶
完成了登錄注冊,并且點擊了首頁廣告位的用戶
用戶屬性:關于用戶屬性的定義,沒有統(tǒng)一的標準,通常會從業(yè)務角度出發(fā),基于產品功能或運營玩法,對用戶進行屬性分類,比如:性別/是否新用戶/是否實名認證/用戶來源(抖音、地推)等。
下圖是我們用的用戶分群工具:
我們在進行用戶分群時,定位的精準程度,和維度的選擇數(shù)量是正相關的。時間范圍越窄,用戶行為越多,用戶屬性越多,定位到的用戶越精確。
舉個例子:“近7天使用xx功能的男性用戶”,一定比“近7天使用xx功能的用戶”更加精準,因為多了一個“性別”的維度。
當然,每一個產品的業(yè)務模式和用戶群體都是復雜的,根據(jù)商業(yè)模式、產品功能、用戶使用習慣和目的不同,這些因素都可能成為用戶細分的維度。
樣本的數(shù)量,主要取決于我們想要回收多少份有效問卷,也就是回收率。
回收率 = 回收的有效回答份數(shù) / 總發(fā)送的份數(shù) × 100%
問卷回收數(shù) = 回收率 × 樣本數(shù)量
所以,在回收率固定不變的情況下,樣本數(shù)量越大,問卷回收的數(shù)量越多,反之,樣本數(shù)量越小,問卷回收的數(shù)量越少。
影響樣本數(shù)量的因素主要分為響應率和完成率:
響應率 = 打開問卷的用戶 / 問卷實際發(fā)放人數(shù)×100%
舉個例子:平臺通過渠道向100人發(fā)放問卷,只有50人打開了問卷,那么調查的響應率為50 / 100 × 100% = 50%
完成率 = 完成并提交問卷的用戶 / 打開問卷的用戶×100%
舉個例子:有100人點開了問卷,最終有50個人填寫完成,那么完成率為50 / 100 × 100% = 50%
相同的調研樣本數(shù)量,用戶響應率和完成率越高,有效問卷的回收率也就越高。所以,除了增加樣本數(shù)量外,也可以通過提高用戶的響應率和完成率,來提高問卷的回收數(shù)量。
舉個例子:
擴大問卷的曝光量,從而觸達更多用戶,提高響應率。
豐富問卷獎勵,增加用戶的答題意愿,提高完成率。
問卷數(shù)量的價值是存在邊際效應的,因為隨著樣本數(shù)量的增多,回收的答案是趨于一致的,參考價值較低,所以問卷的樣本數(shù)量并不是越多越好。
通常為了保證最終的有效問卷回收能滿足研究報告,應該在理想的樣本數(shù)量上,進行適當?shù)臄U充。
舉個例子:通過觀察平臺用戶的響應率和完成度,估算出抽取1000數(shù)量的樣本數(shù)量能夠支撐最終的研究產出,但是考慮一些特殊情況的產生,此時會再加上200的樣本數(shù)量,來確保問卷的回收率。
MECE是一種將一個具體事物進行"拆分"的原則,該原則由麥肯錫顧問巴巴拉·明托(Barbara Minto)在《金字塔原理》一書中首次提出,隨即被奉為咨詢解決思路的圭臬。其目的在于分析問題時盡量做到對問題點進行不重疊且不遺漏的分類,而且能夠借此有效把握問題的核心,并成為有效解決問題的方法。
MECE原則可以分為兩個部分:
相互獨立(ME):
互斥性原則是指在問卷答案的設計中,同一問題的若干個答案之間關系時是互相排斥的,不能有重疊、交叉、包含等情況。
完全窮盡(CE):
完備性原則是指在問卷答案的設計中,所排列出的答案應包含問題的全部情況,不能有遺漏。特別是針對封閉題而言的,必須做到窮盡。
了解完MECE原則后,接著從以下四個步驟來說一下它的實際用法:
明確問題是什么,比如說我們當前產品的問題是:“為什么新用戶搭訕次數(shù)低?”,所以我們的問題就會聚焦在搭訕數(shù)低的原因上,這也是“完全窮盡”的基礎,只有當問題有了邊界,才能窮盡。
切入點指的是按什么方向進行拆分,還是以“為什么新用戶搭訕次數(shù)低?”這個問題來舉例,我們從搭訕數(shù)低的原因出發(fā),選擇的切入點是“角色”。即:在整個業(yè)務中,會涉及到的“用戶方”和“產品方”兩個角色:
用戶在使用過程中遇到哪些問題,導致用戶搭訕次數(shù)低,比如說用戶對平臺推薦的人不感興趣、不知道搭訕是什么等。
產品的功能設計是否合理,比如說交互邏輯、界面布局,甚至可以聚焦到按鈕的大小和顏色,這些都可能會影響用戶使用搭訕。
考慮當前問題是否可以繼續(xù)細分,比如說用戶方可以分為男性和女性,但是這對搭訕數(shù)并沒有直接的影響,可能還要繼續(xù)細分為年齡、地區(qū)、職業(yè)等屬性,直到找到影響“搭訕”的因素。
細分完成之后,對問題進行檢查,看看是否有明顯遺漏或者重復的問題。
怎么檢查提出的問題是否已經(jīng)滿足相互獨立和完全窮盡呢?這里提供以下兩個方法:
判斷是否相互獨立:每個拆分后的問題,是否可以和其他問題清楚的區(qū)分開。
判斷是否完全窮盡:拆分后的問題是否具有唯一性,是否把能想到的都想到了。
*注:MECE原則同時適用于問題和答案的設計。
MECE的拆分方法具體分為以下五種:
二分法指的是把信息分成A和非A的兩個部分,也就是說在找出事物的某一維度后,繼續(xù)找出一個相反的維度,通俗來說就是找出他的反義詞。常見的例子在我們生活中隨處可見,比如說:未婚和已婚、成年和未成年、黑和白、上和下等等。
找到一個事物的兩個維度,進行坐標系劃分,變成4個象限。
比如我們一次性接到了很多迭代的設計需求,可以根據(jù)任務的重要性和緊急程度兩個維度,確定所有迭代需求的優(yōu)先級。
P0:重要且緊急,該問題未得到解決,用戶無法順利完成任務,這種需要馬上開始進行優(yōu)化解決的,比如一個電商軟件,用戶付款時總是失敗。
P1:重要但不緊急,這種一般指用戶在操作時可能感到麻煩,但仍然可以繼續(xù)完成任務,比如說按鈕、反饋很不顯眼,需要仔細查找??梢赃^段時間交付的內容也算在這個范圍內,比如國慶大型活動這種需求一般都要提前很久準備,可能交付時間在一兩個星期之后。
P2:不重要但緊急,這種情況在設計工作中一般會比較少,比如歷史版本中遺留下來的字號、間距等問題。
P3:不重要且不緊急,盡量少做,或者可以不做的需求,比如需求評審會上不完善、待修改的需求。
要素法是根據(jù)一個事物的做成要素行劃分的。比如說我們作為設計師,都知道體驗很重要,但是什么樣的體驗才能被稱之為好呢?于是很多公司會制定自己的體驗度量標準,比如Ant rDesign的PTECH模型,就把體驗拆分成了性能體驗、任務完成度、參與度、清晰度和滿意度。
*題外話補充:
HEART模型更多是用來度量C端產品的體驗,并不太適用于B端產品。B端產品多是提高效率的工具類產品,業(yè)務比較復雜且用戶需要付費才能使用,比較注重任務的完成效率和邏輯的清晰度。
按照現(xiàn)有公式中的要素進行去分類,比如說銷售額 = 銷售量 x 價格,CTR = 點擊數(shù) / 曝光數(shù)(根據(jù)不同業(yè)務和場景會有細微差異)。
這種時候,我們就可以把銷售額拆分為銷售量和價格,CTR拆分為點擊數(shù)和曝光數(shù)。
流程法指的是把一個事物,按照進行的流程進行劃分。拿我自己的上班日常來舉例:8個活動組成一個流程。
封閉式:
在提出的每個問題下面給出若干個答案,讓被調查者選出其中的一個或若干個問題來回答的問卷形式。封閉式問題的優(yōu)勢在于,用戶在看到問題和答案的時候,很快就能理解提問者的目的。
a. 是非型:有且只有兩個備選答案,受訪者只能從中選擇一個答案。
b. 并列型:提供兩個及以上的并列答案,讓用戶在其中選擇最適合自己的答案。
c. 等級型:對兩個及以上分成等級的答案進行選擇的題型,只能從中選擇一個答案。
d. 排序型:讓用戶從備選答案中選出全部或者部分答案,根據(jù)用戶選擇順序對答案進行排列的一種方式。
開放式:
開放式問卷是問卷設計者提供問題,由被調查者自行構思自由發(fā)揮,從而按自己意愿答出問題的問答題型為主,也就是我們常說的填空題。
開放式的優(yōu)勢是經(jīng)常會收集到一些意料之外的信息,且都是用戶直觀的感受。但正是由于它的開放性,會導致問題的答案很不規(guī)范,經(jīng)常會出現(xiàn)用戶的回答和問題不相符的情況。這類不規(guī)范的回答無法使用數(shù)據(jù)分析方法,嚴重影響最后的分析效率。
比如說我們本次的問卷目標是調研影響用戶搭訕率和回復率的因素,其中有道填空題:
問題:您在搭訕聊天的過程中,有什么不滿意的地方?或有什么建議?
回答:不太清楚、不知道等詞語。
混合式:指的是封閉式+開放式組合,常見的是在封閉式的答案下,用戶選擇一個答案后,會出現(xiàn)一個輸入框,填寫用戶自己的看法,根據(jù)不同的情況,輸入框分為必填和非必填。
*問題的產生要有理有據(jù)。
我們本次調研的目的,主要是為了幫助用戶解決問題,所以在問卷的設計過程中,要問自己兩個問題:
找到用戶遇到了哪些問題?
造成用戶遇到這些問題的原因有哪些?
步驟一:通過用戶使用路徑差異,定位問題
通過對比路徑和數(shù)據(jù)漏斗,發(fā)現(xiàn)并記錄用戶在使用過程中遇到的問題。
如下圖,是一個簡化的用戶路徑和漏斗數(shù)據(jù),主要分析的是“首頁 - 發(fā)送消息”這條核心路徑,可以發(fā)現(xiàn):用戶流失最大的地方在“查看用戶資料 - 進入IM頁”這一階段。
當定位問題后,還需要通過福格模型來擬定問題和答案。
步驟二:通過福格模型,分析影響因素
福格模型認為,行為的發(fā)生,有 3 個關鍵的要素,并且需要 3 個要素同時發(fā)生才能產生作用,也就是動機、能力和提示:
動機:做出行為的欲望。
能力:去做某個行為的能力。
提示:提醒你做出某個行為的信號。
*之前的版本為 B=MAT,其中 T 是 trigger 觸發(fā)的意思,后續(xù)迭代成 B=MAP,P 是 Prompt 提示的意思,但是提示和觸發(fā)的差異并不大,不必糾結。
當我們利用福格模型去分析“查看用戶資料 - 進入IM頁”的流失問題時,就變成了:
動機:對方資料頁的哪些信息對用戶的吸引力高?哪些吸引力低?
能力:阻礙用戶點擊私聊的原因可能是什么?按鈕是否在拇指可觸控區(qū)域?
提示:用戶是否注意到了私聊的存在?怎樣在不打擾用戶的情況下讓用戶注意到私聊按鈕?
針對MAP這三個因素,預測用戶在各個使用場景會遇到的困難,總結成問卷,向用戶求證。
我們通過上述方法設計出很多的問題后,時常會出現(xiàn)問題很多,“我全都要”的情況。
這里提供給大家一個思路:根據(jù)屬性不同,對所有問題進行歸類。當然,有時候會遇到這樣的情況:有一些問題沒有明確的屬性進行定義,但是又很重要,這種問題可以統(tǒng)一概括為其他。
歸類完成后,從每一個屬性中,選出固定數(shù)量的問題整合成問卷,篩選的標準以目標結果為導向,也就是每個問題和本次問卷目標的關聯(lián)性,關聯(lián)性強,則納入問卷,反之則剔除。
這樣做的好處是在最后的問卷結構上,可以把相同屬性的問題放在一起,保證上下問題的邏輯性和相關性,用戶作答時不顯得別扭。
問題的數(shù)量沒有固定的要求,根據(jù)不同的業(yè)務、不同的問卷目的,問卷的數(shù)量都是不同的。
通常情況下,問卷中的問題越多,所得的數(shù)據(jù)就越詳細。但是問題越多,用戶的投入成本也就越高,這樣就會導致填寫意愿降低。
我們公司平時的問題數(shù)量,基本會控制在15個左右,為的是讓用戶能夠在半小時內填寫完畢。因為用戶填寫問卷的耐心和時間都是有限的,所以在問題的數(shù)量上,不宜過多。
按照問題的難易程度進行排列:問題應該先易后難,由淺入深,先問正面的問題,后問負面的問題,先描述客觀問題,后描述主觀問題,先一般性質的問題,后特殊性質的問題。
按照問題的類型進行排序:排列問題的順序時,要注意把不同類型的問題放在一起,這樣用戶可以一起回答,避免破壞用戶的思路和注意力。
按照問題的時間順序進行排列:一般來說,問題應該按照事情發(fā)生的過去、現(xiàn)在、未來的時間順序進行排列,也可以發(fā)過來,即由近到遠。
在設計問題時,避免回憶性問題,特別是長時間以前的回憶,記憶的模糊會降低答題的準確率。
因為人的記憶是呈碎片化存儲在大腦里的,直接問用戶是很難被搜索到的。但是,在實際調研中,經(jīng)常會出現(xiàn)不得不讓用戶回憶的情況,針對這種場景,需要在問題當中構建出一個具象的場景,這里的場景可以是時間、地點或者產品功能等,能夠幫助用戶串聯(lián)起回憶的都可以。
舉個例子:比如我現(xiàn)在想調研用戶使用發(fā)布模塊的情況,那么在問題設計時,就會圍繞發(fā)布相關的場景進行提問。
如果問題中帶有偏向性的語境,這樣就可能引發(fā)“誘導”,會導致用戶選擇問題“暗示”的答案。
舉個例子:
如下圖,單看修改前的問題是沒什么對錯的,但聊天只是我們產品的功能之一,它由1v1聊天、群組聊天等多個功能組成。這樣就會造成用戶回答的內容很寬泛,很難提取出有價值的信息。所以在問題的修改上,我們需要更加具體的指向性內容。
一個問句中,出現(xiàn)兩個及以上的問題。這個很簡單,我們直接用上面學到的MECE原則進行拆分就可以了,直接分成兩個問題提問。
在設計問題時要避免使用專業(yè)性術語,通俗易懂的語言容易被不同畫像的用戶理解,避免誤會而引起的問答偏差。有些用戶可能因為不知道“算法”的具體意思,導致問卷無法進行。
雙重否定就是否定兩次,即表示肯定的意思,如:不得不。這種句式的問題,用戶通常不能一下子就讀懂句子的意思,增加答題成本。
轉移法
不直接詢問用戶對某事的觀點,而是把問題轉移到其他人身上,然后,請用戶以第三人稱的視角,對他人的回答作出評價,更能得到用戶真實的想法。
假設法
首先假設某一情景或現(xiàn)象的存在,然后再詢問用戶的看法。
答案的設計最后會影響數(shù)據(jù)的有效性,所以在設計上需要注意以下三點事項:
具體量化:避免主觀描述,比如,偶爾、經(jīng)常、幾乎、相當多。這類詞語在不同的情況下,不同的用戶會有不同程度的理解。
避免無效數(shù)據(jù):特殊情況下,提供無效答案,比如其他、以上都不是等選項,避免給出的答案都不是用戶想要的,隨便選一個,影響最后的數(shù)據(jù)分析。
避免多選:多選的話設置上限,一般不超過三個,可根據(jù)具體情況增加或減少。
在內部評審之前,首先要自審一遍,這就要求我們在設計問卷后,最好是站在問卷回答者的角度,試著自己做一遍問卷,避免出現(xiàn)一些比較常規(guī)性質的問題,比如問卷的邏輯性、用詞的通俗性、語意的表達等。
問卷自審后沒什么問題后,可以邀請項目組的人進行內審,最好可以拉上開發(fā)、產品一起,提供多角度的思考方向。
問卷發(fā)放主要從時間、地點、人物三個維度出發(fā)。
在問卷的發(fā)放和回收時間之間,需要考慮用戶看到問卷的時間和答題時間。
根據(jù)問卷的曝光程度,留有足夠的時間讓用戶能夠看到并點擊問卷,如果發(fā)放和回收中間留的時間過短,會造成用戶可能沒看到問卷,或正在答題中,就已經(jīng)開始回收了。這種情況會導致用戶在沒有完整閱讀題目或者充分思考的情況下,隨便作答,無法獲取足夠的樣本數(shù)據(jù)和用戶的真實想法。
當然,發(fā)放和回收中間留的時間也不宜過長,時間越長,用戶忘記調研問卷這回事的概率也就越大。
投放渠道,由于我們的體驗工作一般圍繞APP進行,所以我們的渠道主要分為以下幾種:
app消息推送(push)
優(yōu)點:可實現(xiàn)精準投放
缺點:受限于設備的消息開關,打擾性強
app廣告位推送:啟動頁,banner,信息流等形式
優(yōu)點:由于是用戶主動點擊進行,所以有效性較高
缺點:廣告位多為全量投放,無法保證用戶參與度
用戶和問卷的匹配關系:問卷的調研對象必須是我們的用戶。也就是說,如果投放的用戶和問卷不匹配,那么最后得到的數(shù)據(jù)是沒有意義。
并且在分發(fā)方式上,還會根據(jù)規(guī)模分為部分和全量。部分就是針對用戶分群后的具體用戶,有選擇性的進行問卷發(fā)放。全量則是針對平臺所有用戶的問卷,這種由于平臺的用戶類型很多,資源浪費等問題,基本不太用。
在前文關于問卷的特點中我們提到,用戶回答問題的場景是不可控的,可能會出現(xiàn)瞎填的情況,如果我們回收問卷后立馬進行分析,會混入一些無效數(shù)據(jù),大大降低我們調研結果的可靠性。
所以,在正式進行數(shù)據(jù)分析之前,還有一個問卷篩選的環(huán)節(jié),以此保證數(shù)據(jù)的有效性,專業(yè)名稱叫做數(shù)據(jù)清洗。
既然涉及數(shù)據(jù)清洗,那么就一定會有一套標準去判斷哪些數(shù)據(jù)是可以“被清洗”的,所以我們這里總結了以下幾個標準供大家參考:
選項呈重復性和規(guī)律性
檢查答案是否出現(xiàn)保持一致,或呈現(xiàn)某種規(guī)律的情況,出現(xiàn)的問卷進行刪除。
舉個例子:所有的答案都是“A-A-A-A”或”A-B-A-B”
剔除漏答數(shù)過多的問卷
嚴格來說應該將漏填的答卷全都進行剔除,但有時候會遇到回收樣本量很少的情況,所以一般會設置漏答數(shù)的標準。
常用的標準是總題數(shù)的2/3,例如問卷一共設計了 10 個問題,回答了 6 個以上的用戶即視為有效問卷,反之,則視為無效問卷。
前后邏輯不符
有些用戶受主客觀因素影響,可能不會認真選答案,所以需要檢查前后的選項是否矛盾。
在問題的設計中,經(jīng)常會出現(xiàn)多個問題之間保持邏輯關系,如果用戶選擇了前一題“A”,則不應該選擇后一道題的“B”。
舉個例子:用戶在前一題中選擇了“從未搭訕過”,后面卻又選擇了“搭訕后沒有人回復“,這種就可以視為前后邏輯不符的答卷。
如果問卷中實在找不出可以用來表示邏輯關系的問題,那么也可以設置一個明顯錯誤的答案,最后統(tǒng)計問卷數(shù)據(jù)時,剔除該問卷即可。
當然問題的迷惑性不能太強,我們只是想要檢驗用戶是否在認真答題,而不是為難用戶,所以認真閱讀問題和答案就不會出錯。
未按問卷所指示之題項填答
舉個例子:第1題問:「請問您使用過語音功能嗎?若沒有,請忽略第 2 題」,如果用戶第1題選沒有的,卻仍回答了第2題,那么就可以把該問卷視為無效。
根據(jù)填答時間和提交時間處理
在發(fā)放問卷前,我們會進行答題測試,目的是估算出答題所需要的總時長,以此作為問卷答題時長的有效性依據(jù),如果最后回收的問卷答題時間比預估時間過長或過短,就可以判斷為答題不認真,都可以根據(jù)業(yè)務需求酌情剔除。
提交時間主要針對的是在規(guī)定時間內完成答題,但超過了提交時間的用戶。比如說我們回收問卷的截止時間是12月7日,但是有的用戶是在12月8日完成答題并提交的,也會被視為無效問卷。(市面上有些問卷工具,可以回收設置時間,超過規(guī)定時間提交的問卷不計入問卷回收。)
統(tǒng)計各選項的數(shù)量、頻率是最常用到的分析方法,然后通過圖表展現(xiàn)出來,可以非常直觀的看出整體分布情況。具體可以分為趨勢分析和分組分析兩種方法。
顧名思義,分類篩選是根據(jù)類別來進行數(shù)據(jù)篩選的一種方法,常用的類別有:
按回答篩選:根據(jù)題目中某道題進行篩選分類。使用場景如:需要分別查看男、女性的數(shù)據(jù),或者是按部門查看數(shù)據(jù)。
問卷提交時間:顧名思義按提交的時間篩選(以天為時間單位)。
來源詳情:如鏈接地址、郵件地址、手機、PC等。
地區(qū):省份、城市
其他類別:比如得分、IP地址等。
舉個例子:如下圖,選擇的篩選條件是問題回答+提交日期。最終選擇的類別為:年齡在21-30歲之間的用戶,且2021/12/23之前提交問卷的用戶,最后得到的有效答卷是 44 份,這就說明滿足該篩選條件的用戶有44人。
此時,系統(tǒng)會把這44個人回答的其他問題也全部篩選出來,如下圖:
44個人當中,有7個人搭訕過 1 次,9個人搭訕過 2-5 次,4個人搭訕過6-10次,5個人搭訕過 10 次以上,剩下19個人從未搭訕過。
除了分類統(tǒng)計,我們還可以通過交叉法,進行差異分析,找出影響因素。
交叉分析法通常用于分析兩個及以上的變量關系,即同時將有一定聯(lián)系的變量及其值交叉排列在一張表格內,形成交叉表,從而分析交叉表中變量之間的關系。
聽上去有一些麻煩,但是現(xiàn)在的很多問卷平臺都會提供交叉分析的功能,下面會以問卷星為例,簡單的了解一下交叉分析的具體流程。
步驟一:點擊問卷后臺的統(tǒng)計頁面,選擇交叉分析,選擇自變量X和因變量Y,點擊交叉分析。
步驟二:得出“分析年齡和關注信息之間的關系”數(shù)據(jù)表現(xiàn)。
當數(shù)據(jù)都放在一起分析時,很難看出年齡和關注信息這一行為的關系,但使用交叉分析之后,可以聚焦每個年齡段對于關注點的偏好,針對性的給出優(yōu)化方案。
20歲以下的用戶中,最關注的是顏值,占比為63.64%。
21-30歲的所有用戶中,最關注的是年齡,占比為67.86%。
31-40歲的所有用戶中,最關注城市,占比為76.92%。
其他年齡的信息偏好等等...
上述的兩種分析方法(分類篩選和交叉分析),都是我們常用且方便的分析方法。如果想要更加深入的進行調研總結,可以使用一些專業(yè)的分析軟件,例如使用SPSS軟件,或者導入Excel表格做數(shù)據(jù)的處理,這都是目前使用比較廣泛的一些分析工具。
*重要的不是分析工具,而是對數(shù)據(jù)的敏感程度和分析能力。
至此,從問卷設計到最后的數(shù)據(jù)分析就講解完了。
問卷調研不是目的,目的是通過調研得出的結論,指導我們體驗的優(yōu)化方向,問卷調研本身只是了解用戶的手段之一,重要的是在問卷設計過程中加深對手頭業(yè)務的理解。
文章來源:站酷 作者:抓馬九七
分享此文一切功德,皆悉回向給文章原作者及眾讀者.
免責聲明:藍藍設計尊重原作者,文章的版權歸原作者。如涉及版權問題,請及時與我們取得聯(lián)系,我們立即更正或刪除。
藍藍設計( m.yvirxh.cn )是一家專注而深入的界面設計公司,為期望卓越的國內外企業(yè)提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網(wǎng)站建設 、平面設計服務