منبع: بنیاد طراحی تعامل (IxDF) · بازنویسی آزاد: سپنتا پویا · ترجمه: ۶ شهریور ۱۴۰۵ · زمان مطالعه: حدود ۱۴ دقیقه

پژوهش کمی (Quantitative Research) چیست؟

💡 این متن «بازنویسی آزاد» است: ایده‌ها و مفاهیم مطلب اصلی با نگارش کاملاً مستقل فارسی و مثال‌های تازه بازگو شده‌اند و ترجمهٔ کلمه‌به‌کلمه نیست. بخش‌های افزودهٔ مترجم در جعبهٔ منبع مشخص شده‌اند.

یک تیم دو نسخه از صفحهٔ پرداخت را آزمود. نسخهٔ دوم کمی بهتر بود و همان فرستاده شد. سه ماه بعد نرخ تبدیل تکان نخورده بود.

عدد دروغ نگفته بود. عدد پهنا داشت و کسی پهنا را نخوانده بود.

تعریف

پژوهش کمی روشی است برای آزمودن نظریه‌ها دربارهٔ نگرش و رفتار مردم، بر پایهٔ شواهد عددی و آماری.

پژوهشگر شمار زیادی از کاربران را نمونه‌گیری می‌کند — مثلاً با نظرسنجی — تا دادهٔ سنجش‌پذیر و بی‌سوگیری دربارهٔ آن‌ها در موقعیت‌های مربوط به دست بیاورد.

واژهٔ کلیدی این تعریف «غیرمستقیم» است. داده از فاصله می‌آید. پژوهشگر کنار کاربر نمی‌نشیند و بنابراین چیزی را که می‌شمارد، از نزدیک نمی‌بیند.

این یک زیرمجموعه از تحقیق کاربر است، نه رقیب آن.

آنگوس مدیسون، مورخ اقتصاد کمی، جملهٔ خوبی دربارهٔ فایدهٔ این کار دارد: «کمی‌سازی مسائلی را روشن می‌کند که تحلیل کیفی مبهم رهایشان می‌کند».

بخش دوم همان جمله مهم‌تر است. عدد راحت‌تر قابل مناقشه است و به همین دلیل مناقشه هم می‌شود. عدد بحث را تیز می‌کند و فرضیه‌های رقیب را بیرون می‌کشد.

پس فایدهٔ اصلی این نیست که عدد حقیقت را می‌گوید. فایده این است که عدد را می‌توان رد کرد.

خط مرز با پژوهش کیفی

این مرز در سه جا کشیده می‌شود و در همان سه جا هم تمام می‌شود.

• - ۱. چه چیزی را می‌پرسد: پژوهش کمی «چه چیزی»، «کجا» و «کِی» را جواب می‌دهد. پژوهش کیفی سراغ «چرا» می‌رود.
• - ۲. چقدر ساخت‌یافته است: روش کمی ساخت‌یافتگی بالایی دارد، مثل نظرسنجی، تا الگو را در گروه‌های بزرگ پیدا کند. روش کیفی ساخت کم‌تری دارد، مثل پرسش‌گری در بافت.
• - ۳. با چند نفر: برای پژوهش کمی در حالت آرمانی ۳۰ نفر و بیشتر لازم است. کار کیفی معمولاً حدود ۵ نفر است.

یک تفاوت چهارم هم هست: تماس. کار کمی دورتر و باواسطه‌تر است و از داده‌های تحلیلی تغذیه می‌کند. کار کیفی نزدیک است و تست کاربردپذیری نمونهٔ روشن آن است.

نتیجهٔ این تفاوت‌ها یک نسبت کاری است. در یک فرایند توسعهٔ تکرارشونده، کار کیفی فرض می‌سازد و کار کمی همان فرض‌ها را می‌آزماید.

بقیهٔ این نوشته دربارهٔ خودِ کار کمی است. سمت کیفی ماجرا صفحهٔ خودش را دارد.

روش‌ها

روش‌های کمی زیادند و هرکدام نوع دیگری از اطلاعات را بیرون می‌کشند. بعضی‌شان روی محصول تمام‌شده اجرا می‌شوند و بعضی در سراسر فرایند طراحی.

• - ۱. تست A/B: دو یا چند نسخه از یک طراحی را روی کاربران می‌آزمایید تا مؤثرترین را پیدا کنید. هر نسخه فقط در یک ویژگی با بقیه فرق دارد. دو دغدغه دارد: مقیاس، چون معمولاً به هزاران کاربر نیاز است، و پیچیدگی معناداری آماری.
• - ۲. داده‌های تحلیلی: با ابزارهایی مثل گوگل آنالیتیکس سنجه‌هایی مثل بازدید صفحه و نرخ کلیک را می‌سنجید و از آن‌ها یک تصویر می‌سازید: چند کاربر، در چه مدت، یک کار را تمام می‌کنند.
• - ۳. مطالعهٔ مطلوبیت: یک جنبه از محصول را می‌سنجید، مثلاً جذابیت زیبایی‌شناختی. طراحی را به شرکت‌کننده نشان می‌دهید و از او می‌خواهید از میان فهرستی از واژه‌های توصیفی انتخاب کند. خروجی‌اش گزاره‌هایی از این جنس است که ۷۸ درصد محصول را «مُدرن» می‌دانند.
• - ۴. نظرسنجی و پرسش‌نامه: وقتی نظر شمار زیادی از کاربران را می‌پرسید، حجم عظیمی از اطلاعات می‌گیرید. حواستان باشد که این داده دربارهٔ چیزی است که کاربر می‌گوید انجام می‌دهد، نه آنچه انجام می‌دهد.
• - ۵. آزمون درختی: رابط کاربری را برمی‌دارید تا کاربر ناچار شود فقط با پیوندها در سایت بگردد و کارها را تمام کند. این کار نشان می‌دهد مسئله به رابط مربوط است یا به معماری اطلاعات.

روش پنجم منطق کل این جدول را نشان می‌دهد. هر روش کمی یک متغیر را ثابت می‌کند تا متغیر دیگری قابل شمردن شود.

یک فایدهٔ دیگر هم اینجا هست که کم‌تر از بقیه گفته می‌شود. عدد، حمایت ذی‌نفعان را نگه می‌دارد. با آمار سخت می‌شود نشان داد چه چیزی خوب کار می‌کند، چه چیزی بهبود می‌خواهد و بازگشت سرمایه چقدر بوده است. گزارش مقایسه‌ای هم می‌شود ساخت: نسخه‌های مختلف محصول خودتان در برابر محصول رقیب.

بیشتر روش‌های کمی نسبتاً ارزان‌اند. اما هیچ روشی همهٔ پرسش‌ها را جواب نمی‌دهد، پس داوری اینکه کدام روش به مرحلهٔ فعلی پروژه می‌خورد، خودش بخشی از کار است.

اینکه دقیقاً چه چیزی را بشمارید، موضوع صفحه‌های دیگری در همین مجموعه است: سنجه‌های تجربهٔ کاربری، سنجه‌های کلیدی عملکرد، چارچوب HEART و نرخ تبدیل. چند روش عددی دیگر هم صفحهٔ خودشان را دارند، از جمله آزمون اولین کلیک و ردیابی چشم.

چند نفر کافی است

تعیین اندازهٔ نمونه در پژوهش کمی برای قابل‌اتکا بودن نتیجه حیاتی است. عدد مرجعش هم روشن است: در حالت آرمانی ۳۰ نفر و بیشتر.

دلیلش با یک پرسش ساده معلوم می‌شود. فرض کنید دو گزینهٔ طراحی نتیجه‌های متفاوتی گرفته‌اند. از کجا می‌دانید آن تفاوت معنادار آماری است و محصول شانس نیست؟

ویلیام هادسون، مدیرعامل سینتگم، همین را نقطهٔ تشخیص می‌گیرد. ابزارهای آماری مثل آزمون خی‌دو برای همین کار وجود دارند: جدا کردن تفاوت واقعی از نوسان تصادفی.

روش انتخاب نمونه هم به اندازهٔ حجم آن مهم است. چند تکنیک رایج وجود دارد.

• - ۱. نمونه‌گیری تصادفی: هر فرد در جمعیت شانس برابری برای انتخاب‌شدن دارد. سوگیری را کم می‌کند و تحلیل را ساده.
• - ۲. نمونه‌گیری سیستماتیک: از یک شروع تصادفی، هر عضو k-اُم فهرست انتخاب می‌شود. در جمعیت‌های بزرگ ساده‌تر و سریع‌تر از تصادفی است.
• - ۳. نمونه‌گیری طبقه‌ای: جمعیت را بر اساس ویژگی‌های مشابه به زیرگروه تقسیم می‌کنید و از هر طبقه تصادفی نمونه می‌گیرید.
• - ۴. نمونه‌گیری خوشه‌ای: جمعیت را به خوشه تقسیم می‌کنید و یک نمونهٔ تصادفی از خوشه‌ها برمی‌دارید.
• - ۵. نمونه‌گیری چندمرحله‌ای: در مرحله‌های مختلف از تکنیک‌های مختلف استفاده می‌شود تا از جمعیت‌های متنوع اطلاعات دقیق‌تری بیرون بیاید.
• - ۶. نمونه‌گیری دردسترس: پژوهشگر نمونه را بر اساس دسترس‌پذیری و تمایل افراد به مشارکت برمی‌دارد. چنین نمونه‌ای ممکن است فقط بخشی از جمعیت را نمایندگی کند.
• - ۷. نمونه‌گیری سهمیه‌ای: جمعیت را به زیرگروه می‌شکنید و از هر زیرگروه، به‌شکل غیرتصادفی، تا پر شدن سهمیه نمونه برمی‌دارید.

هیچ تکنیکی برای همهٔ موقعیت‌ها درست نیست. انتخاب به پرسش پژوهشی، رشته، منابع در دسترس و دقتی که لازم دارید بستگی دارد.

در عوض یک چیز همیشه لازم است: راهبرد از پیش برنامه‌ریزی‌شده. بدون آن منابع و زمان هدر می‌روند.

جذب شرکت‌کننده هم باید با وسواس انجام شود. کیفیت پاسخ‌ها موضوع جداگانه‌ای است و پاسخ‌های بی‌دقت باید شناسایی و کنار گذاشته شوند.

چهار نوع پژوهش کمی

• - ۱. توصیفی: می‌خواهد روشن و دقیق نشان دهد «چه چیزی وجود دارد». به دلیل‌های زیرین کاری ندارد.
• - ۲. همبستگی: رابطهٔ میان متغیرها را بررسی می‌کند.
• - ۳. علّی-مقایسه‌ای یا نیمه‌آزمایشی: رابطهٔ علت و اثر میان متغیرها را می‌کاود.
• - ۴. آزمایشی: با دست‌کاری متغیر مستقل، رابطهٔ علّی را می‌آزماید.

این چهار نوع یک ترتیب دارند و ترتیبشان یک محور است: اینکه اجازه دارید چه چیزی را ادعا کنید.

پژوهش همبستگی جای خوبی برای دیدن این محور است. با تحلیل آماری می‌شود رابطهٔ متغیرها را فهمید و آزمون‌هایی مثل ضریب پیرسون و ضریب رتبه‌ای اسپیرمن همین کار را می‌کنند.

مثالش هم صریح است: رابطهٔ طول نشست با ارزش سبد خرید. تحلیل نشان می‌دهد زمان صرف‌شده روی یک صفحه با مبلغ نهایی پرداخت همبسته است یا نه.

اما همبستگی، هرچقدر هم قوی، شما را از نوع دوم به نوع چهارم نمی‌برد.

پرسش کمی را چطور بنویسیم

کیفیت پرسش و فهم پاسخ‌دهنده از آن، تعیین‌کنندهٔ کیفیت داده است. سه قاعده اینجا مهم‌ترند.

• - ۱. روشن، کوتاه و بی‌ابهام: هر پرسش در یک زمان فقط به یک جنبه بپردازد.
• - ۲. واژهٔ رایج و کوتاه: و اگر واژهٔ ناآشنایی لازم شد، همان‌جا توضیحش بدهید.
• - ۳. پرهیز از پرسش جهت‌دار، مرکب و هم‌پوشان: پرسش نباید مبهم یا بیش از حد کلی باشد.

دو قالب هم بهتر است کنار گذاشته شوند: شبکه‌های پرسش طولانی و پرسش‌های رتبه‌بندی. هر دو دلهره‌آور و گیج‌کننده‌اند و درگیری شرکت‌کننده را از بین می‌برند.

خودِ نظرسنجی هم مرز جالبی دارد. پژوهش نظرسنجی معمولاً کمی است، چون داده عددی جمع می‌کند تا نتیجه‌ای تعمیم‌پذیر بدهد. اما وقتی پرسش‌های باز در آن باشد، عنصر کیفی هم پیدا می‌کند.

کاربرد دقیق‌ترش هم همین است: مثلث‌سازی. نظرسنجی برای پشتیبانی از یافته‌های کار کیفی خوب کار می‌کند.

بازهٔ اطمینان: عدد بی‌پهنا خوانده نمی‌شود

این بخش افزودهٔ من است، چون منبع از معناداری آماری نام می‌برد ولی آن را به چیزی که بشود روی کاغذ کشید ترجمه نمی‌کند — و همان شکل هندسی، تمام دعوا است.

عدد نتیجه یک نقطه است. برآورد یک بازه است.

هر نمونه‌گیری یک عدد به شما می‌دهد که مقدار واقعی نیست. تخمینی از مقدار واقعی است و آن تخمین یک پهنا دارد. پهنا می‌گوید چقدر بی‌اطمینان هستید.

رابطهٔ پهنا با اندازهٔ نمونه هم ساده است. پهنا با جذر اندازهٔ نمونه کوچک می‌شود. برای نصف‌کردن پهنا، نمونه را باید چهار برابر کنید.

همین یک نسبت، بحث «چند نفر» را از سلیقه بیرون می‌آورد. پرسش درست این نیست که چند نفر کافی است. پرسش این است که برای تصمیمی که می‌خواهید بگیرید، چه پهنایی قابل تحمل است.

و از اینجا قاعدهٔ اصلی بیرون می‌آید. دو بازه که هم‌پوشانی دارند، یک تصمیم نمی‌سازند.

فرض کنیم دو نسخه از یک صفحه را آزموده‌اید و نسخهٔ دوم عدد بالاتری گرفته است. اگر بازهٔ آن دو روی هم بیفتد، آنچه دیده‌اید با «هیچ تفاوتی نیست» هم سازگار است. فاصلهٔ دو نقطه هیچ چیزی را حل نمی‌کند.

پس آنچه باید نگاه کنید فاصلهٔ دو میانگین نیست. هم‌پوشانی دو بازه است.

سه پیامد عملی دارد.

یک: عدد را هیچ‌وقت بدون پهنایش گزارش نکنید. «نرخ تکمیل بالا رفت» یک گزاره نیست. گزاره آن است که پهنا هم داشته باشد.

دو: بازهٔ پهن یک جواب است، نه شکست. بازهٔ پهن می‌گوید داده برای این تصمیم بس نیست. جواب درستش داده یا زمان بیشتر است، نه لحن قاطع‌تر.

سه: تصمیم را پیش از دیدن عدد به پهنا گره بزنید. اگر قرار است با بازهٔ هم‌پوشان هم همان کار را بکنید، آزمون از اول لازم نبود.

معنادار بودن و مهم بودن یکی نیستند

این بخش هم افزودهٔ من است، چون فهرست روش‌ها و فهرست تکنیک‌های نمونه‌گیری هر دو فرض می‌گیرند که تفاوت معنادار، تفاوتی است که ارزش کار دارد. این دو یکی نیستند و شکاف میانشان جایی است که بودجهٔ طراحی هدر می‌رود.

یک نتیجهٔ کمی باید از دو آزمون جدا رد شود.

آزمون اول، فاصله از صفر است. بازهٔ برآورد نباید صفر را در بر بگیرد. این همان معناداری آماری است و می‌گوید اثر احتمالاً واقعی است.

آزمون دوم، عبور از آستانهٔ ارزش است. باید از پیش گفته باشید کم‌ترین اثری که ارزش پیاده‌سازی دارد چقدر است. این همان معناداری عملی است و می‌گوید اثر ارزش خرج‌کردن دارد.

گذشتن از آزمون اول، گذشتن از آزمون دوم نیست.

مکانیکش هم روشن است. با نمونهٔ بزرگ، اثرهای بسیار کوچک هم معنادار آماری می‌شوند. نمونهٔ بزرگ بازه را باریک می‌کند و بازهٔ باریکِ دور از صفر، حتی برای یک اثر ناچیز، معناداری می‌دهد.

پس در مقیاس بزرگ، معناداری آماری تقریباً همیشه به دست می‌آید. آن چیزی که کمیاب می‌ماند، اثری است که ارزش کار داشته باشد.

سه حالت شکست هست و هر سه در گزارش‌ها دیده می‌شوند.

حالت یک: معنادار، ولی بی‌اهمیت. بازه از صفر دور است و کل بازه زیر آستانهٔ ارزش می‌ماند. نتیجه واقعی است و پیاده‌سازی‌اش پول از دست دادن است.

حالت دو: معنادار، ولی بی‌تصمیم. بازه از صفر دور است و آستانه را قطع می‌کند. یعنی داده هم با «ارزش دارد» سازگار است و هم با «ندارد».

حالت سه: بازه صفر را در بر می‌گیرد. اینجا هیچ نتیجه‌ای در کار نیست، هرچقدر هم که نقطهٔ برآورد بزرگ باشد.

قاعدهٔ حفاظتی‌اش یک جمله است: آستانهٔ ارزش را پیش از دیدن عدد بنویسید.

اگر آستانه بعد از دیدن نتیجه انتخاب شود، همان‌جایی می‌نشیند که نتیجه دلخواه شود. این نه بدجنسی است و نه نادر؛ حالت پیش‌فرض هر تیمی است که به چیزی امید بسته.

و بهانه‌ای هم برای نوشتن آستانه در دست است. بهبود طراحی هزینه دارد، پس وقتی آمار می‌گوید تغییری کاربردپذیری را بهتر می‌کند، می‌شود ارزش پیاده‌سازی آن تغییر را برآورد کرد. همان برآورد، آستانهٔ شما است.

در بافت فارسی

یک: نمونهٔ سی‌نفره اینجا گران‌تر از آن‌جاست. پنل آمادهٔ کاربر فارسی‌زبان کم است.

پس نمونه معمولاً از کانال خودتان می‌آید: خبرنامه، کانال تلگرام، فهرست مشتریان. مشکلش این است که همان کانال، خودش یک صافی است و کاربران راضی‌تر و فعال‌تر را بیشتر نگه داشته. منبع نمونه را در گزارش بنویسید، چون بدون آن، نتیجه تعمیم‌پذیر به نظر می‌رسد در حالی که نیست.

دو: ترافیک کم، آزمون را طولانی می‌کند نه بی‌اعتبار. بیشتر محصول‌های بازار ما به هزاران کاربر در چند روز نمی‌رسند.

راه‌حل درستش بلندکردن مدت آزمون است، نه کوتاه‌کردن آن. آزمونی که زود بسته شود، تفاوت تصادفی را به‌عنوان یافته بیرون می‌دهد. مدت لازم را پیش از شروع تعیین کنید و اگر آن مدت غیرعملی است، آن پرسش را با آزمون A/B جواب ندهید.

سه: آستانهٔ ارزش را به ریال بنویسید. درصد، آستانه را انتزاعی نگه می‌دارد.

پرسش عملی این است که چه اندازه بهبود در نرخ تبدیل، هزینهٔ پیاده‌سازی و نگه‌داری تغییر را برمی‌گرداند. این عدد را قبل از آزمون تصویب کنید و در بازار پرنوسان، تاریخ اعتبارش را هم بنویسید.

چهار: داده‌ای که رقم و نویسهٔ فارسی دارد، دوبار شمرده می‌شود. این یک مسئلهٔ آماری نیست، مسئلهٔ پاک‌سازی داده است و نتیجه را مثل یک مسئلهٔ آماری خراب می‌کند.

شمارهٔ موبایل با صفر آغازین و بی‌آن، تاریخ شمسی و میلادی، و نیم‌فاصله در عبارت جست‌وجو: هر سه یک ردیف را به دو ردیف می‌شکنند. نتیجه‌اش شمارش دوگانهٔ کاربر و تورم مصنوعی تنوع جست‌وجو است. یکسان‌سازی نویسه‌ها را جزو مرحلهٔ سنجش بگیرید، نه یک کار جانبی.

جمع‌بندی

• - پژوهش کمی: آزمودن نظریه‌ها دربارهٔ نگرش و رفتار، بر پایهٔ شواهد عددی و آماری، با نمونه‌گیری غیرمستقیم از شمار زیادی کاربر
• - مرز با کار کیفی در سه چیز است: «چه چیزی و کجا و کِی» در برابر «چرا» · ساخت‌یافتگی بالا در برابر ساخت کم · ۳۰ نفر و بیشتر در برابر حدود ۵ نفر
• - روش‌ها: تست A/B · داده‌های تحلیلی · مطالعهٔ مطلوبیت · نظرسنجی و پرسش‌نامه · آزمون درختی
• - عدد حمایت ذی‌نفعان را نگه می‌دارد و بازگشت سرمایه را نشان می‌دهد؛ بیشتر روش‌ها هم ارزان‌اند، اما هیچ‌کدام همهٔ پرسش‌ها را جواب نمی‌دهند
• - اندازهٔ نمونه در حالت آرمانی ۳۰ نفر و بیشتر است، و آزمون A/B معمولاً به هزاران کاربر نیاز دارد
• - هفت تکنیک نمونه‌گیری: تصادفی · سیستماتیک · طبقه‌ای · خوشه‌ای · چندمرحله‌ای · دردسترس · سهمیه‌ای
• - چهار نوع پژوهش کمی: توصیفی · همبستگی · علّی-مقایسه‌ای یا نیمه‌آزمایشی · آزمایشی
• - پرسش خوب: یک جنبه در هر پرسش · واژهٔ رایج و کوتاه · بی‌ابهام و بی‌جهت‌دهی · بدون شبکهٔ پرسش و پرسش رتبه‌بندی
• - عدد نتیجه یک نقطه است و برآورد یک بازه؛ پهنا با جذر نمونه کوچک می‌شود، پس نصف‌کردن پهنا چهار برابر شدن نمونه می‌خواهد
• - قاعدهٔ اصلی: دو بازهٔ هم‌پوشان یک تصمیم نمی‌سازند؛ هم‌پوشانی را نگاه کنید، نه فاصلهٔ دو میانگین
• - هر نتیجه باید از دو آزمون جدا رد شود: فاصله از صفر، و عبور از آستانهٔ ارزش؛ با نمونهٔ بزرگ آزمون اول تقریباً همیشه پاس می‌شود
• - و در بازار ما: منبع نمونه را بنویسید · آزمون را طولانی کنید نه کوتاه · آستانه را به ریال تصویب کنید · و یکسان‌سازی نویسه‌های فارسی را جزو سنجش بگیرید