มารู้จัก A/B Test จาก Conversion Funnels และ Statistical Significance กันเถอะ — ตอนที่ 1

ในบรรดาธุรกิจในปัจจุบันนั้น Internet Business ดูจะเป็นสิ่งที่ทุกคนอยากเข้าไปลองสัมผัสกันเป็นอย่างมาก ซึ่งในส่วนของการตลาดออนไลน์นั้นผมไม่ขอแตะละกัน ไม่ถนัดเท่าไหร่ แต่วันนี้จะมาพูดถึงการวัดผล และการปรับปรุงประสิทธิภาพของธุรกิจออนไลน์ ซึ่งจะว่าไป article นี้ก็คือภาคต่อของ “มาทำความรู้จักกับ Feature Toggle กันเถอะ” นั่นเอง

สำหรับคนที่อยากทำหรือทำธุรกิจออนไลน์อยู่นั้นสิ่งแรกที่ควรรู้จักคือ Sales Funnels หรือ Conversion Funnels นั่นเอง สำหรับคนที่ทำ Application คงเข้าใจถึงความยากเย็นในการสร้าง Conversion Funnels ได้เป็นอย่างดี สำหรับใน blog นี้เราคงไม่เน้นเรื่องทฤษฎีทางด้าน Marketing มากนัก แต่เราจะลองยกตัวอย่างด้วยอะไรง่ายๆ ก่อน เช่น Conversion Funnels ในการหาแฟนของบัน และ กานต์ สอง DevOps หนุ่มน้อยของเราคงจะเริ่มจากหน้าตาของ Funnels ประมาณนี้

1_jb0Tp2VIq3OkiuZD0PjasQ

Bun Conversion rate
สำหรับ Bun — DevOps หน้าตาดีมากจะมี Conversion Rate ในการเปลี่ยนเพื่อนให้เป็นคนสนิทอยู่ที่ 40% และถ้าเขาคุยกันถูกคอมากพอ นิสัยเข้ากันได้ ด้วย Conversion Rate 50% จะทำให้บันสามารถมี “คนคุยด้วย” มากถึง 5 คนในเวลาเดียวกัน แต่ในการ Convert เป็นแฟน นั้นด้วย Capacity ที่บันมีจำกัดทำให้สามารถ convert ได้ไม่เกิน 1 คน หรือประมาณ 20% และด้วยนิสัยของบันทำให้มั่นใจได้ 100% ว่าแฟนจะกลายเป็นแม่ของลูกแน่นอน

1__0_OdDcyDrocKl9X_EScjg

Kantz Conversion Rate
สำหรับในเคสของกานต์นั้น DevOps ใจดีคนนี้เน้นเรื่อง Capacity มาก จึงสร้าง Conversion Funnel ที่กว้างมากในตอนแรก (2500 คน กานต์เหมาหมด) ทำให้ conversion rate ต่ำมาก แต่ในช่วง funnel ท้ายๆนั้น กานต์ยังมีโอกาสในกรณีที่สาวเปลี่ยนใจ กด Cancel ในหน้าจอ Checkout ซึ่งต่างจากกรณีของบันที่มั่นใจมากว่า conversion rate 100% แน่นอน ถ้าสาว Cancel ขึ้นมานี่งานเข้าเลยทีเดียว

ข้อสังเกตุชุดแรกแรกสำหรับุเรื่อง Conversion ที่เราต้องคิดถึงคือ

  • Capacity / Stock กับ Conversion Rate มีความสัมพันธ์กันนะครับ ถ้าเราเน้นแต่ Conversion Rate สูงๆ โดยไม่สามารถ Supply ให้กับว่าที่ลูกค้าของเรา นี่เป็นการลด Conversion Rate เราในทางอ้อมเหมือนกัน แต่ในบางกรณี เช่น มี Brand Loyalty สูงมากๆ ลูกค้ายอมรอได้ทุกอย่างก็สามารถข้ามเรื่องนี้ไปได้เลย
  • Volume กับ Conversion Rate เป็นคนละเรื่องกัน การที่มี Conversion Rate สูง แต่ Volume ต่ำนั้น ก็ยังไม่ทำให้เรามี funnel ที่มี “สุขภาพดี”
  • ในแต่ละจุดที่ระบบเรามีการ touch กับลูกค้า หรือ “Customer Facing Interface” นั้นเป็นจุดที่เราสามารถปรับปรุง Conversion Rate ของเว็บไซต์เราได้ ซึ่งปกติที่เราทำนั้นก็คือ Promotion / Campaign ต่างๆ แต่ในกรณีของ Internet Business นั้นเรามักจะเพิ่ม A/B Test ลงไปตามจุดต่างๆเหล่านี้

ทีนี้เรากลับมาถึงเรื่อง Conversion Funnel อีกที ด้วยกรณีที่ไม่ใช่การหาแฟน แต่เป็นการทำ Internet Business จริงๆ ในการทำธุรกิจเราไม่ได้มีช่องทางในการขายเพียงช่องทางเดียวฉันใด บน Internet Business เราก็ไม่ได้มี Funnel จากแค่ Source เดียวเช่นกัน ตัวอย่างของ Funnel ที่เป็นที่นิยมใช้กันเช่น

PPC : Pay Per Click / Paid Traffic

1_nbCtCze5ceVBQwHkO1KCEw

Picture : https://www.metrilo.com/blog/ecommerce-conversion-funnels-practical-guide/
ในตัวอย่างนี้เป็นการใช้ Paid Traffic ของ Facebook ในการช่วยให้เกิด Traffic เข้ามาใน Funnel และเราก็สามารถเตรียมการต้อนรับลูกค้าเหล่านี้ด้วย A/B Test ที่สัมพันธ์กับช่องทางที่เข้ามาได้ เช่นในกรณีที่เราใช้ Facebook/Google เราสามารถส่งลูกค้าไปยัง Special Landing Page เพื่อใช้เทคนิคที่สนับสนุน Remarketing และ Retargeting ในการช่วยเพิ่ม Conversion Rate ได้อีกด้วย

Inbound Marketing / SEO / Organic Search

1__zZdOJqLs0BVGLiXwpbJJg

Picture : https://www.metrilo.com/blog/ecommerce-conversion-funnels-practical-guide/
ในกรณีที่ลูกค้ามาจาก Funnel ที่เป็น Organic Search นั้น การทำ SEO ที่ดีสามารถช่วยเพิ่ม Conversion Rate ได้ ร่วมกันกับ Specialized Content จากการ Subscribe ก็จะช่วยให้เราเข้าใจพฤติกรรมของผู้ใช้และเสนอสิ่งที่ตรงตามความต้องการได้ดียิ่งขึ้น

Social Media Presence / Influences Based Marketing

1_SnCFzj9nXzd5Y01E4lyT6Q

Picture : https://www.metrilo.com/blog/ecommerce-conversion-funnels-practical-guide/
ในกรณีของ Social Media Presence / Influencer Based Marketing นี้ ในไทยเราค่อนข้าง advance มาก #ฝากร้าน กันเต็มไปหมด แต่ก็ไม่ใช่ช่องทางที่แย่ แต่วิธี Execute มันไม่เนียนครับ การ Hardsale บน Social Media อาจจะไม่แย่ซะทีเดียว แต่การสร้าง Special Content ที่ดึงดูดคนให้อ่านๆด้ มักจะเป็นเนื้อหาประเภท ภาพ หรือ วิดีโอคลิปดูดีๆน่าจะเรียกความสนใจได้ดีกว่า

เกริ่นนำมาตั้งนาน น่าจะพอเก็ทกันแล้วว่า Conversion Funnel นั้นก็คือเรื่องเกี่ยวกับทางด้าน Marketing ที่กำหนดขึ้นมาเพื่อวัดความเป็นไปได้ในการขายของธุรกิจออนไลน์นั่นแหละ โดยทั่วไปแล้วมักจะมีอยู่ 4 Step ประมาณนี้

Acquisition -> Activation -> Conversion Objective -> Goal

ซึ่ง Goal ก็จะเปลี่ยนไปตาม Business Objective นั่นเอง ไม่ว่าจะเป็นการขาย Subscription, In-App Purchase, Purchase ซึ่งหลักๆก็จะไม่มีรูปแบบที่ตายตัวในการสร้าง Conversion Funnel เท่าไหร่นัก

ทีนี้เมื่อเราได้สร้าง Funnel ที่เหมาะสมกับเว็บไซต์ของเราแล้ว ก็มาถึงงานหลักของเรากันละนั่นคือการ Optimize Conversion Funnel ของเรานั่นเอง หรืออีกนัยหนึ่งคือ การเพิ่มยอดขาย/รายได้/ประสิทธิภาพของเว็บเรานั่นเอง

1_bpQ4_CxGcqdrL0lnYFuKdQ--1-

1_vdl2TC_p2nsxa1yxr1H-SQ

Picture : http://neilpatel.com/blog/how-to-master-ab-split-testing-quickly-and-increase-conversion-rate/
จากใน “มาทำความรู้จักกับ Feature Toggle กันเถอะ” เราได้รู้ถึงวิธีการทำ A/B Test แบบง่ายๆไปแล้ว วันนี้เราจะมาพูดถึงเรื่องด้านหลังที่ต้องสนใจก่อนว่าเราจะทำอะไรบ้าง

ส่วนแรกสุด “เราจะทดสอบกับใครบ้าง” เรื่องนี้เป็นเรื่องที่ยากที่สุด เพราะโดยปกติเรามักไม่ทราบข้อมูลของผู้ใช้ แต่อย่างไรก็ตามการแบ่ง Sample ของ Traffic A/B นั้นเราควรแบ่งให้ครอบคลุมตามเงื่อนไขที่เราใช้ในการควบคุมการทดสอบ Vairation ของเว็บไซต์ของเรา อันนี้ศัพท์ทาง Marketing น่าจะเรียกว่า Segmentation นะครับ

1_8mZ_BBAtTZkUSFmT0rG8IA

ส่วนที่สอง ความเข้าใจด้านสถิติเบื้องต้นของ A/B Test ส่วนนี้มีหลายอย่าง แต่อย่างแรงที่เราต้องเข้าใจคือ สถิติสำหรับเรื่อง A/B Test นั้นเป็นเรื่องของ Statistical Significance ซึ่งผลลัพธ์จะยังไม่เสถียรในช่วงเวลาสั้นๆ(มีข้อมูลไม่มากพอที่จะตอบได้) ถ้าอธิบายด้วยภาพต่อไปนี้จะเห็นภาพมากขึ้น

1_itjeR-Gu9Gwt4MtZmdHJqg

Picture : https://conversionxl.com/ab-testing-statistics/
ในช่วงเวลาสั้นๆนั้น เราอาจไม่สามารถใช้ผลลัพธ์ที่ยังไม่มีข้อมูลเพียงพอ เพื่อตอบว่า Control (Variant A) หรือ Variance (Variant B) ให้ผลลัพธ์ที่ดีกว่า ยกตัวอย่างเช่น ภาพแรกนี้แสดงถึงผลลัพธ์ที่ได้ในช่วงแรกๆของการทดสอบจะเห็นว่า A (Control) ดีกว่าเห็นๆ

1_9wnEledSInE_z6h2Aaja1g

Picture : https://conversionxl.com/ab-testing-statistics/
แต่เมื่อเราปล่อยให้การทดสอบทำงานต่อไปเรื่อยๆจนมีข้อมูลมากพอจนเมื่อกราฟมันเลิกแกว่ง และมี Statistical Significance มากพอแล้วจะเห็นว่า B (Variance) ดีกว่าอย่างชัดเจน

1_EK_mdkOvKI6OPtGzmay0xQ

ตอนนี้เราคงพอจะเห็นภาพของ A/B Test กันมากขึ้นในมุมของ Marketing สำหรับตอนต่อไปจะเป็นส่วนของ Math และ Statistic กันละ — ปาดเหงื่อ

References: