هولداوت سراسری جرنی در برابر هولداوت داخل یک جرنی: کنترل سطح پلتفرم در برابر کنترل یک مسیر
فرق global و per-journey holdout: تعریف، جدول، FAQ و نگاشت Leadara.
امیر حسینی
اجرای کمپینهای ایمیل، پیامک و پوش برای جذب، نگهداشت و بازگشت کاربر.
۱ مهر ۱۴۰۵ · 5 دقیقه مطالعه
نسخه دیگر English
هولداوت سراسری جرنی یک درصد تصادفی از کاربران را برای همیشه (چسبنده) از همهٔ جرنیها کنار میگذارد تا اثر افزایشی کل برنامه را بسنجی؛ هولداوت داخل یک جرنی فقط بعد از اسپلیت همان مسیر پیامهای بعدی همان فلو را قطع میکند — جرنیهای دیگر هنوز میتوانند پیام بدهند.
هولداوت سراسری و هولداوت داخل جرنی چه فرقی دارند؟
سؤال اینکریمنتالیتی دو دامنه دارد. «آیا کل برنامهٔ جرنی درآمد را جابهجا کرد؟» کنترل سطح پلتفرم میخواهد. «آیا همین مسیر سبد از وریانت خودش بهتر بود؟» کنترل محلی میخواهد. قاطی کردن دامنه، برد جعلی میسازد.
هولداوت سراسری درصد تصادفی کاربران را از همه جرنیها کنار میگذارد. هولداوت داخل جرنی بعد از اسپلیت، پیامهای بعدی همان گراف را قطع میکند؛ همان کاربر فردا میتواند وارد welcome شود.
به زبان برنامهنویس: global = فلگ denylist چسبنده در سطح اکانت؛ per-journey = assignment شاخه داخل یک گراف. قبل از تغییر درصد، عضویت را export کن؛ تریپهای در حال اجرا را تمام کن. این ادامهٔ هولداوت گروه چیست است با تمرکز روی دامنه.
هر کدام چطور کار میکند؟
سراسری
۵–۱۰٪ فلگ میخورند و از پیام جرنی خارج میمانند (تراکنشی معمولاً جداست). lift کل لایهٔ orchestration در برابر baseline واقعی دیده میشود — درد سیاسی دارد ولی برای سؤالهای بهینهسازی تجربه در برابر CRO صادق است.
داخل جرنی
در مسیر سبد، ۱۰٪ کنترل بدون پیام بعدی؛ ۹۰٪ وریانت. همان کنترل هنوز win-back میگیرد. دربارهٔ همین مسیر یاد میگیری نه «همهٔ اتومیشن».
جدول مقایسه
| معیار | سراسری | داخل جرنی |
|---|---|---|
| دامنه | همهٔ جرنیها | یک گراف |
| چسبندگی | فلگ اکانت | assignment اسپلیت |
| سؤال | اثر برنامه | اثر مسیر/وریانت |
| جرنیهای دیگر | مسدود (با سیاست) | مجاز |
کی کدام؟
۱. هیئتمدیره اثر کل را میخواهد → سراسری. ۲. مارکتر ارزش پیامک ۲ سبد را میپرسد → محلی. ۳. هر دو؟ سراسری کوچک پیوسته + آزمایش محلی فقط روی treated. ۴. ROI برنامه را از کنترل یک مسیر اعلام نکن. ۵. RPR را برای holdout سراسری جدا بگیر.
مثالها
مارکتپلیس: ۸٪ سراسری یک فصل برای GMV؛ تست موضوع سبد محلی. SaaS: سراسری لایفسایکل را میبندد ولی reset رمز را نه. اپ فود: سراسری نشان میدهد جرنیهای «الهام» اوپن خوب دارند ولی سفارش افزایشی نه.
نگاشت به Leadara
Journeys قبل از ورود فلگ سراسری را چک کنند؛ اسپلیت محلی داخل گراف. Segments برای جوین آنالیتیکس. Events تبدیل holdoutها هم باید بیاید — همان baseline. Email/SMS سیاست تراکنشی را روشن بنویسید.
اشتباهها
خواندن A/B محلی بهعنوان اثبات برنامه؛ resize وسط فصل بدون فریز؛ پیام کمپینی تصادفی به holdout؛ نبود export عضویت.
جمعبندی
سراسری = برنامه. محلی = یک مسیر. دامنه تمام بازی است.
گام بعدی
دو سؤال روی وایتبرد بنویس: lift برنامه در برابر lift مسیر. هر آزمایش زنده را به یک دامنه بچسبان.
سؤالات پرتکرار
هر دو با هم؟ بله روی جمعیت غیرholdout سراسری.
تراکنشی؟ معمولاً بله با سیاست مکتوب.
اندازه سراسری؟ اغلب ۵–۱۰٪ بسته به قدرت آماری.
فرق با وریانت placebo؟ Holdout بدون پیام جرنی است؛ placebo هنوز «درمان» پوستهای دارد.
اخلاق؟ اعلانهای سرویسحساس را carve-out کن.
مدت؟ هفتهها تا یک فصل، نه سه روز.
اثر روی یادگیری مدل؟ سیاست آموزش را صریح کن.
عمیقتر: خطر resize
روز ۱ ده درصد holdout؛ روز ۳۰ بدون فریز به ۵٪. تاریخچه آلوده میشود. همیشه snapshot بگیر و فقط روی epoch جدید درصد را عوض کن. داخل جرنی هم assignment کنترل برای همان تریپ (و معمولاً کولداون) باید بچسبد.
vignette ایران
خردهفروش چندبرند ایرانی جرنی سبد، مرور و win-back داشت. اوپن عالی بود؛ مالی فروش افزایشی خواست. ۷٪ هولداوت سراسری شش هفته + تست موضوع فقط روی ۹۳٪ treated. مسیر سبد lift واقعی داشت؛ دو جرنی «الهام» baseline سراسری را نمیبردند. بازندهها را pause کردند — چیزی که داشبورد اوپن محلی نشان نمیداد.
گفتن هولداوت به ذینفعان
مالی «۸٪ را پیام نمیدهیم» را ضرر میشنود. reframing: بدون baseline نمیفهمی جرنی فروش میسازد یا تقاضای از قبل موجود را درو میکند. یک نمودار ساده: تبدیل treated در برابر holdout سراسری در همان هفتهها. معمولاً همان اسلاید مجوز نگهداشتن holdout را میگیرد.
مارکتینگ کنترل محلی را دوست دارد چون برگشتپذیر به نظر میرسد. هر دو را نگه دار: محلی برای خلاقیت، سراسری برای حقیقت.
کلید جوین در انباره
holdout_scope، assigned_at، percent_epoch، bypass_transactional را ذخیره کن. وقتی میپرسند چرا کمپین آمده ولی جرنی نه، یک کوئری جواب میدهد.
نسبت با سقف فرکانس
هولداوت سراسری سقف فرکانس نیست. سقف ارسال را اسکیپ میکند؛ هولداوت ورود جرنی را میبندد. هر سه لایه را گزارش بده وگرنه پیچ اشتباه را «درست» میکنی.
صداقت اندازه نمونه
اگر نرخ خرید پایه ۲٪ هفتگی است، holdout ۵٪ قبل از پایدار شدن تخمین lift زمان میخواهد. اعلام «+۱۲٪ افزایشی» بعد از پنج روز نویزی، اعتماد را میکشد. پنجرهٔ تحلیل را با مالی از قبل قفل کن.
قالب طراحی آزمایش (در تیکت کپی کن)
۱. دامنه سؤال: برنامه یا مسیر؟ ۲. نوع holdout. ۳. جمعیت واجد شرایط. ۴. متریک اصلی. ۵. متریک گارد. ۶. پنجره ازپیشثبت. ۷. شناسه epoch و مسیر فایل عضویت. ۸. سیاست تراکنشی.
اگر سطری خالی است، آمادهٔ ادعای lift نیستی.
خواندن نتیجه بدون خودفریبی
holdout و treated را در همان پنجرهٔ تقویم و همان قواعد eligibility مقایسه کن. وقتی lift مسیر مثبت است ولی برنامه سراسری تخت، برای بودجه به عدد سراسری اعتماد کن و برد محلی را برای بهبود همان مسیر بگذار — نه برای استخدام شبانهٔ سه نفر لایفسایکل.
