اگر سیستمی راه انداخته‌اید و می‌خواهید بدانید جواب داده یا نه، گزارشی که می‌گیرید معمولاً این شکلی است: «هزار گفتگو انجام شد، میانگین زمان پاسخ نود ثانیه، هفتاد درصد پاسخگویی خودکار.»
هر سه عدد درستاند. و هیچ‌کدام نمی‌گویند کارِ شما بهتر شده.
اندازه‌گیری نتیجه هوش مصنوعی، اگر بخواهد معنا داشته باشد، از جای دیگری شروع می‌شود.
آزمونی که عدد واقعی را از عدد نمایشی جدا میکند
یک پرسش ساده: آیا این عدد را هفتهٔ گذشته، پیش از اینکه سیستم وجود داشته باشد، می‌توانستید بشمارید؟
اگر جواب بله است، معیار است. اگر نه، فعالیت سیستم است.
«تعداد گفتگوهای انجام‌شده» را قبلاً نمی‌شد شمرد، چون سیستمی نبود. پس با هیچ چیزی قابل مقایسه نیست — و عددی که مبنای مقایسه ندارد، فقط بزرگ یا کوچک به نظر می‌رسد.
«از هر ده استعلام چندتا به سفارش رسید» را قبلاً هم می‌شد شمرد. پس معیار است.
این آزمون ساده، بیشتر گزارش‌های این حوزه را کنار می‌گذارد.
چهار عددی که واقعاً می‌گویند
اینها را بر اساس کاری که سیستم قرار بوده انجام دهد انتخاب کنید — نه همه‌شان را با هم.
۱. نرخ تبدیل در همان مرحله. اگر سیستم برای پاسخ به استعلام است: از هر ده استعلام، قبلاً چندتا به سفارش می‌رسید و حالا چندتا؟ این مستقیم‌ترین عدد است.
۲. تعداد کسانی که پرسیدند و رفتند و برنگشتند. اگر سیستم برای پیگیری است، این عدد باید کم شود. و شمردنش، برخلاف تصور، سخت نیست: کافی است بدانید چند گفتگو بی‌نتیجه ماند.
۳. ساعت‌های آزادشده. اگر سیستم برای کم کردن بار است: تیم شما قبلاً چند ساعت در روز صرف پاسخ‌های تکراری می‌کرد و حالا چند ساعت؟ این را با یک دفترچه و دو هفته می‌شود اندازه گرفت.
۴. کارهایی که انجام شدند و قبلاً نمی‌شدند. مثلاً نوبت‌هایی که شب رزرو شدند، یا پیگیری‌هایی که هیچ‌وقت انجام نمی‌شد. این عدد به‌تنهایی می‌تواند کل تصمیم را توجیه کند.
هر چهارتا یک خاصیت مشترک دارند: در نبود سیستم هم قابل شمردن بوده‌اند.
چرا «درصد پاسخگویی خودکار» گمراه‌کننده است
این عدد را جدا می‌کنم چون پرکاربردترین عدد این حوزه است و مشکل مشخصی دارد.
معنایش این است: «چند درصد گفتگوها بدون دخالت آدم تمام شدند.»
مشکل در کلمهٔ «تمام شدند» است. گفتگویی که مشتری در آن جواب بی‌ربط گرفت و رفت هم تمام شده. گفتگویی که سیستم پاسخ داد و مشتری قانع نشد و دیگر پیام نداد هم تمام شده.
هر دو در آن درصد، در ستون موفق نشسته‌اند.
عدد درست‌تر این است: از میان گفتگوهایی که سیستم بدون آدم تمام کرد، چند تایشان به مرحلهٔ بعد رسیدند؟ مرحلهٔ بعد را خودتان تعریف کنید — شماره داد، سفارش ثبت شد، نوبت گرفت.
اگر این را نمی‌توانید بشمارید، آن درصد فقط می‌گوید سیستم روشن بوده.
دو هفته‌ای که نباید رد شود
مهم‌ترین بخش اندازه‌گیری، پیش از راهاندازی انجام می‌شود — و رایجترین اشتباه، رد کردن همین است.
دو هفته، پیش از هر کاری، وضع فعلی را بشمارید. بدون نرم‌افزار، با یک دفترچه:
چند پیام آمد. چند تا بی‌پاسخ ماند. چند تا بیرون ساعت کاری بود. چند نفر پرسیدند و رفتند. چند تا به فروش رسید.
پنج عدد، دو هفته. بعد از راهاندازی، همین پنج را دوباره بشمارید.
بدون این کار، هیچ عددی معنا ندارد — و بعد از راهاندازی دیگر قابل جبران نیست، چون وضع قبلی از بین رفته.
می‌دانم که در فشار کار، این دو هفته شبیه تأخیر به نظر می‌رسد. ولی پروژه‌ای که نتواند نشان بدهد چه چیزی را بهتر کرده، همان پروژه‌ای است که در بودجهٔ سال بعد حذف می‌شود.
ماه اول را باور نکنید
الگویی که تقریباً همیشه تکرار می‌شود: ماه اول عالی است.
دلایلش هیچ‌کدام به کیفیت سیستم مربوط نیست. همه حواسشان هست، پاسخ‌ها تازه نوشته شده‌اند، و کسی که سیستم را راه انداخته هر روز نگاهش میکند.
ماه سوم آزمون واقعی است. تا آن موقع، کسی دیگر نگاه نمی‌کند، محصولات عوض شده‌اند و پاسخ‌ها به‌روز نشده‌اند.
پس اگر می‌خواهید بدانید سیستمتان واقعاً جواب داده، عددهای ماه سوم را با عددهای پیش از راهاندازی مقایسه کنید — نه عددهای ماه اول را.
یک معیار کیفی که از اعداد گویاتر است
یک کار هست که هیچ داشبوردی جایش را نمی‌گیرد: هفته‌ای بیست گفتگوی تصادفی را خودتان بخوانید.
نه گزارش را؛ خود گفتگوها را، از اول تا آخر. بیست تا کافی است و بیست دقیقه طول میکشد.
تقریباً همیشه چیزی پیدا می‌شود که در هیچ عددی نیست: پرسشی که همیشه بی‌جواب می‌ماند، جمله‌ای که سیستم می‌گوید و نباید، یا نقطه‌ای مشخص در گفتگو که مشتری‌ها همان‌جا می‌روند.
این کار را نمی‌شود واگذار کرد، چون کسی که کسب‌وکار را می‌شناسد باید انجامش بدهد.
چطور یک عدد را طوری تعریف کنید که قابل دفاع باشد
عددی که مبهم تعریف شود، بعداً هر جور که بخواهیم تفسیر می‌شود — و همان‌جاست که پروژه‌ها با گزارش خوب و نتیجهٔ بد ادامه پیدا می‌کنند.
یک تعریف قابل دفاع چهار چیز دارد:
۱. چه چیزی شمرده می‌شود. «سفارش ثبت‌شده» یعنی چه؟ سفارشی که پرداخت شده، یا سفارشی که در سیستم ثبت شده و ممکن است لغو شود؟ این را از قبل روشن کنید، وگرنه در گزارش هر بار جور دیگری شمرده می‌شود.
۲. در چه بازه‌ای. ماهانه، هفتگی، یا از ابتدای گفتگو تا سی روز بعد؟ برای فروشی که تصمیمش زمان می‌برد، بازهٔ کوتاه همیشه بدتر به نظر می‌رسد.
۳. مقایسه با چه چیزی. با ماه قبل، با همان ماه سال قبل، یا با گروهی که سیستم برایشان فعال نبوده؟ سومی دقیق‌ترین است و کمتر ممکن.
۴. چه چیزی نتیجه را باطل میکند. اگر در همان ماه تبلیغ هم داشتید، یا محصول تازه‌ای آمد، عدد دیگر فقط دربارهٔ سیستم نیست. این را از قبل بنویسید تا بعداً بحث نشود.
چهار خط. نوشتنشان ده دقیقه است و از هر گزارشی که بعداً می‌گیرید مهم‌ترند.
سه عددی که ارزش دارند و کسی نمی‌شمارد
اینها در هیچ داشبوردی نیستند و در عمل بیشتر از عددهای رایج می‌گویند:
فاصلهٔ میان رسیدن پیام و پاسخ گرفتنش، در ساعت‌های غیرکاری. میانگین کل را همه می‌گیرند؛ چیزی که اهمیت دارد، همان ساعت‌هایی است که قبلاً هیچ‌کس جواب نمی‌داد. اگر سیستم فقط همین را درست کرده باشد، ارزشش را دارد.
تعداد دفعاتی که مشتری مجبور شده چیزی را دوباره بگوید. نشانهٔ مستقیمِ نداشتن حافظه است. شمردنش با خواندن بیست گفتگو ممکن است و بهبودش را مشتری بلافاصله حس میکند.
تعداد گفتگوهایی که به آدم رسیدند و نباید می‌رسیدند — و برعکس. هر دو جهتش مهم است: سیستمی که همهچیز را به آدم می‌دهد کاری نکرده، و سیستمی که هیچ‌چیز را نمی‌دهد خطرناک است.
این برای کسب‌وکار ایرانی یعنی چه
اول، بیشتر داده‌های شما در پیام‌رسان است و ساختار ندارد. یعنی گزارش‌گیری خودکار سخت‌تر است و شمردن دستی ارزش بیشتری دارد. این را عیب نبینید؛ دو هفته شمردن دستی، از یک داشبورد ناقص دقیق‌تر است.
دوم، چرخهٔ تصمیم مشتری را در نظر بگیرید. اگر مشتری‌های شما معمولاً دو هفته فکر می‌کنند، نتیجه را نمی‌شود بعد از ده روز سنجید. قاعدهٔ عملی: دستکم دو برابر مدت معمول تصمیمگیری صبر کنید.
سوم، فصلی بودن را جدا کنید. اگر ماه راهاندازی اتفاقاً فصل شلوغ بوده، عددها بهتر می‌شوند بدون اینکه سیستم کاری کرده باشد. مقایسه را با همان ماه در سال قبل انجام بدهید، یا فصل را از تحلیل کنار بگذارید.
چهارم، عدد را با تیم در میان بگذارید. کسی که هر روز جواب می‌دهد، زودتر از هر گزارشی می‌فهمد سیستم کجا کار میکند و کجا نه. پرسیدن از او ارزان‌ترین و دقیق‌ترین سنجش است.
وقتی عدد بدتر شد
این را هم باید نوشت، چون پیش می‌آید و معمولاً بد مدیریت می‌شود.
اگر بعد از راهاندازی عدد بدتر شد، سه احتمال هست و باید از هم جدا شوند:
سیستم دارد کاری میکند که نباید. با خواندن بیست گفتگو معلوم می‌شود.
سیستم کاری را که باید انجام نمی‌دهد. یعنی پاسخ‌ها ناقص‌اند یا به داده وصل نیست. قابل اصلاح.
مسئله جای دیگری بوده. یعنی از اول تشخیص اشتباه بوده و سیستم چیزی را حل کرده که مشکل نبوده.
سومی رایجترین است و ناخوشایندترین. ولی فهمیدنش در ماه سوم، بهتر از ادامه دادن تا سال بعد است.
اگر مدیر هستید و کسی برایتان گزارش میآورد
سه پرسش که در جلسهٔ گزارش می‌شود پرسید و تقریباً همیشه ابهام را برمی‌دارند:
«این عدد را قبل از راهاندازی هم داشتیم؟» اگر جواب نه بود، آن عدد مقایسه‌ای نیست و نمی‌شود از آن نتیجه گرفت.
«از کسانی که سیستم جوابشان داد، چند نفر به مرحلهٔ بعد رفتند؟» اگر جواب مبهم بود، یعنی فقط فعالیت گزارش می‌شود.
«بیست گفتگوی تصادفی را چه کسی خوانده؟» اگر جواب «هیچ‌کس» بود، هیچ‌کس نمی‌داند سیستم واقعاً چه می‌گوید.
این سه پرسش هیچ دانش فنی نمی‌خواهند و در هر جلسه‌ای کار می‌کنند.
اشتباه رایج آخر: انتظار عدد بزرگ
نکته‌ای که ارزش گفتن دارد چون انتظارها را واقع‌بینانه میکند.
سیستمی که یک کارِ مشخص را درست انجام بدهد، معمولاً یک تغییر متوسط می‌سازد، نه یک جهش. و همان تغییر متوسط، اگر پایدار باشد، در طول سال بزرگ می‌شود.
پروژه‌هایی که با انتظار جهش شروع می‌شوند، وقتی تغییر متوسط می‌بینند رهایشان می‌کنند — و چیزی را دور می‌اندازند که داشت کار می‌کرد.
پس پیش از شروع، یک عدد بنویسید که اگر به آن برسید راضی خواهید بود. نوشتن آن عدد از رسیدن به آن سخت‌تر است، چون مجبورتان میکند صادق باشید.
جمع‌بندی
اندازه‌گیری نتیجه هوش مصنوعی یک آزمون دارد: عددی که پیش از سیستم هم قابل شمردن بوده، معیار است؛ بقیه گزارش فعالیت‌اند.
دو هفته پیش از شروع بشمارید، ماه سوم دوباره بشمارید، و هفته‌ای بیست گفتگو را خودتان بخوانید.
این سه کار هیچ ابزاری نمی‌خواهند و از هر داشبوردی بیشتر می‌گویند.
پیاده‌سازی هوش مصنوعی در سازمان دربارهٔ ترتیبی است که این سنجش را از روز اول ممکن میکند، و کاربرد هوش مصنوعی در کسب و کار دربارهٔ انتخاب کاری است که اصلاً ارزش سنجیدن داشته باشد. و خطای هوش مصنوعی دربارهٔ عددی است که هیچ داشبوردی نشان نمی‌دهد: دفعاتی که سیستم با اطمینان چیز غلط گفته. و انتخاب مدل زبانی برای فارسی دربارهٔ تصمیمی است که همین عددها باید مبنایش باشند، نه ادعای فروشنده.