مدل زبانی فارسی را بر چه اساسی انتخاب کنیم

پرسش «کدام مدل زبانی فارسی بهتر جواب می‌دهد» را زیاد می‌شنوم، و هر جوابی به آن بدهم چند ماه بعد کهنه شده است.

مدل‌ها هر چند ماه عوض می‌شوند. چیزی که عوض نمی‌شود، روش سنجیدن است. پس این نوشته فهرست مدل‌ها نیست؛ دربارهٔ این است که انتخاب مدل زبانی برای فارسی را خودتان چطور انجام بدهید، با پیام‌های خودتان.

چرا جدول‌های مقایسه دربارهٔ مدل زبانی فارسی چیزی نمی‌گویند

اگر دنبال مقایسه بگردید، جدول‌هایی پیدا می‌کنید با نمرهٔ مدل‌های مختلف روی آزمون‌های استاندارد.

دو مشکل دارند.

اول، تقریباً همه روی انگلیسی سنجیده شده‌اند. توانایی یک مدل در فارسی، به‌ویژه فارسیِ محاوره‌ای، رابطهٔ مستقیمی با نمرهٔ انگلیسی‌اش ندارد. مدلی که در جدول‌ها جلوتر است، ممکن است در پیام واقعی مشتری ایرانی بدتر عمل کند.

دوم، کاری را می‌سنجند که شبیه کار شما نیست. آزمون‌های استاندارد معمولاً پرسش‌های دانشی یا مسائل منطقی‌اند. کار شما این است: پیامی با غلط تایپی، بدون نقطه، شاید نصفش وویس، که سه چیز هم‌زمان می‌خواهد.

نتیجه: آزمون خودتان را بسازید. کوچک است و یک بعدازظهر وقت می‌برد.

آزمون بیست‌پیامی

بیست پیام واقعی از مشتری‌های خودتان بردارید — از گفتگوهای ماه گذشته، دست‌نخورده، با همان غلط‌ها. سعی نکنید تمیزشان کنید؛ همان کثیفی، خودِ آزمون است.

ترکیب پیشنهادی:

هشت پیام عادی و پرتکرار. همان‌هایی که هر روز می‌آیند.

چهار پیام با غلط تایپی و بدون نقطه‌گذاری. «سلام میخاستم بدونم اون مدله هس یا نه»

سه پیام چندنیتی. جمله‌ای که هم‌زمان پیگیری و شکایت و تهدید به انصراف است.

سه پیام مبهم. «همون که گفتید»، «قبلیه چی شد»

دو پیام که جوابشان را نباید بداند. موجودی یک محصول خاص، یا تخفیفی که وجود ندارد.

آن دو تای آخر مهم‌ترین‌اند و معمولاً در آزمون‌ها نیستند.

پنج چیزی که باید نگاه کنید

درستی جواب فقط یکی از این‌هاست، و لزوماً مهم‌ترین نیست.

یک: وقتی نمی‌داند چه می‌کند

این تعیین‌کننده‌ترین معیار است.

دو پیام آخر آزمون را نگاه کنید. مدلی که با اطمینان عددی می‌سازد، برای سیستمی که با مشتری حرف می‌زند خطرناک است — هر چقدر هم در بقیهٔ موارد خوب باشد.

مدلی که می‌گوید «این اطلاعات را ندارم» رفتار درستی نشان داده. این را باید در امتیازدهی‌تان وزن زیادی بدهید.

دو: ثبات

همان پیام را سه بار بدهید. اگر سه جواب متفاوت گرفتید — نه در جمله‌بندی، در محتوا — یعنی نمی‌شود روی رفتارش حساب کرد.

تفاوت در جمله‌بندی طبیعی است. تفاوت در اینکه یک بار می‌گوید بله و یک بار می‌گوید نه، مسئله است.

سه: جمله‌های چندنیتی

سه پیامی که چند چیز هم‌زمان می‌خواستند را نگاه کنید. آیا هر سه بخش دیده شده یا فقط یکی؟

در فروش، بخش نادیده‌گرفته‌شده معمولاً مهم‌ترین بخش پیام است — نشانهٔ ریزش، شکایت پنهان، یا شرطی که مشتری گذاشته.

چهار: عدد، تاریخ و واحد فارسی

این را جدا می‌سنجم چون بارها دیده‌ام که مشکل‌ساز می‌شود.

ارقام فارسی (۱۲۳) در برابر لاتین (123)، تاریخ شمسی، و واحدهایی مثل «متر» و «عدد» و «بسته». مدلی که ارقام فارسی را نفهمد یا تاریخ شمسی را با میلادی قاطی کند، در کار روزمره دردسر می‌سازد.

آزمونش ساده است: پیامی بدهید که در آن تاریخ شمسی و عدد فارسی باشد و ببینید چه می‌فهمد.

پنج: لحن

مدلی که فارسی را درست می‌فهمد ولی با لحنی جواب می‌دهد که به کار شما نمی‌خورد، هنوز کار اضافه دارد. این قابل اصلاح است، ولی هزینه‌اش را در تصمیم بیاورید.

مدل بزرگ‌تر همیشه بهتر نیست

نکته‌ای که در تصمیم‌های واقعی زیاد از قلم می‌افتد.

کارهای مختلف، مدل‌های مختلف می‌خواهند:

دسته‌بندی پیام — «این دربارهٔ فروش است یا پشتیبانی؟» — کار ساده‌ای است. مدل کوچک‌تر و سریع‌تر معمولاً همان نتیجه را می‌دهد با هزینه و تأخیر کمتر.

استخراج اطلاعات — بیرون کشیدن شماره و آدرس از یک پیام — هم همین‌طور.

گفتگوی فروش با ظرافت — جایی که باید تعارف و پرسش غیرمستقیم و جملهٔ شرطی را بفهمد — جایی است که مدل توانمندتر ارزشش را دارد.

سیستم‌های خوبی که دیده‌ام معمولاً از چند مدل استفاده می‌کنند: مدل ارزان برای کارهای ساده و پرتعداد، مدل گران برای همان چند نقطه‌ای که واقعاً لازم است.

چطور نتیجه را ثبت کنید تا قابل مقایسه باشد

آزمونی که نتیجه‌اش ثبت نشود، حس است نه سنجش. و حس، وقتی سه گزینه دارید، به سراغ آن می‌رود که آخر امتحان شده.

روش ساده‌ای که جواب می‌دهد: یک جدول با بیست سطر — یکی برای هر پیام — و برای هر گزینه یک ستون. در هر خانه یکی از این سه را بنویسید:

✓ پاسخ درست و کامل بود. ~ پاسخ درست بود ولی ناقص، یا لحنش نامناسب. ✗ پاسخ غلط بود، یا چیزی ساخت که نباید.

بعد ستون‌ها را جمع بزنید — با یک قاعده: هر ✗ در آن دو پیامِ «نباید بداند»، ارزش سه ✗ عادی دارد. چون آن دسته اشتباه، در کار واقعی مستقیم به تعهدی تبدیل می‌شود که باید پسش بگیرید.

این جدول را نگه دارید. سه ماه بعد که گزینهٔ تازه‌ای آمد، همان بیست پیام را روی آن اجرا کنید و مستقیم مقایسه کنید. آزمونی که یک بار ساخته شود، سال‌ها به کار می‌آید.

دو چیزی که در فارسی بیشتر از انگلیسی خراب می‌شود

از تجربهٔ کار روی متن فارسی، دو الگو که در آزمون‌های انگلیسی اصلاً دیده نمی‌شوند:

نیم‌فاصله و شکل‌های نوشتاری. «می‌روم» و «میروم»، «کتاب‌ها» و «کتابها»، و حرف‌های عربیِ ی و ک که در تایپ فارسی زیاد وارد می‌شوند. مدل خوب هر دو شکل را یک چیز می‌بیند؛ مدل ضعیف‌تر، در جستجو و تطبیق اشتباه می‌کند.

تعارف و پرسش غیرمستقیم. «اگر زحمتی نیست ببینید موجود هست؟» یک پرسش است، ولی شکل ظاهری‌اش درخواست مؤدبانه است. و «بد نیست» در فارسی معمولاً یعنی خوب است — چیزی که ترجمهٔ لفظی برعکس می‌فهمد.

هر دو را در آزمونتان بگذارید. مدلی که این دو را بگیرد، احتمالاً بقیه را هم می‌گیرد.

این برای کسب‌وکار ایرانی یعنی چه

اول، دسترسی مهم‌تر از کیفیت است. مدلی که کمی بهتر است ولی دسترسی به آن از ایران باز نیست، در عمل گزینه نیست. این را اول بررسی کنید، نه آخر — وگرنه هفته‌ها روی گزینه‌ای وقت می‌گذارید که قابل استفاده نیست.

دوم، وویس بخشی از ورودی است. در بسیاری از صنف‌ها بخش قابل‌توجهی از پیام‌ها صوتی است. پس ارزیابی شما باید شامل تبدیل گفتار به متن هم باشد، با وویس‌های واقعی و لهجه‌دار — نه با یک جملهٔ تمیز خوانده‌شده در اتاق ساکت.

سوم، پایداری از قله‌ی کیفیت مهم‌تر است. سرویسی که گاهی عالی است و گاهی در دسترس نیست، برای سیستمی که مشتری منتظرش است بدتر از سرویسی است که همیشه خوب است.

چهارم، از روز اول طوری بسازید که بشود مدل را عوض کرد. این مهم‌ترین توصیهٔ این نوشته است. اگر سیستم شما طوری نوشته شده باشد که تعویض مدل کارِ یک تغییر کوچک باشد، انتخاب امروز اهمیت کمتری پیدا می‌کند — و چون این حوزه سریع عوض می‌شود، این خاصیت از هر انتخابی ارزشمندتر است.

پنجم، هزینه را بر حسب کار بسنجید، نه بر حسب واحد. آنچه اهمیت دارد این است که یک گفتگوی کامل چقدر خرج برمی‌دارد، نه نرخ واحد — چون مدل ارزان‌تری که برای همان کار سه برابر متن مصرف کند، ارزان‌تر نیست.

مدل فارسی‌محور یا مدل عمومی؟

پرسشی که زیاد پرسیده می‌شود و جوابش به کارِ شما بستگی دارد.

مدل‌هایی هستند که روی فارسی تمرکز کرده‌اند و مدل‌های عمومی بزرگی که فارسی هم می‌دانند. هر دو گزینه‌اند و هیچ‌کدام به‌طور کلی برنده نیست.

مدل فارسی‌محور معمولاً در فهم اصطلاح‌ها و ساختارهای بومی جلوتر است، ارزان‌تر است، و گاهی از نظر دسترسی راحت‌تر. در عوض، در کارهایی که استدلال چندمرحله‌ای می‌خواهند معمولاً ضعیف‌تر است.

مدل عمومی بزرگ در استدلال و کارهای پیچیده جلوتر است و فارسی را هم قابل قبول می‌فهمد. در عوض گران‌تر است و دسترسی به آن ممکن است ساده نباشد.

قاعده‌ای که در عمل جواب می‌دهد: کار را ببینید، نه زبان را. اگر کارتان دسته‌بندی و پاسخ‌های ساده است، مدل سبک‌تر و بومی‌تر کافی است. اگر گفتگوی چندمرحله‌ای با شرط و استثنا دارید، به توان استدلال نیاز دارید.

و باز هم: اگر سیستم را طوری بسازید که تعویض مدل ساده باشد، لازم نیست امروز این را قطعی کنید.

اشتباهی که در ارزیابی زیاد تکرار می‌شود

سه مورد که ارزیابی را بی‌اعتبار می‌کنند:

آزمون با جمله‌های تمیز. اگر با فارسیِ کتابیِ درست امتحان کنید، همهٔ گزینه‌ها خوب به نظر می‌رسند. تفاوت‌ها فقط در ورودی واقعی ظاهر می‌شوند.

آزمون فقط با پرسش‌هایی که جوابشان را می‌داند. آن دو پیامِ «نباید بداند» را حذف نکنید؛ گویاترین بخش آزمون همان‌جاست.

آزمون یک‌باره. مدل را در ساعت‌های مختلف و در چند روز امتحان کنید. رفتار در ساعت شلوغی ممکن است فرق کند.

بعد از انتخاب

انتخاب مدل، پایان کار نیست؛ حدود بیست درصد آن است. چهار چیز دیگر باقی می‌ماند و هر چهار مستقل از انتخاب مدل‌اند:

اتصال به دادهٔ واقعی شما، تعریف حدی که سیستم از آن رد نمی‌شود، تعیین اینکه در حالت خطا چه می‌شود، و کسی که هر ماه پاسخ‌ها را بازبینی کند.

اگر این چهار انجام نشوند، توانمندترین مدل هم سیستم بدی می‌سازد. و اگر انجام شوند، مدل متوسط هم نتیجهٔ خوبی می‌دهد.

جمع‌بندی

انتخاب مدل زبانی برای فارسی از جدول درنمی‌آید. بیست پیام واقعی خودتان، پنج معیار، و یک بعدازظهر.

و مهم‌تر از خودِ انتخاب: سیستم را طوری بسازید که این انتخاب قابل تغییر باشد. در حوزه‌ای که هر چند ماه عوض می‌شود، این تنها تصمیمی است که کهنه نمی‌شود.

هوش مصنوعی چیست توضیح می‌دهد چرا این سیستم‌ها وقتی نمی‌دانند هم جواب می‌دهند، و تفاوت هوش مصنوعی و اتوماسیون می‌گوید کدام بخش کار اصلاً به مدل نیاز ندارد. و چت بات هوش مصنوعی ایرانی همین انتخاب را در سطح سرویس آماده باز می‌کند.