RAG به زبان ساده: چت‌بات چطور فقط از روی اطلاعات شما جواب می‌دهد؟
RAG یا تولید افزوده با بازیابی چیست؟ با یک مثال روزمره ببینید چت‌بات چطور پیش از هر جواب در اطلاعات کسب‌وکار شما می‌گردد و فقط از روی آن پاسخ می‌دهد.
اگر از یک دستیار هوش مصنوعی عمومی بپرسید «هزینه ارسال فروشگاه شما به مشهد چقدر است؟»، یکی از دو اتفاق می‌افتد: یا می‌گوید نمی‌داند، یا بدتر، عددی می‌گوید که کاملاً ساختگی است. دلیلش ساده است: هوش مصنوعی درباره دنیا چیزهای زیادی خوانده، اما فهرست قیمت، شرایط ارسال و قوانین مرجوعی شما را هرگز ندیده است.
راه‌حلی که امروز بیشتر دستیارهای هوشمند کسب‌وکار از آن استفاده می‌کنند، «تولید افزوده با بازیابی» یا به‌اختصار RAG است (از عبارت انگلیسی Retrieval-Augmented Generation). اسمش فنی است، اما ایده‌اش آن‌قدر ساده است که با یک مثال از زندگی روزمره فهمیده می‌شود.
در این مقاله توضیح می‌دهیم RAG چیست، قدم‌به‌قدم چطور کار می‌کند، آیوا چطور از آن استفاده می‌کند و شما چه کاری می‌توانید بکنید تا جواب‌ها دقیق‌تر شوند.
مشکل: هوش مصنوعی کسب‌وکار شما را نمی‌شناسد
مدل‌های زبانی هوش مصنوعی از روی حجم عظیمی از متن‌های عمومی ساخته شده‌اند. برای همین زبان را خوب می‌فهمند، جمله‌های روان می‌نویسند و درباره خیلی از موضوع‌های عمومی اطلاعات دارند. اما دو چیز را ندارند:
- اطلاعات اختصاصی شما را: قیمت‌ها، محصولات، ساعت کاری، قوانین و هر چیزی که فقط در فایل‌ها و سایت شما هست.
- اطلاعات تازه را: دانش مدل تا تاریخ مشخصی است و از تغییراتی که دیروز در کسب‌وکارتان دادید، خبر ندارد.
اگر چنین مدلی را بدون محدودیت جلوی مشتری بگذارید، برای پر کردن این جای خالی ممکن است جوابی بسازد که درست به نظر می‌رسد اما نیست. به این اتفاق «توهم» می‌گویند و در مقاله توهم هوش مصنوعی چیست مفصل درباره‌اش نوشته‌ایم.
RAG یعنی چه؟ یک مثال روزمره
کارمند تازه‌واردی را تصور کنید که روز اول کارش پشت میز پذیرش نشسته است. آدم باهوش و خوش‌صحبتی است، اما هنوز قوانین شرکت را نمی‌داند. مدیر یک کلاسور به او می‌دهد که همه قیمت‌ها، قوانین و جواب‌های رایج در آن است و می‌گوید: «پیش از جواب دادن به هر سؤال، اول کلاسور را نگاه کن. اگر جوابش آنجا نبود، حدس نزن؛ بگو اطلاعی ندارم و راه تماس با همکاران را بده.»
RAG دقیقاً همین است:
- هوش مصنوعی همان کارمند باهوش و خوش‌صحبت است که زبان را خوب می‌فهمد.
- کلاسور محتوایی است که شما به دستیار داده‌اید: فایل‌ها، جدول‌ها، صفحه‌های سایت و پرسش و پاسخ‌ها.
- بازیابی (Retrieval) یعنی پیدا کردن صفحه‌های مرتبط کلاسور.
- تولید (Generation) یعنی نوشتن جواب با کلمات خود کارمند، بر اساس همان صفحه‌ها.
یک مثال دیگر هم امتحان «کتاب‌باز» است. دانشجویی که کتاب جلویش باز است، لازم نیست همه چیز را حفظ باشد؛ کافی است بداند جواب هر سؤال را کجای کتاب پیدا کند و آن را درست بنویسد.
RAG قدم‌به‌قدم
فرض کنید یک فروشگاه لباس، فایل قوانین و جدول محصولاتش را به دستیار داده است و مشتری می‌پرسد: «مانتو کتان رو اگه اندازه نبود می‌شه عوض کرد؟»
قدم ۱: آماده‌سازی محتوا
این قدم فقط یک بار و پس از افزودن هر محتوا انجام می‌شود. سیستم متن فایل را بیرون می‌کشد و آن را به بخش‌های کوچک‌تر، در حد چند پاراگراف، تقسیم می‌کند؛ مثل اینکه کلاسور را به کارت‌هایی تبدیل کنید که روی هر کدام یک موضوع نوشته شده است. برای هر بخش هم نوعی «اثر انگشت معنایی» ساخته می‌شود تا بعداً بشود آن را بر اساس معنا پیدا کرد، نه فقط بر اساس کلمه‌ها.
قدم ۲: جستجو
با رسیدن هر سؤال، سیستم در میان همه بخش‌ها آن‌هایی را پیدا می‌کند که بیشترین ارتباط را با سؤال دارند. در مثال ما، بخش «تعویض و مرجوعی» از فایل قوانین پیدا می‌شود. بخش‌هایی که ارتباط کافی با سؤال ندارند، کنار گذاشته می‌شوند.
قدم ۳: نوشتن جواب
سؤال مشتری همراه با بخش‌های پیداشده به هوش مصنوعی داده می‌شود، با یک دستور روشن: فقط بر اساس همین متن‌ها جواب بده. نتیجه جوابی طبیعی مثل این است: «بله، تا ۷ روز پس از تحویل و به شرط سالم بودن برچسب، می‌توانید سایز را عوض کنید.»
قدم ۴: وقتی جوابی پیدا نمی‌شود
اگر هیچ بخش مرتبطی پیدا نشود، یا بخش‌های پیداشده جواب سؤال را نداشته باشند، دستیار نباید چیزی بسازد. در آیوا دستیار در این حالت می‌گوید «اطلاعاتی در این باره در دسترسم نیست.» و اگر شماره پشتیبانی تعیین کرده باشید (از پلن آیوا هوشمند به بعد)، راه تماس با شما را پیشنهاد می‌دهد.
چرا هم جستجوی معنایی، هم جستجوی کلمه‌ای؟
جستجوی معنایی منظور مشتری را پیدا می‌کند، حتی اگر کلمه‌ها فرق داشته باشند. مشتری می‌نویسد «کرایه پست چنده؟» و سیستم بخش «هزینه ارسال» را پیدا می‌کند، با اینکه هیچ کلمه مشترکی ندارند.
اما جستجوی معنایی در یک چیز ضعیف است: کلمه‌ها و کدهای دقیق. اگر مشتری بپرسد «مدل X200 موجود است؟»، مهم است دقیقاً همان مدل پیدا شود، نه مدلی با اسم مشابه. اینجا جستجوی کلمه‌ای به کار می‌آید که دنبال خود کلمه‌ها و عددها می‌گردد.
آیوا این دو روش را با هم ترکیب می‌کند تا هم منظور مشتری فهمیده شود و هم نام‌ها، کدها و عددهای دقیق از دست نروند.
آیوا RAG را چطور انجام می‌دهد؟
در آیوا، بخش «پایگاه دانش دستیار» همان کلاسور است. آنچه پشت صحنه اتفاق می‌افتد، به زبان ساده:
- انواع محتوا: فایل‌های PDF، Word (DOCX) و TXT و جدول‌های اکسل و CSV در همه پلن‌ها؛ لینک صفحه‌های سایت و پرسش و پاسخ از پلن آیوا آگاه به بعد.
- خواندن اسکن‌ها: صفحه‌های اسکن‌شده PDF و تصاویر داخل فایل‌های Word با نویسه‌خوان نوری (OCR) فارسی و انگلیسی خوانده می‌شوند.
- حفظ ردیف‌های جدول: هر ردیف جدول کامل و همراه با نام ستون‌ها نگه داشته می‌شود تا قیمت یک محصول به محصول دیگری نچسبد.
- خواندن سایت مثل یک کاربر: صفحه‌های وب در یک مرورگر واقعی باز می‌شوند، پس سایت‌هایی که با جاوااسکریپت ساخته شده‌اند هم خوانده می‌شوند؛ البته فقط آنچه در همان لحظه روی صفحه دیده می‌شود.
- یکسان‌سازی نوشتار فارسی: شکل عربی «ی» و «ک»، شکل‌های مختلف اعداد و نیم‌فاصله، هم در محتوا و هم در سؤال مشتری یکسان می‌شوند تا تفاوت نوشتاری مانع پیدا شدن جواب نشود.
- فقط محتوای آماده: فقط محتوایی که وضعیتش «اعمال شده» باشد، در جواب‌ها به کار می‌رود.
- فهمیدن سؤال‌های دنباله‌دار: دستیار آخرین ۲۰ پیام هر کاربر را به یاد دارد و می‌تواند سؤال کوتاهی مثل «قیمتش چنده؟» را با توجه به گفتگوی قبلی به یک جستجوی کامل مثل «قیمت مانتو کتان» تبدیل کند.
دو تنظیم در مرحله «تنظیمات پاسخ‌گویی» هم به همین فرایند مربوط است و هر دو از پلن آیوا هوشمند به بعد در دسترس‌اند:
- «میزان انطباق پاسخ با اسناد» با سه سطح کم، متوسط و زیاد تعیین می‌کند که جواب از چند بخش محتوای شما کمک بگیرد. سطح بالاتر برای سؤال‌هایی مفید است که جوابشان در چند جا پخش شده، اما متن بیشتری پردازش می‌شود.
- گزینه «RAG» طبق توضیح خود تنظیمات، جستجو در پایگاه دانش را پیش از پاسخ فعال می‌کند؛ جواب‌ها دقیق‌تر می‌شوند، اما مصرف هم بیشتر است.
کیفیت جواب به کیفیت کلاسور بستگی دارد
RAG هوش مصنوعی را به محتوای شما گره می‌زند و این هم نقطه قوتش است و هم نقطه ضعفش. اگر محتوا دقیق و مرتب باشد، جواب‌ها هم دقیق‌اند. اگر قدیمی، متناقض یا ناقص باشد، هیچ روش جستجویی نمی‌تواند از دلش جواب درست بیرون بیاورد. سه قاعده ساده بیشترین اثر را دارند:
- هر موضوع را یک جا و کامل بنویسید تا در یک بخش کنار هم بمانند.
- هر بخش را طوری بنویسید که جدا از بقیه هم فهمیده شود، چون ممکن است فقط همان بخش پیدا و خوانده شود.
- برای هر موضوع فقط یک نسخه معتبر نگه دارید و نسخه‌های قدیمی را حذف کنید.
فهرست کامل این کارها را در چک‌لیست آماده‌سازی محتوا برای آموزش چت‌بات آورده‌ایم.
RAG چه کارهایی را حل نمی‌کند؟
- اطلاعات لحظه‌ای را نمی‌داند. موجودی انبار یا وضعیت یک سفارش هر ساعت تغییر می‌کند. برای این‌ها دستیار باید مستقیم از فروشگاه یا نرم‌افزار شما بپرسد؛ کاری که با «ابزار» انجام می‌شود و در مقاله از چت‌بات تا ایجنت توضیحش داده‌ایم.
- خودبه‌خود به‌روز نمی‌شود. اگر متن صفحه‌ای از سایت را عوض کنید، باید آن صفحه را دوباره به پایگاه دانش اضافه کنید.
- محتوای اشتباه را درست نمی‌کند. اگر در فایل نوشته باشید ارسال رایگان است، دستیار هم همین را می‌گوید.
- همیشه همه تکه‌ها را کنار هم پیدا نمی‌کند. اگر جواب یک سؤال در سه فایل مختلف پخش شده باشد، ممکن است فقط بخشی از آن پیدا شود.
اگر دستیار به سؤالی جواب نمی‌دهد که فکر می‌کنید جوابش را به او داده‌اید، معمولاً یکی از همین علت‌ها در کار است. هشت علت رایج و راه‌حل هر کدام را در چرا چت‌بات جواب سؤال را نمی‌داند؟ آورده‌ایم.
سؤالات متداول
آیا RAG یعنی هوش مصنوعی با اطلاعات من دوباره آموزش می‌بیند؟
نه. خود مدل هوش مصنوعی تغییر نمی‌کند. محتوای شما جداگانه نگهداری می‌شود و فقط در لحظه جواب دادن، بخش‌های مرتبطش جلوی مدل گذاشته می‌شود. به همین دلیل اگر سندی را حذف کنید، از آن به بعد در جواب‌ها به کار نمی‌رود.
آیا گفتگوهای مشتری‌ها به دانش دستیار اضافه می‌شوند؟
نه. آیوا فقط از محتوایی استفاده می‌کند که شما اضافه کرده‌اید. دستیار پیام‌های اخیر هر کاربر را به یاد دارد تا گفتگو را دنبال کند، اما این پیام‌ها به دانش دستیار اضافه نمی‌شوند و در جواب دادن به کاربران دیگر به کار نمی‌روند.
چقدر محتوا می‌توانم اضافه کنم؟
حجم پایگاه دانش بر اساس تعداد کاراکتر در اشتراک هر چت‌بات محدود است: ۱۰۰ هزار کاراکتر در دوره آزمایشی، ۲ میلیون در آیوا آگاه، ۳ میلیون در آیوا هوشمند و نامحدود در آیوا ژرف. حذف هر سند، کاراکترهایش را به سهمیه برمی‌گرداند. برای جزئیات هر روش افزودن محتوا، آموزش پایگاه دانش آیوا را ببینید.
جمع‌بندی
RAG یعنی هوش مصنوعی پیش از جواب دادن، اول کلاسور شما را ورق می‌زند. نتیجه دستیاری است که زبان مشتری را می‌فهمد، اما حرفش را از محتوای شما می‌زند و وقتی جوابی ندارد، به‌جای ساختن، صادقانه می‌گوید نمی‌داند. سهم شما هم روشن است: کلاسوری کامل، دقیق و به‌روز. برای دیدن جایگاه RAG در میان انواع چت‌بات، راهنمای جامع چت‌بات را بخوانید.
برای اینکه ببینید دستیاری با اطلاعات کسب‌وکار خودتان چطور جواب می‌دهد، ساخت دستیار را رایگان در آیوا شروع کنید.