RAG چیست؟ آشنایی با معماری، کاربردها و نحوه پیاده سازی RAG در هوش مصنوعی

RAG چیست؟

RAG مخفف عبارت Retrieval-Augmented Generation است و به روشی گفته می‌شود که در آن مدل هوش مصنوعی قبل از تولید پاسخ، اطلاعات مرتبط را از یک منبع خارجی بازیابی می‌کند و سپس از این اطلاعات برای تولید پاسخ استفاده می‌شود.

به زبان ساده، می‌توان RAG را مانند یک لایه واسط میان مدل زبانی و اطلاعات مورد نیاز آن در نظر گرفت. به جای اینکه مدل فقط بر اساس اطلاعاتی که در زمان آموزش یاد گرفته است پاسخ دهد، سیستم RAG می‌تواند اطلاعات مرتبط را از اسناد، پایگاه داده، وبسایت یا منابع اطلاعاتی دیگر پیدا کند و در اختیار مدل قرار دهد.

برای مثال فرض کنید یک شرکت صدها سند درباره خدمات، قوانین داخلی، محصولات و اطلاعات مشتریان خود دارد. اگر کاربر درباره یکی از این اطلاعات سؤال کند، سیستم RAG می‌تواند ابتدا بخش مرتبط با سؤال را پیدا کند و سپس آن را همراه با سؤال در اختیار مدل زبانی قرار دهد تا پاسخ نهایی تولید شود.

RAG مخفف چیست؟

RAG مخفف Retrieval-Augmented Generation است که می‌توان آن را «تولید تقویت‌شده با بازیابی اطلاعات» ترجمه کرد.

این نام به دو بخش اصلی سیستم اشاره می‌کند. بخش اول، Retrieval یا بازیابی اطلاعات است که وظیفه پیدا کردن اطلاعات مرتبط با سؤال کاربر را بر عهده دارد. بخش دوم، Generation یا تولید است که در آن مدل زبانی با استفاده از اطلاعات بازیابی‌شده، پاسخ نهایی را تولید می‌کند.

بنابراین RAG را می‌توان ترکیبی از یک سیستم بازیابی اطلاعات و یک مدل تولیدکننده متن دانست. این دو بخش در کنار یکدیگر کمک می‌کنند مدل بتواند هنگام پاسخ‌گویی از اطلاعات خارجی مرتبط نیز استفاده کند.

RAG چه کاربردی دارد؟

RAG در پروژه‌هایی کاربرد دارد که مدل هوش مصنوعی باید بتواند بر اساس اطلاعاتی خارج از دانش عمومی مدل پاسخ دهد. این اطلاعات می‌توانند اسناد، فایل‌ها، محتوای وبسایت، اطلاعات محصولات، پایگاه‌های داده یا داده‌های داخلی یک سازمان باشند.

• پاسخ‌گویی به سؤالات کاربران بر اساس اسناد و اطلاعات اختصاصی
• ساخت دستیار هوشمند برای شرکت‌ها و سازمان‌ها
• جست‌وجو و پرسش‌وپاسخ روی فایل‌های متنی و اسناد
• ساخت سیستم‌های پرسش و پاسخ برای وبسایت‌ها
• دسترسی مدل زبانی به اطلاعات محصولات و خدمات
• استفاده از اطلاعات داخلی شرکت در سیستم‌های هوشمند
• ساخت سیستم‌های هوشمند برای بازیابی اطلاعات مرتبط
• پشتیبانی از کاربران با استفاده از پایگاه دانش اختصاصی

به همین دلیل، RAG یکی از روش‌های کاربردی برای اتصال مدل‌های زبانی به داده‌های اختصاصی کسب‌وکارها محسوب می‌شود و می‌تواند در پروژه‌های مختلف هوش مصنوعی مورد استفاده قرار گیرد.

RAG در وبسایت چه کاربردی دارد؟

یکی از کاربردهای مهم RAG، استفاده از آن در وبسایت‌ها برای ایجاد سیستم‌های پرسش و پاسخ هوشمند است. در این حالت می‌توان محتوای صفحات، مقالات، محصولات، خدمات یا اسناد مرتبط را به عنوان منبع اطلاعاتی در اختیار سیستم قرار داد.

زمانی که کاربر سؤالی را در وبسایت مطرح می‌کند، سیستم می‌تواند ابتدا بخش‌های مرتبط با سؤال را از میان اطلاعات موجود پیدا کند و سپس این اطلاعات را در اختیار مدل زبانی قرار دهد. مدل نیز با استفاده از این context پاسخ مناسب را تولید می‌کند.

برای مثال، یک شرکت می‌تواند اطلاعات خدمات خود را در یک پایگاه دانش قرار دهد و یک دستیار هوشمند مبتنی بر RAG ایجاد کند تا کاربران درباره خدمات، ویژگی‌ها یا اطلاعات مرتبط سؤال کنند.

استفاده از RAG در کنار سایر فناوری‌های هوش مصنوعی می‌تواند به ایجاد سیستم‌های هوشمندتر برای وبسایت‌ها و کسب‌وکارها کمک کند. برای آشنایی بیشتر با راهکارهای مختلف این حوزه می‌توانید خدمات هوش مصنوعی را نیز بررسی کنید.

تفاوت RAG و چت بات چیست؟

RAG و چت‌بات دو مفهوم یکسان نیستند. چت‌بات در اصل سیستمی است که برای تعامل و گفت‌وگو با کاربر طراحی می‌شود، در حالی که RAG یک معماری یا روش برای بازیابی اطلاعات مرتبط و استفاده از آن‌ها در تولید پاسخ است.

یک چت‌بات می‌تواند بدون RAG نیز ساخته شود و پاسخ‌های خود را صرفاً بر اساس مدل زبانی یا قوانین از پیش تعریف‌شده تولید کند. اما اگر بخواهیم چت‌بات بتواند بر اساس اطلاعات اختصاصی یک شرکت یا مجموعه‌ای از اسناد پاسخ دهد، می‌توان از RAG در معماری آن استفاده کرد.

بنابراین می‌توان گفت RAG می‌تواند یکی از اجزای یک چت‌بات هوشمند باشد، اما هر چت‌باتی الزاماً از RAG استفاده نمی‌کند.

تفاوت RAG و AI Agent چیست؟

RAG و AI Agent نیز مفاهیم متفاوتی هستند، هرچند می‌توانند در یک سیستم هوشمند در کنار یکدیگر استفاده شوند.

RAG بیشتر روی بازیابی اطلاعات مرتبط و قرار دادن آن اطلاعات در اختیار مدل تمرکز دارد. در مقابل، یک AI Agent می‌تواند برای انجام یک هدف مشخص، اطلاعات را بررسی کند، از ابزارهای مختلف استفاده کند و بر اساس شرایط موجود مراحل مختلفی را انجام دهد.

برای مثال، یک سیستم RAG می‌تواند اطلاعات مرتبط با یک محصول را از پایگاه دانش پیدا کند و در اختیار مدل قرار دهد. اما یک Agent می‌تواند علاوه بر بازیابی اطلاعات، از ابزارهای دیگر نیز استفاده کند؛ برای مثال وضعیت سفارش را بررسی کند، اطلاعات را از یک API دریافت کند و نتیجه را به کاربر اعلام کند.

در بسیاری از معماری‌های پیشرفته، RAG می‌تواند به عنوان یکی از ابزارها یا اجزای مورد استفاده توسط یک AI Agent قرار بگیرد.

مزایای استفاده از RAG

استفاده از RAG در پروژه‌های هوش مصنوعی می‌تواند مزایای مختلفی داشته باشد، به‌خصوص زمانی که مدل باید بر اساس اطلاعات اختصاصی یا قابل تغییر پاسخ دهد.

• امکان استفاده از اطلاعات اختصاصی کسب‌وکار
• امکان به‌روزرسانی منبع اطلاعاتی بدون نیاز به آموزش مجدد مدل برای هر تغییر
• بازیابی اطلاعات مرتبط با سؤال کاربر
• امکان استفاده از اسناد و پایگاه‌های دانش مختلف
• کمک به تولید پاسخ‌های مرتبط‌تر با اطلاعات موجود در منبع
• امکان ساخت دستیارهای هوشمند مبتنی بر دانش اختصاصی
• قابلیت اتصال مدل‌های زبانی به منابع اطلاعاتی خارجی
• امکان استفاده از RAG در پروژه‌های مختلف سازمانی و نرم‌افزاری

البته RAG به تنهایی تضمین نمی‌کند که تمام پاسخ‌های سیستم همیشه درست باشند. کیفیت داده‌ها، روش بازیابی، مدل Embedding، طراحی Prompt و مدل زبانی همگی می‌توانند بر نتیجه نهایی تأثیر داشته باشند.

معماری RAG چگونه کار می‌کند؟

برای درک بهتر اینکه RAG چیست، باید اجزای اصلی معماری آن را بشناسیم. اگرچه پیاده‌سازی‌های مختلف می‌توانند جزئیات متفاوتی داشته باشند، یک سیستم RAG معمولاً شامل بخش‌هایی برای آماده‌سازی داده، تبدیل اطلاعات به Embedding، ذخیره‌سازی برداری، بازیابی اطلاعات و تولید پاسخ است.

۱. آماده‌سازی اطلاعات

ابتدا اطلاعات مورد نظر مانند اسناد، فایل‌ها، صفحات وب یا داده‌های متنی جمع‌آوری می‌شوند. سپس اطلاعات معمولاً به بخش‌های کوچک‌تری تقسیم می‌شوند تا بازیابی قسمت مرتبط با سؤال کاربر ساده‌تر و دقیق‌تر انجام شود.

۲. ایجاد Embedding

در مرحله بعد، بخش‌های متنی به بردارهای عددی تبدیل می‌شوند. این بردارها که Embedding نام دارند، امکان مقایسه معنایی میان متن‌ها را فراهم می‌کنند.

۳. ذخیره در Vector Database

Embeddingهای ایجادشده معمولاً در یک پایگاه داده برداری یا Vector Database ذخیره می‌شوند تا هنگام دریافت سؤال بتوان اطلاعات مرتبط را سریع‌تر پیدا کرد.

۴. دریافت سؤال کاربر

زمانی که کاربر سؤال خود را وارد می‌کند، سؤال نیز می‌تواند به یک Embedding تبدیل شود تا سیستم بتواند آن را از نظر معنایی با اطلاعات موجود در پایگاه داده مقایسه کند.

۵. بازیابی اطلاعات مرتبط

سیستم بر اساس شباهت معنایی، بخش‌هایی از اطلاعات را که ارتباط بیشتری با سؤال دارند پیدا می‌کند. این مرحله همان بخش Retrieval در RAG است.

۶. تولید پاسخ

در مرحله نهایی، اطلاعات بازیابی‌شده به همراه سؤال کاربر در اختیار مدل زبانی قرار می‌گیرد. مدل سپس با استفاده از این اطلاعات پاسخ نهایی را تولید می‌کند.

Embedding چیست و چه نقشی در RAG دارد؟

Embedding روشی برای نمایش اطلاعات مانند متن به صورت مجموعه‌ای از اعداد یا بردارها است. هدف این است که بتوان شباهت معنایی میان داده‌های مختلف را با استفاده از این نمایش عددی بررسی کرد.

در سیستم‌های RAG، متن‌های موجود در پایگاه دانش به Embedding تبدیل می‌شوند و سپس سؤال کاربر نیز به شکلی مشابه به یک بردار تبدیل می‌شود. سیستم می‌تواند با مقایسه این بردارها، اطلاعاتی را که از نظر معنایی به سؤال نزدیک‌تر هستند پیدا کند.

برای مثال، ممکن است کاربر سؤال کند «شرکت چه خدماتی ارائه می‌دهد؟» و در منبع اطلاعاتی جمله‌ای مانند «شرکت در زمینه طراحی سایت فعالیت می‌کند» وجود داشته باشد. حتی اگر این دو جمله دقیقاً کلمات یکسانی نداشته باشند، Embedding می‌تواند به سیستم کمک کند ارتباط معنایی میان آن‌ها را تشخیص دهد.

Vector DB چیست؟

Vector DB یا Vector Database نوعی پایگاه داده است که برای ذخیره، مدیریت و جست‌وجوی بردارهای عددی مورد استفاده قرار می‌گیرد.

از آنجا که Embeddingها به صورت بردارهای عددی ذخیره می‌شوند، یک سیستم RAG می‌تواند از پایگاه‌های داده برداری برای پیدا کردن اطلاعاتی استفاده کند که از نظر معنایی به سؤال کاربر نزدیک‌تر هستند.

پایگاه‌های داده برداری مختلفی وجود دارند و انتخاب ابزار مناسب به نیاز پروژه، حجم داده، معماری سیستم و سایر عوامل فنی بستگی دارد.

در یک معماری ساده RAG، جریان اطلاعات می‌تواند به شکل زیر باشد:

داده متنی → Chunking → Embedding → Vector Database → Retrieval → LLM → پاسخ

Agentic RAG چیست؟

Agentic RAG رویکردی است که در آن قابلیت‌های RAG با رفتارهای مبتنی بر Agent ترکیب می‌شوند. در یک RAG ساده، فرآیند بازیابی اطلاعات معمولاً ساختار مشخصی دارد، اما در معماری‌های Agentic RAG، سیستم می‌تواند برای پیدا کردن اطلاعات مناسب، تصمیم‌گیری و انتخاب مسیرهای مختلفی داشته باشد.

برای مثال، یک سیستم Agentic RAG می‌تواند تشخیص دهد که برای پاسخ به سؤال کاربر به کدام منبع اطلاعاتی نیاز دارد، چه اطلاعاتی باید جست‌وجو شود یا آیا نتیجه بازیابی‌شده برای پاسخ‌گویی کافی است.

این معماری می‌تواند برای مسائل پیچیده‌تر مفید باشد؛ زیرا سیستم فقط یک مسیر ثابت برای بازیابی اطلاعات ندارد و می‌تواند بر اساس شرایط موجود مراحل مختلفی را طی کند.

پیاده سازی RAG چگونه انجام می‌شود؟

نحوه پیاده سازی RAG به نوع پروژه و ابزارهای مورد استفاده بستگی دارد، اما معمولاً فرآیند از آماده‌سازی داده‌ها شروع می‌شود و تا بازیابی اطلاعات و تولید پاسخ ادامه پیدا می‌کند.

۱. جمع‌آوری داده‌ها

ابتدا باید مشخص شود سیستم قرار است از چه منابعی اطلاعات دریافت کند. این منابع می‌توانند فایل‌های متنی، اسناد، صفحات وب، اطلاعات محصولات یا داده‌های داخلی سازمان باشند.

۲. تقسیم داده‌ها به بخش‌های کوچک‌تر

اطلاعات معمولاً به قطعات کوچک‌تر یا Chunk تقسیم می‌شوند. اندازه مناسب Chunk به نوع داده، مدل مورد استفاده و نیاز پروژه بستگی دارد.

۳. تبدیل متن به Embedding

در مرحله بعد، هر بخش متنی با استفاده از یک مدل Embedding به بردار عددی تبدیل می‌شود. این بردارها نمایش عددی معنای متن را در اختیار سیستم قرار می‌دهند.

۴. ذخیره اطلاعات در Vector Database

Embeddingها همراه با اطلاعات مربوط به متن در یک Vector Database ذخیره می‌شوند تا امکان جست‌وجوی معنایی روی داده‌ها فراهم شود.

۵. بازیابی اطلاعات مرتبط

هنگامی که کاربر سؤال می‌پرسد، سیستم سؤال را پردازش کرده و اطلاعاتی را که بیشترین ارتباط معنایی را با آن دارند از Vector Database بازیابی می‌کند.

۶. ارسال Context به مدل زبانی

اطلاعات بازیابی‌شده به عنوان Context در اختیار مدل زبانی قرار می‌گیرند. سپس مدل با توجه به سؤال کاربر و Context موجود، پاسخ نهایی را تولید می‌کند.

۷. بررسی و بهبود نتیجه

در پروژه‌های واقعی ممکن است لازم باشد کیفیت Retrieval، میزان ارتباط اطلاعات بازیابی‌شده، Prompt و پاسخ نهایی بررسی شود. این مرحله برای بهبود کیفیت سیستم RAG اهمیت زیادی دارد.

یک مثال ساده از عملکرد RAG

فرض کنید اطلاعات یک شرکت در یک پایگاه دانش ذخیره شده و در یکی از اسناد نوشته شده است: «ساعت کاری شرکت از ۹ صبح تا ۵ عصر است.»

حال کاربر سؤال می‌کند: «شرکت چه ساعتی باز است؟»

سیستم RAG ابتدا سؤال را پردازش می‌کند و اطلاعات مرتبط را از پایگاه داده پیدا می‌کند. جمله مربوط به ساعت کاری به عنوان Context در اختیار مدل قرار می‌گیرد و مدل می‌تواند بر اساس همان اطلاعات پاسخ دهد: «ساعت کاری شرکت از ۹ صبح تا ۵ عصر است.»

در این مثال، مدل مجبور نیست صرفاً بر اساس دانش عمومی خود درباره ساعت کاری شرکت حدس بزند، بلکه اطلاعات مرتبط از منبع مشخص بازیابی شده و در اختیار آن قرار گرفته است.

محدودیت‌های RAG چیست؟

با وجود مزایای RAG، استفاده از آن به معنی حذف تمام خطاهای سیستم‌های هوش مصنوعی نیست. کیفیت پاسخ نهایی تا حد زیادی به کیفیت داده‌ها و نحوه طراحی سیستم بستگی دارد.

• اطلاعات نامناسب یا ناقص می‌توانند باعث بازیابی نتایج نامرتبط شوند.
• تقسیم نامناسب اسناد به Chunk می‌تواند کیفیت Retrieval را کاهش دهد.
• مدل Embedding مناسب باید متناسب با زبان و نوع داده انتخاب شود.
• بازیابی اطلاعات نامرتبط می‌تواند کیفیت پاسخ مدل را کاهش دهد.
• طراحی نامناسب Prompt می‌تواند باعث استفاده نادرست از Context شود.
• پیاده‌سازی سیستم‌های بزرگ RAG می‌تواند به زیرساخت و طراحی فنی مناسب نیاز داشته باشد.

بنابراین در یک پروژه واقعی، فقط انتخاب یک Vector Database یا مدل زبانی کافی نیست و تمام مراحل زنجیره RAG باید به شکل مناسب طراحی و ارزیابی شوند.

RAG چه ارتباطی با AI Agent دارد؟

RAG و AI Agent می‌توانند در یک سیستم واحد در کنار یکدیگر استفاده شوند. RAG می‌تواند وظیفه بازیابی اطلاعات مورد نیاز Agent را بر عهده داشته باشد و Agent نیز بتواند بر اساس هدف خود تصمیم بگیرد چه زمانی و چگونه از این اطلاعات استفاده کند.

برای مثال، یک Agent خدمات مشتری می‌تواند ابتدا سؤال کاربر را بررسی کند، سپس از یک سیستم RAG برای پیدا کردن اطلاعات مربوط به خدمات استفاده کند و در صورت نیاز از ابزار دیگری مانند API برای دریافت اطلاعات سفارش استفاده کند.

به این ترتیب RAG می‌تواند یکی از اجزای یک معماری Agentic باشد و به Agent کمک کند به اطلاعات اختصاصی مورد نیاز خود دسترسی داشته باشد.

کاربردهای RAG در کسب‌وکار

یکی از دلایل محبوبیت RAG این است که می‌توان از آن برای حل مسائل واقعی کسب‌وکارها استفاده کرد. هر سازمانی که حجم قابل توجهی از اطلاعات و اسناد داشته باشد، می‌تواند در شرایط مناسب از معماری‌های مبتنی بر RAG برای دسترسی هوشمندانه‌تر به این اطلاعات استفاده کند.

• دستیار هوشمند داخلی شرکت
• پاسخ‌گویی هوشمند به سؤالات مشتریان
• جست‌وجوی هوشمند در اسناد سازمان
• دستیار هوشمند برای اطلاعات محصولات
• پرسش و پاسخ درباره خدمات شرکت
• بازیابی اطلاعات از پایگاه دانش
• ساخت دستیارهای تخصصی برای حوزه‌های مختلف
• اتصال مدل‌های زبانی به اطلاعات اختصاصی سازمان

انتخاب معماری مناسب به نوع اطلاعات، حجم داده، نیازهای کسب‌وکار و سطح پیچیدگی سیستم بستگی دارد.

برای یادگیری RAG از کجا شروع کنیم؟

برای یادگیری RAG بهتر است ابتدا مفاهیم پایه مدل‌های زبانی و Embedding را بشناسید و سپس با مفهوم Vector Database و جست‌وجوی معنایی آشنا شوید.

بعد از یادگیری این مفاهیم می‌توان یک پروژه ساده ایجاد کرد که در آن چند سند به سیستم داده شود، اطلاعات به Chunkهای کوچک‌تر تقسیم شوند، Embedding ایجاد شود و داده‌ها در یک Vector Database ذخیره شوند.

در مرحله بعد می‌توان فرآیند Retrieval را به مدل زبانی متصل کرد تا سؤال کاربر ابتدا اطلاعات مرتبط را بازیابی کند و سپس مدل بر اساس Context بازیابی‌شده پاسخ دهد.

با تسلط بر این مراحل، می‌توان به سراغ معماری‌های پیشرفته‌تر مانند Hybrid Search، Reranking، Agentic RAG و سیستم‌های چندمرحله‌ای رفت.

جمع‌بندی؛ RAG چیست؟

RAG مخفف Retrieval-Augmented Generation و روشی برای ترکیب بازیابی اطلاعات با تولید متن توسط مدل‌های هوش مصنوعی است. در این معماری، سیستم ابتدا اطلاعات مرتبط با سؤال کاربر را از یک منبع خارجی پیدا می‌کند و سپس آن اطلاعات را در اختیار مدل زبانی قرار می‌دهد.

Embedding و Vector Database از اجزای مهم بسیاری از معماری‌های RAG هستند و به سیستم کمک می‌کنند اطلاعات مرتبط را بر اساس شباهت معنایی پیدا کند. در کنار این موارد، کیفیت داده‌ها، روش Chunking، Retrieval و طراحی Prompt نیز بر عملکرد نهایی سیستم تأثیر دارند.

RAG می‌تواند برای ساخت دستیارهای هوشمند، سیستم‌های پرسش و پاسخ، جست‌وجوی هوشمند در اسناد و اتصال مدل‌های زبانی به اطلاعات اختصاصی کسب‌وکارها مورد استفاده قرار گیرد.

در معماری‌های پیشرفته‌تر نیز می‌توان RAG را با AI Agent ترکیب کرد و سیستم‌هایی ساخت که علاوه بر بازیابی اطلاعات، توانایی تصمیم‌گیری و استفاده از ابزارهای مختلف را داشته باشند.

سؤالات متداول درباره RAG