در طول 18 ماه گذشته ، “عوامل هوش مصنوعی” و “نسل ، با استخراج ، عبور از مفاهیم طاقچه به همه جا و در عین حال کلمات مد عمیقاً درک شده است. در حالی که آنها اغلب در عرشه های استراتژیک ذکر می شوند ، تعداد سازمان ها با موفقیت با موفقیت و تحقق تولید پایدار هستند.
از سال 2024 ، من معماران دارم و درگیر سیستم هایی هستم که منطق عامل را با خطوط لوله پیشرفته در محیط تولید ادغام می کنند-شرایط محدودیت های غیرقابل توصیف ترافیک مصرف کننده در زمان واقعی ، لایه های نهفته سخت و سقف های غیر قابل دسترسی.
واقعیت این است که داستان غالب ، که اغلب بر اتصال یک مدل بزرگ زبان (LLM) با یک پایگاه داده وکتور از طریق یک مکالمه ساده از API متمرکز شده است ، به طور خطرناک این چالش را ساده می کند. بسیاری از به اصطلاح “مهندسی هوش مصنوعی” هنوز فراتر از نمونه های اولیه به پایان نرسیده اند ، که فقط بیش از یک کانتور پاسخ دهنده بر روی نمونه ای از کروماد وانیل است. رشته مهندسی واقعی که برای ساخت ، استقرار و مقیاس بندی این سیستم ها مورد نیاز است ، برای اکثر آنها یک قلمرو ناشناخته است.
برای سازمانهایی که متعهد به واقعی شدن هستند ، و نه فقط در صورت وقوع AI ، کارت جاده ای فنی زیر بسیار مهم است.
1. فراتر از لرزش: چرا هوش مصنوعی شما به یک پایگاه مهندسی واقعی نیاز دارد
هنگامی که دروازه API شما 503 سرویس را در بارگیری همزمان بازگرداند ، سند اصلی تحقیق در مورد استدلال با بسیاری از هاپ بی ربط است. عوامل و سیستم های RAG سیستم های نرم افزاری اول و مدل های AI را در جایگاه دوم توزیع می کنند. تسلط بر مهندسی نرم افزار مدرن یک پیش نیاز غیرقابل تحمل است. این به معنای مهارت قاب های ناهمزمان بسیار مؤثر (به عنوان مثال FastAPI ، معماری است که توسط رویدادهای Asyncio عمل می کند) ، کانتینر و ارکستراسیون (داکر ، Kubernetes) و خطوط لوله CI/CD خودکار که آزمایش ، کانال دار و بازگشت را انجام می دهند. شما نمی توانید بدون درک عمیق از نحوه ارسال میکروسرایرهای مقاوم ، قابل مشاهده و مقیاس پذیر ، یک عامل مقاوم در برابر آسیب را ایجاد کنید.
چگونه در AgentForce کار می کند: AgentForce کل لایه پیچیدگی زیرساخت ها را خلاصه می کند. این کار با زیرساخت های جهانی Hyperford Salesforce کار می کند ، به این معنی که چالش های ارکستراسیون کانتینر ، اتونیسم و قابلیت اطمینان شبکه برای شما مدیریت می شود. به جای گذراندن ماه ها برای DevOps ، تیم شما ممکن است بلافاصله روی تعریف منطق عامل در یک محیط پیش ساخته ، پایدار و مشاهده شده متمرکز شود ، که از روز اول برای مقیاس تولید در نظر گرفته شده است.
2. نمایندگان Chatbot نیستند: معماری برای برنامه ریزی ، حافظه و عدم موفقیت
عامل تولید یک چت بابات با بافر حافظه مکالمه نیست. این یک سیستم پیچیده است که برای برنامه ریزی ، حافظه و تعامل با ابزارها به مدلهای پیچیده معماری نیاز دارد.
- برنامه ریزی و ارکستراسیون: حلقه های واکنش ساده (دلیل+عمل) شکننده هستند. سیستم های تولید نیاز به برنامه ریزی پایدارتر دارند ، که اغلب به عنوان ماشین های دارای دولت یا گرافیک های حکسی هدفمند (DAG) برای مدیریت تجزیه کار پیچیده تحقق می یابند. این شامل تکنیک هایی مانند LLM-as-a-judge برای انتخاب جاده و تنظیم برنامه پویا است.
- سلسله مراتب حافظه: حافظه باید در سطوح بایگانی شود: پنجره زمینه کوتاه مدت برای مکالمه فوری ، بافر میان مدت (به عنوان مثال Redis Cache برای داده های جلسه مصرف کننده) و حافظه انجمنی طولانی مدت ، معمولاً فروشگاه وکتور ، برای بازیابی تعامل های گذشته یا دانش جهانی.
- استفاده از ابزارها و تحمل به آسیب: تعامل با ابزارها نمی تواند آتش و فراموشی باشد. برای جلوگیری از آسیب های آبشار (به عنوان مثال وقتی API صورتحساب پایین پایین پایین است) و یک منطق ذخیره کاملاً تعریف شده ، نیاز به اعتبارسنجی پایدار از یک طرح API دارد ، به صورت خودکار -گتت های خودکار با پشتی نمایی ، قطع کننده های مدار ، برای جلوگیری از آسیب های آبشار (به عنوان مثال وقتی API صورتحساب پایین پایین است). چالش اصلی مهندسی این نیست که یک عامل هوشمندانه به نظر برسد ، بلکه تضمین می کند که با لطف و قابل پیش بینی شکست نمی خورد.
چگونه در AgentForce کار می کند: AgentForce یک چارچوب اعلانی برای ایجاد عوامل جایگزین منطق شکننده و رمزگذاری شده با مدل های محکم و از پیش ساخته فراهم می کند. شما می توانید از لحاظ بصری جریان کار پیچیده را طراحی کنید در حالی که این سیستم عامل شرایط اساسی را مدیریت می کند. سلسله مراتب حافظه یک تابع بومی است که یکپارچه زمینه کوتاه مدت را با دانش طولانی مدت در ابر داده متصل می کند. علاوه بر این ، قاب ادغام ابزار با تحمل نقص عملکردی ساخته شده ، پردازش مجدد اتوماتیک ، انتظار و قطع کننده های مدار در دسترس است ، و اطمینان حاصل می کند که عامل شما مقاوم به پیش فرض است.
3. شکست های خاموش Rag: جستجوی ترکیبی ، تغییر مسیر و ارزیابی دقیق
کیفیت سیستم RAG کاملاً با توجه و دقت زمینه ترسیم شده آن تعیین می شود. بسیاری از خرابی های دستمال خرابی های خاموش استخراج شده توسط توهم قابل قبول LLM است.
- خط لوله نمایه سازی: استخراج مؤثر با خط لوله مصرف داده های پیشرفته و تخریب آغاز می شود. اندازه ثابت کافی نیست. استراتژی های گسترده شامل لعنتی معنایی ، لعنتی بازگشتی بر اساس ساختار اسناد (عناوین ، جداول) و تجزیه و تحلیل سفارشی برای انواع داده های ناهمگن مانند PDF و HTML است.
- استخراج ترکیبی: خواندن فقط جستجوی متراکم برای یک بردار یک اشتباه مهم است. استخراج مدرن تقاضای تنگ (با استفاده از مدل های داخلی تنظیم شده مانند E5-LARGE-V2) را با یک جستجوی نادر مبتنی بر کلمات کلیدی (مانند BM25 یا Splade) ترکیب می کند. این رویکرد ترکیبی هم شباهت معنایی و هم اهمیت واژگانی را ضبط می کند.
- بازسازی و ارزیابی: نتایج بهترین k از استخراج اولیه باید با استفاده از یک مدل قدرتمندتر اما کندتر مانند یک بزرگتر متقاطع هدایت شود. علاوه بر این ، کیفیت استخراج باید به طور سیستماتیک با استفاده از شاخص هایی مانند Precision@K ، میانگین رتبه متقابل (MRR) و سود تجمعی با تخفیف عادی (NDCG) ارزیابی شود. بدون یک قاب ارزیابی دقیق ، سیستم RAG شما کورکورانه کار می کند.
چگونه در AgentForce کار می کند: قابلیت های Rag AgentForce توسط Salesforce Data Cloud تأمین می شود. این امر نیاز به ساخت یک خط لوله جداگانه را از بین می برد. Data Cloud محتوای هوشمند ، خفه کننده و یک موتور جستجوی ترکیبی را فراهم می کند که ترکیب کلمات کلیدی معنایی و استخراج در تمام داده های سازمانی هماهنگ شما است. این پلتفرم شامل یک سرویس دقت مدیریت شده است و ابزارهای ارزیابی داخلی را ارائه می دهد تا اطمینان حاصل شود که پاسخ های نماینده شما بر اساس مناسب ترین و مطمئن ترین اطلاعات است.
4. ترکیب بیش از حد: رشته جدید طراحی سیستم LLM
ما به عنوان یک مهارت اصلی فراتر از مهندسی سریع رفتیم. مرز جدید ترکیب سیستم LLM است – هنر و علم معماری چگونه مدل ها ، منابع داده ، ابزارها و ساختارهای منطقی در تعامل هستند. این شامل طراحی معماری های مدولار و ترکیبی است ، که در آن LLM های مختلف ، منطق مسیر و پارچه ها می توانند به صورت پویا انتخاب شده و بر اساس الزامات پیچیدگی درخواست ها ، هزینه ها و تأخیر. کار مهم در نظارت ، از بین بردن خطاها و بهینه سازی این گرافیک های اجرای پیچیده است ، عملی که نیاز به ابزارهای مشاهده LLM دارد که قادر به ردیابی درخواست ها از طریق ده ها میکروسیریارها و مدل ها هستند.
چگونه در AgentForce کار می کند: AgentForce یک موتور اصلی ترکیب است. این امکان را به شما می دهد تا یک سازمان بصری و یک زنجیره را به همراه تمام مؤلفه های لازم سازماندهی کنید: LLM های مختلف ، درخواست های RAG در ابر داده ها و تماس با ابزارهای داخلی و خارجی. این سکو دارای یک موتور پویا برای مسیر مسیر برای هزینه و بهینه سازی عملکرد است. از همه مهمتر ، این امر با ارائه یک نمایش کامل و گام به گام از روند استدلال عامل خود ، اجرای پایان به پایان را فراهم می کند ، که باعث می شود کار غیر ممکن برای اصلاح خطاها در سیستم های پیچیده AI برای سیستم ها باشد.
5. شکاف تولید: جایی که تظاهرات AI و سیستم های واقعی آغاز می شود
شکاف بین نمایش نوت بوک مشتری و سیستم تولید با واقعیت های عملیاتی تعیین می شود. تظاهرات آنها فاقد بودجه برای قیمت استعلام ، اهداف تأخیر P99 ، مواضع امنیتی سخت (محافظت در برابر تزریق سریع و تبعید داده ها) و نیاز به ادغام با سیستم های شرکت ارثی است. سازمانهایی که در دهه آینده حاکم خواهند بود ، آنهایی نیستند که مدل های ناچیز بهتری دارند ، بلکه آنهایی که سرعت عالی اجرای و دستاوردهای عملیاتی دارند. آنها مسیر مسیر را برای متعادل کردن هزینه ها و عملکرد (به عنوان مثال با استفاده از GPT-4 برای استدلال پیچیده و مدل ارزان تر و ریز تنظیم شده برای طبقه بندی) تسلط خواهند داشت ، برای هر لایه استراتژی های پایدار را اعمال کرده و زیرساخت هایی را برای آزمایش ایمن A/B رفتار جدید در تولید ایجاد می کنند.
چگونه در AgentForce کار می کند: AgentForce بر روی پلت فرم Salesforce ساخته شده است و لایه ای از اعتماد به نفس جامع را که مشاغل پیشرو به آن اعتماد دارند ، به ارث می برد. این بدان معنی است که مجوزهای جزئیات ، امنیت ، مدیریت و انطباق دنبال نمی شود – آنها پایه و اساس هستند. این پلتفرم مکانیسم های مدیریت عوامل ساخته شده ، بهینه سازی عملکرد توسط حافظه نهان و شیوه های اجرای ایمن ، از جمله آزمایش را فراهم می کند. با مراجعه به این چالش های مهم برای تولید آخرین مایل ، AgentForce تضمین می کند که سیستم های هوش مصنوعی که شما می سازید نه تنها هوشمند بلکه امن ، سازگار و آماده برای مشاغل از ابتدا هستند.
پشته یکپارچه برای عوامل هوش مصنوعی برای یک نهاد
مزیت رقابتی در هوش مصنوعی دیگر در دسترسی ممتاز به مدلهای اساسی پنهان نیست ، بلکه در رشته مهندسی مورد نیاز برای ایجاد سیستم های واقعی در اطراف آنها است. سران LLM را به عنوان نوع جدیدی از منابع محاسباتی توزیع شده و بدون استفاده ، با عوامل ساخته شده در اعماق جریان کار اصلی تجارت ، نه فقط در حاشیه رابط گپ ، درمان می کنند. آنها با سرعت نمایی با سرعت نمایی یاد می گیرند و تکرار می کنند.
در حالی که ساختن این سیستم ها از اصول اول یک کار مهم است که برای پیچیده ترین سازمان های مهندسی محفوظ است ، یک الگوی جایگزین ظهور می کند: استفاده از یک بستر کاملاً یکپارچه برای انتزاع این پیچیدگی اساسی.
این دقیقاً مشکلی است که Salesforce با ترکیبی از ابر داده و عامل مقابله می کند. این پشته یکپارچه به طور مستقیم به چالش های مهم داده های گوشتی و ارکستراسیون نمایندگان در سنگ شرکت ها می پردازد.
اول ، Cloud Salesforce Cloud به عنوان موتور با داده های Hypercaster و یک لایه زمینی عمل می کند ، که برای پارچه با دقت بالا ضروری است. این مسئله با جذب و هماهنگی اطلاعات ساختاری و بدون ساختار در یک لایه ابرداده واحد ، مشکل اصلی داده های سازمانی تکه تکه شده را حل می کند. این یک پایه قابل اعتماد ، زمان واقعی و متنی شناخته شده برای LLM ها را فراهم می کند ، و مشکل هرج و مرج در بازیابی “زباله ، زباله” هرج و مرج را به یک فرآیند معتبر از پاسخ های اساسی در داده های امن و خاص مشتری تبدیل می کند.
براساس این بنیاد AgentForce ، ارکستراسیون و اطمینان از ساخت و ساز و استقرار نمایندگان را فراهم می کند. این پیچیدگی عظیم مدیریت خوشه های Kubernetes ، ساخت راه اندازی ماشین های دولتی و منطق مهندسی را برای استفاده از ابزارهایی برای نقص می دهد. در عوض ، این یک چارچوب اعلام کننده امن برای طراحی فرآیندهای کار عامل را ارائه می دهد که می تواند با اطمینان بر روی داده های هماهنگ از ابر داده عمل کند. با برخورد با زیرساخت های اساسی ، امنیت ، مدیریت و مجوزها ، به تیم های مهندسی این امکان را می دهد تا سالها را در لوله کشی بنیانگذار دور بزنند و مستقیماً روی طراحی نمایندگانی که مشکلات تجاری را حل می کنند ، تمرکز کنند – همه در یک محیط قابل اعتماد که مشاغل از قبل به آن اعتماد دارند.
در پایان ، این رویکرد مبتنی بر پلتفرم به سازمانها اجازه می دهد تا سخت ترین قسمت های سفر را پرش کنند و تمرکز خود را از ساخت زیرساخت ها تا ساخت اطلاعات جابجا کنند.
