مدل های بزرگ زبان (LLM) به عنوان Openai GPT-4 استدلال و زبان را برای عوامل هوش مصنوعی شما فراهم می کند. هنگامی که نماینده خود را مستقیماً به یک ارائه دهنده LLM وصل می کنید ، این تأمین کننده فروشنده و انجام شما است. تأخیر یا وقفه در لایه مدل بلافاصله بر عوامل شما تأثیر می گذارد ، و این باعث می شود که آنها از مشتریان خود شکسته یا بی خبر به نظر برسند.
وقفه های LLM حداقل یک یا دو بار در هر چهارم اتفاق می افتد. این بیش از یک سال پیش است ، اما هنوز هم اغلب برای ناراحت کردن رهبران و مشتریان تجاری خود از قابلیت اطمینان نمایندگان کافی است.
راه حل: یک برنامه امتناع پایدار.
در اینجا چگونه Salesforce تضمین می کند که وقفه های LLM نمایندگان ساکت ساخته شده با AgentForce نیستند.
راه حل امتناع Agentforce
نمایندگان خود را “همیشه” با امتناع بدون دردسر نگه دارید. AgentForce امتناع خودکار از یک مدل LLM معادل را در لاجورد Openai فراهم می کند و از مقاومت در برابر خطاهای API ، سنبله های نهفته یا وقفه های بالادست اطمینان می دهد.
در Salesforce این کار را در لایه دروازه ساختیم. این یک سیستم امتناع برای تأمین کننده در نظر گرفته شده برای مقیاس است.
این فقط یک منطق انتزاعی از مسیریابی نیست. این برای زیرساخت های هدفمند در نظر گرفته شده است که به سرعت خرابی ها را تشخیص می دهد ، هوشمندانه ترافیک را هدایت می کند و خدمات را بدون نیاز به تغییر از مشتری بازیابی می کند.
Fastway Failovers: عقب نشینی Openai Azure to Openai
هنگامی که درخواست مدل OpenAI با اشتباه 401 ، 403 ، 404 یا سرور 5XX انجام نشد ، دروازه بررسی می کند که شرایط امتناع برآورده می شود. در این صورت ، درخواست در برابر همان مدل ارائه شده توسط Azure Openai تکرار می شود.
جوهر: متوجه آسیب سریع به LLM شوید. درخواست ها را در صورت لزوم تغییر مسیر دهید. در صورت بهبود شرایط ، ترافیک عادی را بازیابی کنید.
AgentForce حفظ می کند دو حالت امتناع:
- تفاضل: هنگامی که یک خطای 4xx یا 5xx از تأمین کننده مدل اصلی رخ می دهد ، دوباره در یک سطح درخواست درخواست رخ می دهد.
- زنجیر: اگر 40 ٪ یا بیشتر ترافیک OpenAI در یک پنجره 60 ثانیه شکست بخورد ، AgentForce کاملاً در چسبیدن به طور کامل پیش می رود و تمام ترافیک را به مدل معادل Azure OpenAi هدایت می کند. در صورت بهبودی OpenAi ، این زنجیره بعد از 20 دقیقه دوباره تنظیم می شود.
این از AgentForce در طی دو شکست جدا شده و وقفه های طولانی محافظت می کند.
تأخیر با پردازش: تأخیر در تأخیر هوشمند پاسخ سریع را تضمین می کند
سرعت در تعامل عامل مهم است – هر میلی ثانیه شمارش می شود. مکانیسم تکرار AgentForce هم خطاهای تأخیر و هم سرور را کنترل می کند تا اطمینان حاصل شود که نمایندگان شما پاسخگو هستند.
اگر درخواست ایستاده باشد ، AgentForce به طور خودکار آن را جمع می کند ، و حتی در صورت متوقف کردن مدل های بالادست ، عوامل پاسخگو خود را پاسخگو نگه می دارد. اگر درخواست با خطای 4xx یا 5xx روی سرور انجام نشد ، Failover شروع می شود و درخواست را از یک ارائه دهنده LLM ثانویه ارائه می دهد.
پاسخ مسابقه: موازی با تأخیر -re -re -re -rein
درخواست های سنتی LLM بدون گزینه به یک تماس تنهایی متکی هستند ، به جز اینکه در صورت بروز مشکل متوقف شوید و منتظر بمانید.
اما ما از روشی به نام استفاده می کنیم با تأخیر موازی re -re -re -re – اگر تأخیر یا مشکل دیگری با مدل LLM وجود داشته باشد ، به سرعت و پاسخگو نگه دارید.
در اینجا نحوه عملکرد آن آورده شده است: وقتی نماینده شما درخواستی را به LLM ارسال می کند ، تماس اصلی آغاز می شود. اگر این تماس در یک نقطه خاص پاسخی دریافت نکند ، این تأخیر یک تماس موازی دوم و موازی را ایجاد می کند. هر دو درخواست سپس برای پایان دادن به “رقابت” می کنند و ما ابتدا از آن برای بازگشت یک پاسخ استفاده می کنیم.
روش ما دو مشکل را حل می کند که عملکرد سنتی را با یک چوب کند می کند: سخت ثابت وت برای مدت طولانی صبر کردحرف
ما پردازش مداوم بای پس با ایجاد موازی سازیS فریم های واکنشی تماس های اولیه و تأخیر را با هم ترکیب می کنند و لحظه ای که جواب می رسد آهسته تر را لغو می کنند.
ما انتظار طولانی را پایان دهید با یک موضوع جداگانه “الاستیک” که تایمر تکرار را برنامه ریزی می کند و “رقابت” را مدیریت می کند.
AgentForce به لطف این طرح امتناع ، 99.99 ٪ در دسترس بودن را دارد.
رعایت: ثبت و نظارت بر همه خطاها
ما از ابزارهای مشاهده برای درک و بهبود نحوه ارائه سیستم های خود استفاده می کنیم.
AgentForce بر نوبت هر آژانس نظارت می کند و همه چیز را از درخواست اولیه کاربر گرفته تا پاسخ نهایی نماینده هوش مصنوعی ضبط می کند.
- ما هر خطایی را ثبت کنید این اتفاق می افتد ، همراه با اشتباه او.
- ما مانیتور امتناع و آنها را با رفتار برنامه ریزی و استدلال مطابقت دهید. این به ما کمک می کند آستانه های سیستم خود را تنظیم کنیم. به عنوان مثال ، ما تعیین می کنیم که برای حفظ و جابجایی به LLM جدید برای اطمینان از انتقال یکپارچه بدون از دست دادن زمینه ، چقدر مکالمات می شود.
- ما استفاده می کنیم مکانیزم قطع زنجیره برای جلوگیری از فلیپ -فلپ در هنگام بهبودی جزئی.
- ما ویژه شاخص های سطح خدمات ردیابی مدل (SLIS) برای پیدا کردن تجزیه در یک مدل خاص AI در اسرع وقت و حرکت به یک مدل پشتیبان.
همه این تعامل های مدل در سیاهههای مربوط به حسابرسی برای مشتریان قابل مشاهده است.
Agentforce چشم پوشی از چشم پوشی دارد که دقیقاً در آن ساخته شده است
خرابی های LLM ، چه به دلیل خطاهای API ، تأخیر یا وقفه در بالادست ، فقط سر و صدا نیستند. آنها پیشرفت وظایف را مسدود می کنند و قرارداد سیستم را تضعیف می کنند و باعث می شوند مشتریان اعتماد به نفس خود را نسبت به نمایندگان شما زیر سوال ببرند.
عوامل موفق به اجرای LLM چند چرخش برای تحریک برنامه ریزی و استدلال و راه حل های عملکرد سیستمیک بستگی دارند.
آنچه ما در AgentForce تعبیه کرده ایم ، مسیری است که تحت پوشش امتناع شناخته شده و تنظیم برای تأخیر واقعی و رفتار خطا قرار دارد.
این یک لایه انتزاعی با هدف کلی نیست که به سادگی پاسخ کلی را به امتناع باز می گرداند. تصمیم ما یک زیرساخت هدفمند و هدفمند است تا AgentForce تحت شرایط رد دنیای واقعی قابل اعتماد باشد.
راه حل امتناع ما در حال حاضر در حال پردازش مدل های OpenAI و Azure OpenAI است. ما به زودی آن را به سایر تأمین کنندگان ، از جمله آنتروپ و دوقلوها گسترش خواهیم داد. در پایان ، شما قادر خواهید بود برای کنترل حتی بیشتر از مدل Adaptive Model Abback و انتخاب یک ارائه دهنده استفاده کنید. اما این اصل اساسی اعمال می شود: بی ثباتی سطح مدل بهانه ای برای شکنندگی در سطح سطح نیست.
در Salesforce ، Trust ارزش شماره یک ما است. ما اجازه نخواهیم داد که LLM شکست اعتماد به نفس مشتریان خود را به نمایندگان هوش مصنوعی شما تضعیف کند. AgentForce در قابلیت اطمینان مورد نیاز شما پخته می شود و اطمینان می دهد که نمایندگان شما حتی در صورت عدم موفقیت تأمین کنندگان LLM کار می کنند.
استراتژی عامل هوش مصنوعی شما چیست؟
کتاب بازی ما راهنمای رایگان شما برای تبدیل شدن به یک شرکت عامل است. در مورد استفاده ، استقرار و مهارت برای هوش مصنوعی اطلاعات کسب کنید و برگه های تعاملی را برای تیم خود بارگیری کنید.
سوالات متداول (سوالات متداول)
تصمیم AgentForce امتناع از این مسئله است که عوامل هوش مصنوعی به دلیل تأخیر یا وقفه توسط یک مدل بزرگ زبان (LLM) از آن بی خبر هستند یا به نظر می رسند.
AgentForce یک رهاسازی خودکار از یک مدل LLM معادل LLM را در لاجورد Openai در لایه دروازه فراهم می کند ، به سرعت آسیب را تشخیص می دهد و به طور هوشمندانه ترافیک را بدون تغییر از مشتری هدایت می کند.
AgentForce از خرابی نرم پشتیبانی می کند ، که در صورت عدم موفقیت درصد قابل توجهی از درخواست ها در یک دوره زمانی ، به خطاهای فردی و درخواست های قطع کننده مدار می پردازد که تمام ترافیک را به یک مدل ذخیره سوق می دهد.
تکرارهای موازی با تأخیر در یک ثانیه ، یک تماس موازی به LLM در صورت تأخیر مکالمه اصلی. هر دو “رقابت” را برای پایان دادن و استفاده از پاسخ اول فراخوانی می کنند ، از انتظار طولانی و بهبود سرعت عامل جلوگیری می کنند.
AgentForce از ابزارهای مشاهده برای ثبت هر خطا و مسیر آن ، رویدادهای نظارت بر رد و ردیابی شاخص های سطح خدمات خاص (SLIS) استفاده می کند. همه این تعامل های مدل در سیاهههای مربوط به حسابرسی برای مشتریان قابل مشاهده است.
