فراتر از تئوری: قرص های عملی برای هوش مصنوعی برای جلوگیری از حداکثر سرمایه گذاری با کارمند ارشد Dialpad AI

جیم پالمر ، کارمند ارشد هوش مصنوعی ، دیاپاد به نشست سالانه Saaster AI + اجلاس AI آمد تا بهترین اشتباهات را در هوش مصنوعی به اشتراک بگذارد که وی نمایندگان AI را در مقیاس شماره 350 میلیون دلار + ARR انجام داد.

https://www.youtube.com/watch؟v=geknkhxn0s0

جیم کارمند اصلی AI در دایانپاد با بیش از یک دهه تجربیات در هوش مصنوعی است. وی Talkiq ، یکی از پیشگامان اولیه در هوش مصنوعی و اطلاعات مکالمه را که بیش از هفت سال پیش توسط Dialpad به دست آورد ، تأسیس کرد. از آن زمان ، وی سرمایه گذاری های هوش مصنوعی را انجام داده و سیستم های AI تولید را در مقیاس ایجاد می کند.

5 آموزه برتر

1 مدیریت داده اساس همه چیز است مدیریت داده ها فقط یک جعبه نیست – این سرمایه گذاری ابدی است که تعیین می کند هوش مصنوعی شما موفق می شود یا شکست می خورد. شما باید بدانید که چه داده هایی دارید ، چگونه در حال انجام است ، چه چیزی از امتناع خودداری می کند ، چه چیزی برای عمومی خصوصی است و چگونه با ناشناس سازی و تصفیه PII برخورد می کنید. این امر نمی تواند مورد مذاکره قرار گیرد ، خواه در داخل کشور در حال ساخت باشید یا از LLM برای اشخاص ثالث استفاده کنید.

2 تجهیزات قرمز کد کلاهبرداری شماست تجهیزات قرمز – آزمایش منفی سیستم های AI شما – به پیدا کردن هوش مصنوعی شما کمک می کند نمی توان نداشت انجام دهید (و به عنوان یک جایزه ، چه قوطی انجام دهید) این فرایند مداوم بردارهای حمله را نشان می دهد ، مشخص می کند که فیوزهای مورد نیاز است ، سؤالات بی پاسخ را پیدا می کند و از محتوای مضر یا توهم قبل از رسیدن به مشتریان جلوگیری می کند. این فقط یک تئاتر امنیتی نیست. در اینجا نحوه ایجاد یک مجموعه آموزشی آورده شده و خود را به طور سیستماتیک بهبود می بخشید.

3 قدرت هوش مصنوعی را به اشخاص ثالث بیش از حد ارزیابی نکنید فقط به این دلیل که یک مدل پارامتر تریلیون وجود دارد به این معنی نیست که به آن احتیاج دارید. Genai می تواند مشکلات طبقه بندی کننده را حل کند ، اما طبقه بندی کننده سنتی می تواند برای بسیاری از موارد استفاده – در بخشی از قیمت – یکسان یا دقیق تر باشد. دریابید که چه زمانی از AI تولیدی استفاده کنید و چه موقع نیست. برنامه ریزی و مدیریت هزینه ها ، پهنای باند و به ویژه خطرحرف

4 در زمان واقعی در برابر تأخیر در یک دسته بیشتر از آنچه فکر می کنید اهمیت دارد الزامات مربوط به زمان استفاده شما به شدت تحت تأثیر قیمت ها ، تجربیات مشتری و مقیاس قرار می گیرد. چه چیزی باید در زمان واقعی باشد؟ چه چیزی را می توان به تعویق انداخت؟ چه چیزی می تواند در یک دسته کار کند؟ هر یک از مشخصات هزینه و مقیاس متفاوتی دارند ، به خصوص هنگام استفاده از اشخاص ثالث. دریافت این اشتباه هم بر خط پایین شما و هم بر تجربه مشتری شما تأثیر می گذارد.

5 شروع کوچک با سرمایه گذاری در Training-Rag انفجار شماست نیازی به ساخت یک مدل کاملاً آموزش دیده در روز اول نیست. با استخراج یک نسل بزرگ (RAG) که از اشخاص ثالث هنگام ساختن دارایی های داده خود استفاده می کند ، شروع کنید. از نردبان بالا بروید: RAG → تنظیمات ریز برای موارد استفاده خاص → آموزش مداوم متوسط ​​→ آموزش مقدماتی کامل برای خلاصه در سطح بالا. داده هایی که شما می سازید مال شماست – داده ها پادشاه هستند ، داده ها طلا هستند.

واقعیت مدیریت داده ها

این چیزی است که اکثر مردم از دست می دهند: مدیریت داده ها یک پروژه یک نفره نیست. این یک سرمایه گذاری ثابت است که دائماً در حال توسعه است. این که آیا شما یک تیم هوش مصنوعی داخلی دارید یا از اشخاص ثالث (یا چندین شخص ثالث) استفاده می کنید ، همیشه به تاریخ مدیریت داده نیاز دارید.

جریان ساده سؤالات مهم را پوشش می دهد که اکثر تیم ها از آن چشم پوشی می کنند:

• آیا واقعاً می دانید چه داده هایی دارید؟
• آیا جریان این داده ها را می فهمید؟
• از چه چیزی می توانید استفاده کنید و چه چیزی نمی توانید از نظر قانونی و اخلاقی استفاده کنید؟
• استراتژی امتناع و امتناع شما چیست؟
• چگونه با ناشناس سازی و تصفیه PII مقابله می کنید؟

اگر از LLM سوم استفاده می کنید ، باید توافق نامه های پردازش داده آنها را درک کنید. چه دفاعی در محل دارید؟ به طور بالقوه چه چیزی را از دست می دهید؟

این مسئله حتی بیشتر است که وقتی به دوران مدل مدل مدل (MCP) و دوره ارتباطات عامل عامل (A2A) حرکت می کنیم. هنگامی که سیستم های هوش مصنوعی شروع به صحبت با سایر سیستم های هوش مصنوعی می کنند ، درک می کنید که داده هایی که به اشتراک می گذارید و این سیستم ها با آن چه کاری انجام می دهند از نظر ظاهری از اهمیت بیشتری برخوردار می شوند.

مزیت تیم قرمز

Teaming Red کد اصلی قفسه سینه است که Dialpad برای درک محدودیت های هوش مصنوعی هنگام کشف فرصت ها از آن استفاده می کند. این فقط یک تست مسابقه به سبک جنگ سرد نیست-این یک رویکرد منظم برای ساختن هوش مصنوعی بهتر است.

این فرآیند می تواند دستی باشد یا از ابزارهای منبع باز استفاده کند. این می تواند به سادگی به عنوان یک صفحه گسترده مشترک شروع شود. نکته اصلی این است که مانند CISO فکر کنید: بردارهای من برای حمله چیست؟ آسیب پذیری ها کجا هستند؟

اما Teacing Red بیش از پیدا کردن سوراخ های امنیتی انجام می دهد:

• این نشان می دهد که در کجا و چرا هوش مصنوعی در کارهای خاص ناکام است
• به شما کمک می کند تا تعیین کنید که چه طیف وسیعی از شما نیاز دارید (سفارشی ، نه فقط بارگیری شده)
• این سؤالات بی پاسخ را که می توانید مشخص می کند
• او قبل از دیدن مشتریان ، توهم و محتوای مضر را ضبط می کند
• میزان انحراف را برای چت بابات و تجربیات دیجیتال بهبود می بخشد

همانطور که مدیرعامل HubSpot در جلسه دیگری بحث می کند ، سؤالات بی پاسخ طلا است. Teacing قرمز به شما کمک می کند تا با ارسال آن به تجربه هوش مصنوعی خود ، خواه در داخل یا از اشخاص ثالث ، این داده ها را به طور سیستماتیک بازیابی کنید.

Dialpad این کار را به طور مداوم انجام می دهد نه یک تمرین واحد. پیروزی خالص قابل توجه است.

بررسی واقعیت هزینه ها و استفاده از پرونده

یکی از بزرگترین اشتباهاتی که تیم ها مرتکب می شوند این است که درک نکردن چه زمانی از AI تولیدی با توجه به رویکردهای دیگر استفاده کنید. Genai می تواند بسیاری از مشکلات درخشان ، از جمله مشکلات طبقه بندی را حل کند. اما آیا واقعاً به یک مدل پارامتر تریلیون برای طبقه بندی چیزی نیاز دارید که طبقه بندی کننده سنتی تقریباً به اندازه دقیق یا حتی دقیق تر باشد ، در بعضی موارد با بخشی از قیمت؟

محاسبه به طور چشمگیری بر اساس نیاز زمان استفاده از پرونده تغییر می کند:

در زمان واقعی: بالاترین قیمت ، بیشترین تأثیر در تجربه مشتری ، نیاز به مقیاس گذاری دقیق دارد. شما باید در مورد استفاده از مدل های گران قیمت انتخابی ترین در اینجا باشید.

تأخیر: سرزمین میانه شما می توانید ضمن حفظ یک تجربه مشتری مناسب ، هزینه ها را بهینه کنید.

دسته: کمترین قیمت برای جراحی بدون تأثیر فوری مشتری ، اما نمی تواند مشکلات زمان واقعی را حل کند.

هرکدام از مشخصات هزینه و مقیاس متفاوتی برخوردار هستند ، به خصوص هنگام استفاده از API های حزبی سوم با توجه به زیرساخت های داخلی. به دست آوردن این نقشه برداری بر P&L و نتایج رضایت مشتری شما تأثیر می گذارد.

نردبان سرمایه گذاری آموزش

در اینجا مسیر عملی برای آموزش سرمایه گذاری است که کار می کند ، خواه شما یک استارتاپ باشید یا یک شرکت:

سطح 1: RAG (نسل بزرگ شده را استخراج کنید) از اینجا شروع کنید این رایگان نیست ، اما بهترین نقطه شروع است. RAG در حین ساختن دارایی های داده خود از LLM سوم استفاده می کند. شما هنوز از مدل شخص دیگری استفاده می کنید ، اما داده هایی که می کنید مال شماست. این به شما کمک می کند تا ضمن گفتن تاریخچه مدیریت خود ، داده ها را مدیریت و حفظ کنید.

سطح 2: تنظیمات خوب هنگامی که داده های خود را از طریق Rag و Teacing قرمز درک کردید ، برای موارد استفاده خاص تصفیه کنید. این باعث افزایش دقت سناریوهای خاص بر اساس بررسی مشتری و داده های جمع آوری شده است.

سطح 3: آموزش مداوم متوسط همانطور که مقیاس می کنید ، می توانید آموزش های اولیه مداوم از داده های خاص دامنه خود را انجام دهید. این امر نیاز به سرمایه گذاری بیشتر در مدیریت داده ها دارد ، اما در موارد بیشتر استفاده دقت بیشتری را ارائه می دهد.

سطح 4: قبل از آموزش کامل مدلهای مقدس آموزش دیده گریل که به خلاصه ای از سطح بالا می رسند. این امر نیاز به سرمایه گذاری و هزینه های قابل توجهی دارد ، اما اگر به درستی از نردبان صعود کرده باشید ، می دانید که آیا ارزش آن را بر اساس بازده سرمایه گذاری دارد یا خیر.

زیبایی این رویکرد: حتی اگر هرگز مدل های خود را بسازید ، کار با داده هایی که برای یک پارچه انجام می دهید ، شما را برای موفقیت ایجاد می کند. داده ها مال شماست. شما صاحب آن هستید و اگر بعداً تصمیم گرفتید که از قبل اصلاح یا آموزش دهید ، آماده هستید.

وظیفه بهبود مستمر

در اینجا آنچه سرمایه گذاری های موفق در هوش مصنوعی را از ناموفق تقسیم می کند: آموزش مداوم و اندازه گیری.

نه تنها یک لایه مانیتور یا تله متری خام اضافه می کنید (هرچند این کار را انجام دهید). آزمایش سیستم های خود را ادامه دهید. افراد را در حلقه قرار دهید. LLM های دیگر را در چرخه ارزیابی وارد کنید-از استفاده از رویکردهای LLM-AS-A-Judge نترسید.

مشتریان شما قبلاً به شما می گویند هوش مصنوعی شما در کجا کار می کند و در کجا نیست. گوش می کنی؟ آیا به طور سیستماتیک این بازخورد را ضبط می کنید؟ آیا آن را به داده های آموزشی خود بازگردانید؟

و بحرانی: بازده سرمایه گذاری را اندازه گیری کنید. همانطور که بسیاری از سخنرانان در Saaster تأکید می کنند ، ما در نهایت باید به این دستمزد برسیم تا ارزش خود را بدست آوریم. AI برای AI آن را قطع نمی کند. تأثیر تجارت را نشان دهید.

آینده نماینده به نماینده

با حرکت به MCP و ارتباط بین یک عامل ، مدیریت داده ها بسیار مهم تر می شوند. هنگامی که سیستم های هوش مصنوعی شما شروع به به اشتراک گذاری اطلاعات با سایر سیستم های هوش مصنوعی می کنند ، به پاسخ های سنگی نیاز دارید:

• چه اطلاعاتی را به اشتراک می گذارید؟
• این سیستم های هوش مصنوعی دیگر با این داده ها چه خواهند کرد؟
• بردارهای شما برای حمله چیست؟
• چگونه کنترل و انطباق را حفظ می کنید؟

تیم هایی که در داده های روز اول سرمایه گذاری کرده اند ، مزیت بزرگی خواهند داشت. کسانی که نیستند برای کنترل مجدد سیستم هایی که هرگز برای آن طراحی نشده اند ، تلاش می کنند.

4 خطای برتر جیم ساخته شده است (و می توانید از آن جلوگیری کنید)

1 به اندازه کافی زود در مدیریت داده سرمایه گذاری نمی کند با نگاهی به روزهای Talkiq و کار اولیه Dialpad AI ، مدیریت داده ها باید یک روز اولویت داشته باشد ، نه چیزی که بعداً ثابت شد. هزینه نوسازی مدیریت در سیستم های موجود از ابتدا از نظر ساخت آن بیشتر از ساخت آن است. اگر جیم می توانست این کار را انجام دهد ، او جریان کامل داده های موجود را در دسترس قرار می دهد ، آنچه شامل/برداشت می شود ، تصفیه PII ، ناشناس سازی قبل از نوشتن یک ردیف کد AI.

2 بیش از حد آنچه که مدل های شخص ثالث می توانند در خارج از جعبه انجام دهند در روزهای اول ، اعتقاد بیش از حد وجود داشت که LLM شخص سوم “فقط” برای موارد استفاده تخصصی “کار می کند”. واقعیت: شما تقریباً همیشه به یک سطح شخصی سازی ، خواه یک پارچه ، تنظیم دقیق یا آموزش کامل نیاز دارید. اشتباه این بود که این سرمایه گذاری را به صورت پیش فرض برنامه ریزی کنید و فرض کنید که این کار آزاد می شود و بازی برای صحت تولید کافی خواهد بود.

3 از روز به بعد هیچ تجهیزات قرمز استفاده نمی شودمن تجهیزات قرمز باید از ابتدا بخشی از فرایند توسعه باشد ، نه چیزی که پس از اجرای اولیه اضافه شده است. انتظار به معنای تشخیص مشکلات تولیدی است که می توان زودتر گرفتار شد. اکنون رویکرد مداوم به رویکرد تیمی قرمز Dialpad اکنون مورد استفاده قرار می گیرد ، از ابتدا باید استاندارد باشد – این باعث می شود ساعت های بی شماری از آتش و تشدید مشتریان را نجات دهد.

4 اهمیت طبقه بندی موارد استفاده را دست کم گرفت طبقه بندی صحیح موارد استفاده از زمان واقعی ، و دسته ای از مرحله معماری منجر به بیش از حد مهندسی برخی از کارکردها و مهندسی کافی نشده است. این هم بر ساختار هزینه و هم بر تجربه مشتری تأثیر گذاشت. یک قاب جلوی واضح تر ، که برای آن ویژگی ها واقعاً در زمان واقعی مورد نیاز است ، که می تواند به تأخیر بیفتد یا یک دسته ، منجر به توزیع بهتر منابع و هزینه های مقیاس گذاری قابل پیش بینی تر شود.

https://www.youtube.com/watch؟v=geknkhxn0s0