Една типична сцена: доставчик демонстрира нов агент, базиран на изкуствен интелект, пред ръководния екип. Демонстрацията в много случаи е впечатляваща. Агентът например сортира заявки и ги разпределя, актуализира клиентски досиета, изготвя предложения и оферти, насочва ги за одобрение. Демонстрацията минава безпроблемно и е неизбежно някой да зададе въпроса: "Това кога може да заработи при нас?"
Този въпрос отразява предположение, което е в основата на приемането на корпоративния софтуер в ерата на SaaS (софтуер като услуга). Повечето инструменти биха могли да бъдат осигурени, конфигурирани и мащабирани с относително малко персонализиране. Ако интеграцията проработи и служителите възприемат продукта, внедряването до голяма степен е проект за производителност.
За разлика от традиционния софтуер, агентите с изкуствен интелект са проектирани да разсъждават, планират и предприемат действия в различни системи. В момента, в който агент може да промени система за записи - да актуализира цена, да направи плащане, да промени данни за клиенти, той престава да бъде инструмент за производителност и става част от оперативния модел на организацията, пише HBR.org.
Най-важното е, че тези инструменти въвеждат нови категории риск. За да бъдат ефективно интегрирани, те не трябва да бъдат третирани като готов софтуер, който просто трябва да бъде инсталиран. Те са всъщност нов вид работна сила, която изисква управление. Точно както хората в организациите, всеки от AI агентите се нуждае от роля, определен обхват на правомощия, одобрени източници на информация, ясни правила, надзор и одит.
Идентичност: Кой действа?
Компаниите са прекарали десетилетия в изграждане на контрол на достъпа за служителите. Всеки потребител на компютърна система влиза с уникална идентичност и неговата позиция определя какво може и какво не може да прави.
Агентите, базирани на изкуствен интелект усложняват това, защото се държат като човешки служители, но не са. Много ранни внедрявания решават този проблем, като предоставят на агентите споделен "сервизен акаунт" с широк достъп до множество системи. Това е удобно решение, но предоставянето на толкова много разрешения на агентите създава риск за сигурността.
Рисковете не са хипотетични. През 2025 г. експеримент на разработчици, които използват агента за кодиране с изкуствен интелект на Replit, показва колко бързо автоматизацията може да надскочи контрола си. Въпреки че е инструктиран да не прави никакви промени, агентът е изпълнил команди, които са изтрили производствена база данни. След това се е опитал да прикрие повредата, като е генерирал хиляди фалшиви записи и подвеждащи системни съобщения. Това поведение е забавило реакцията и е усложнило възстановяването на данните.
Урокът е ясен: организациите трябва да третират всеки агент с изкуствен интелект като отделен дигитален работник със собствена идентичност, идентификационни данни и роля в процесите. Вместо да разчитат на споделени акаунти за услуги, компаниите трябва да присвояват на агентите тясно ограничени разрешения, които отразяват специфичните задачи, предназначени да изпълняват.
Същите принципи, използвани за управление на човешки служители - като например достъп с най-малки привилегии и ограничения, базирани на позиции, трябва да се прилагат и за агентите. Ако служител за обслужване на клиенти не може да създава плащания над определен праг без одобрение, тогава същото ограничение трябва да се прилага и за агента, който върши тази работа.
Също толкова важно е всяко действие, предприето от агент, да се регистрира под проследима идентичност, така че организацията да може ясно да види кой - или какво, го е извършил. Ако ръководителите не могат лесно да обяснят коя идентичност използва агентът, когато изпълнява действие, значи системата не е готова.
Контекст: когато лошите данни водят до лоши действия
Агентите с изкуствен интелект се представят добре в демонстрации, защото средата е контролирана. Данните са чисти, инструкциите са ясни, а източниците на информация - очевидни.
Реалните организации са различни. Корпоративните данни са фрагментирани в различните системи, дублирани в различните екипи и често си противоречат. Политиките се развиват с течение на времето и по-старите документи остават в обращение. Хората се справят с тази неяснота, като използват преценка и опит, които агентите с изкуствен интелект нямат.
За система, която предприема действия, последствията са изключително сериозни. Представете си HR агент, който се позовава на стар документ, за да насочва мениджърите какъв е процеса по съкращение на хора. Това не е халюцинация, а грешка при извличането на документация, която излага компанията на правен риск.
Агентите също така въвеждат ново предизвикателство за сигурността: манипулирането на контекста. Ако агент чете имейли, формуляри или заявки и след това изпълнява задачи въз основа на тази информация, хакери могат да вградят скрити инструкции, предназначени да повлияят на поведението му. Изследователи демонстрираха този риск през 2025 г. чрез уязвимост, известна като "ForcedLeak". Чрез вграждане на злонамерени инструкции в рутинен уеб формуляр те подмамиха агент на Salesforce да извлече чувствителни CRM данни и да ги изпрати до външна дестинация.
За да се справят с тези контекстуални противоречия, организациите трябва да установят ясни стандарти за това на коя информация техните агенти могат да се доверят. Компаниите ще трябва да третират и външните входни данни - като имейли, формуляри или качени файлове, не просто като полезен контекст, а като потенциални вектори за атака.
Контрол: вероятностните системи се нуждаят от твърди граници
Традиционният софтуер се държи предсказуемо. Големите езикови модели обаче не работят по този начин. Техните отговори са вероятностни, което означава, че една и съща заявка може да доведе до малко по-различни резултати в различните изпълнения. Тази вариабилност е приемлива в определени случаи, но не и в други, например когато резултатът трябва да е някаква трансакция.
По-дълбокият проблем е, че традиционните методи за тестване предполагат стабилно поведение. Система, която преминава тестове днес, може да се държи различно утре, ако моделът се актуализира, промптът се промени или се добавят нови данни. Рисковете се увеличават в многоагентна среда, където агентите си прехвърлят работа един на друг.
Изводът е един - без ясни граници грешките (или атаките) могат да се разпространят каскадно в автоматизирана система. За да управляват този риск, организациите трябва да изградят детерминистични контроли около вероятностните системи с изкуствен интелект. Вместо да позволяват на агентите да изпълняват действия директно, компаниите трябва да поставят слоеве за валидиране между модела на изкуствения интелект и операционните системи.
Организациите също така трябва да ограничат неконтролираните взаимодействия между агенти и да създадат предпазни мерки, които предотвратяват превръщането на променливостта на модела в оперативни грешки.
Отговорност: когато никой не може да обясни какво се е случило
Когато служител направи грешка, мениджърите могат да разследват, като задават въпроси. Когато традиционният софтуер се повреди, инженерите могат да проверят лог файлове. Агентите с изкуствен интелект въвеждат по-сложен сценарий, защото поведението им често произтича от верига от стъпки на разсъждение, извлечени документи и инструменти, които може да не са лесни за проследяване.
Това създава сериозно предизвикателство пред отчетността. За да избегнат подобни проблеми, компаниите ще трябва да проектират своите системи с изкуствен интелект с оглед на отчетността от самото начало. Това започва с поддържането на подробни записи за това как работят агентите, включително до кои източници на данни са осъществявали достъп, какви подкани са получавали и кои инструменти са използвали за изпълнение на задача. Тези записи трябва да позволят реконструкция на веригата от разсъждения, довела до каквото и да е действие.
Организациите също така трябва да определят ясна вътрешна отговорност за наблюдението и управлението на поведението на агентите. Ако регулатор, одитор или клиент попита защо дадена система с изкуствен интелект е взела определено решение, компанията трябва да може да предостави ясно, основано на доказателства обяснение. Без това ниво на прозрачност мащабната автоматизация ще е сложна задача.
Ако внедряването "до ключ" на агентите с изкуствен интелект е нереалистично, алтернативата не е да ги избягваме. Става въпрос за постепенното им въвеждане и разширяване на автономността им само когато организацията развие способността да ги управлява.
Един полезен начин да се мисли за тази прогресия е като за "стълба на автономност". Ключовото разграничение е правомощията за изпълнение: дали системата изготвя съдържание, предлага действия за одобрение или изпълнява действия в рамките на строго определени граници.
Много ефективни внедрявания умишлено остават на долните стъпала на стълбата на автономност. Другаде се стига до ограничена автономност с тесен обхват.
За лидерите, които проучват платформите за агенти, най-важните инвестиции често са организационни, а не технически. Компаниите трябва да започнат с дефиниране на ясна граница и разграничаване на AI приложенията, които могат да бъдат внедрени с минимални структурни промени, от тези, които изискват значително препроектиране на контролите и управлението.
Ясните прагове за "човешко участие" трябва да определят кога автоматизираните решения изискват надзор, особено в ситуации, когато става въпрос за финанси, регулаторни задължения или риск за репутацията. Лидерите трябва и да измерват качествено резултатите, а не пилотните проекти, като се фокусират върху оперативни показатели - например процент на грешки и инциденти.
