Еволюцията на Business Intelligence системите

ENTERPRISE

11.09.2013, 12:45

Очертаващите се тенденции през следващите години са BI светът да бъде повлиян освен от Big Data, но и от cloud computing технологиите, мобилността, както и от другия основен стълб, който тласка развитието на индустрията – социалният бизнес. Всички тези сфери имат своето влияние върху проблемите с достъпа до данните – достига ли правилната информация до правилните хора в правилното време и дали организацията ще успее да се възползва от всичко това.

[divider] [/divider]

Въведение

Информационните системи за бизнес анализ (Business Intelligence - BI) са софтуерни решения за анализиране и прогнозиране на процесите в една компания на база натрупаните от дейността й данни. В основата си те са инструментариум за извличане на максималната стойност от натрупаната информация, чрез нейното обобщаване и систематизиране по определени ключови показатели за ефективност. BI системите извличат от данните повтарящите се модели, закономерности и причинно-следствени връзки. Под формата на доклади, справки и средства за визуализация, те служат на мениджърите на различни нива в организационната структура, да виждат измененията в минало или реално време. Целта е те да могат да вземат бързи и адекватни решения при реализиране на бизнес ползи или коригиране на неефективни дейности. В този смисъл, една от основните характеристики на съвременните BI системи е, че те отчитат, че информацията има и времеви параметри и губи от стойността си, ако не бъде доставена в правилното време до правилните хора. BI се използва допълнително и като средство за прогнозиране на настъпващи тенденции, за да се задава желана посока за бизнес действие, съобразно приближаващите промени.

Днес най-отчетливото предизвикателство пред системите за бизнес анализ е, че трябва да се справят със свръхогромния информационен поток, известен като Big Data. Обемът на информацията, която корпоративните ИТ системи трябва да поддържат на световно ниво става огромен, но управляван от почти същия състав от хора, който компаниите имат в момента. Допълнително, капацитетът на устройствата за съхранение расте много по-бавно отколкото расте количеството данни. Банките и телекомите генерират по милион клиентски записа на ден. Twitter генерира над 12 терабайта от туитове на ден. Facebook генерира над 25 терабайта данни на ден само от лог информацията на потребителите си. В YouTube се качват 72 часа клипове всяка една минута. Дилемата пред всички тях е как ще си съхраняват данните и дали ще могат да извличат някаква смислена стойност от тях чрез анализ.

Развитие на BI системите

Отчитайки тенденциите за развитие при аналитичната обработка на големи обеми от данни от разнообразни източници, компаниите, опериращи в областта на системите за управление на бизнеса, започнаха чрез закупуване на прогресиращи BI фирми или чрез собствени разработки да предлагат различни инструменти за всякакъв вид справки и доклади. През последните две години се очертаха два принципно различни подхода при внедряване и използване на тези инструменти. Свързани са с начините за получаване на аналитична информация.

Преди да разгледаме тези подходи е добре да хвърлим един поглед върху развитието на бизнес анализа. Света на BI системите започва от бизнес приложенията с вградена аналитичност (предназначена да отговаря само на специфични въпроси, касаещи отделни служители), преминава през развитието на инструменти за хранилища за данни Data Warehouse (те се грижат за чистотата, организацията, трансформацията и управлението на информацията, за да може по-лесно да бъде анализирана) и стига до средствата за Business Intelligence (чрез тях потребителите задават въпроси към данните, за да постигнат смислови отговори за вземане на управленски решения).

Първите BI средства датират още от 1975 г., като осигуряват класически данни и справки от информацията, налична върху мейнфрейм системите на компаниите. На по-късен етап се появява концепцията за Data Warehouse, където данните са подходящо изчистени, структурирани и подготвени за целите на анализа. За този етап са характерни и OLAP (Оnline Аnalytical Processing) кубовете, където данните отново са подготвени в дименсии за ускорено извличане на специфична информация. На последния етап вече се появява концепцията за всеобхватния (pervasive) BI. Тя е актуална днес и за нея се очаква да набира още по-голяма сила. Тази концепция надгражда по-ранното развитие на BI системите, при което се считаше, че аналитична информация трябва да бъде доставяна само на управленския състав. Системите за всеобхватен BI отчитат, че служителите на всички нива в една организация имат нужда от аналитични средства в работата си. Тук се тръгва от оперативното ниво, което има нужда от оперативни BI справки (типичен пример са хората, които се занимават с продажби) и се стига до най-високото ниво, където са стратегическите доклади. Много важен факт в концепцията за всеобхватния BI е, че инструментите за анализ са интегрирани с бизнес процесите в организацията.

За корпоративния потребител явлението Big Data означава, че предстои развитието на т.нар. агрегационни BI инструменти, които предварително обединяват и обработват различни типове данни така, че по-бързо да може да бъде извличана необходимата информация от едно място. Предстои и конвергенция на класическите BI средства със средства за откриване на необходимите данни в огромните информационни потоци, както и за откриване на трудни за откриване по класическия метод връзки между тях. Освен това, тези данни трябва да бъдат филтрирани в контекста на определена бизнес задача и да бъдат персонализирани. Още едно предизвикателство при справянето с Big Data e, че ако досега бизнесът анализираше данни само от корпоративните си системи, днес на анализ е подложено всякакъв тип неструктурирано външно съдържание.

Класичеки BI системи

При класическите BI изпълнения, най-отдолу на корпоративната ИТ архитектура стоят стандартните ERP, CRM, POS и други транзакционни системи. На по-горно ниво се извършва интеграция на събраните от тях данни посредством инструменти за ETL (Extract, Transform, and Load), инструменти за изчистване и поддържане качеството на данните, както и Master Data Management инструменти. На следващото ниво стоят системите за съхранение на данни – Data Warehouse, релационни бази данни и т.н. Следват SQL решенията за достъп до данните, а над тях са BI средствата за статистика, за извличане на зависимости от данни (Data Mining) и за оперативен анализ. Най-отгоре в тази класическа архитектура са платформите за корпоративно взаимодействие и разпространение на информацията (Enterprise collaboration).

Най-големите представители на тези класически BI постройки са мегавендорите като SAP, Oracle, IBM и MicroSrategy, чиито Business Intelligence системи разчитат на по-сложни инструменти за откриване и управление на данните – тяхното извличане, трансформацията и записа им в Data Warehouse, чрез ETL инструменти. Принципът е, че осигуряването на качествена информация е вероятно също толкова важно (ако не и по-важно), колкото бързата й доставка и лесната визуализация. В крайна сметка, ако дадена BI справка е грешна, то това, че тя е получена изключително бързо и е добре визуализирана чрез таблата за управление (Dashboards), това с нищо няма да помогне и дори ще навреди на вземането на управленско решение. Затова големите производители на софтуер за управление на бизнеса имат инструменти за Data Management, които са част от BI решенията им и които управляват входно-изходните данни, за да може по-точно да се генерират отчети и специализирани анализи (ad hoc). Съществуват и компании, произвеждащи специализирани софтуерни ETL инструменти за извличане, валидиране и стандартизиране на информация от различни структурирани и неструктурирани бази данни, за по-бързото им трансфериране към BI системите. Такъв продукт например е Informatica, представена у нас от Global Consulting.

Подходът на традиционните BI производители бе свързан със схващането, че бизнес анализите осигуряват огромна мощ, но са свързани и с голяма сложност, тъй като аналитичните възможности се постигат с помощта на цял арсенал от методи в сферите на трансформирането, стандартизирането, статистиката, профилирането, поведенческия анализ, прогнозното моделиране, анализа на причинно следствени връзки и т.н. Подобен BI подход изисква наличието на ИТ отдели, които да осигуряват средства за извеждане на различни отчети, възможности за отправяне на заявки, OLAP, панели с инструменти, информационни панели и средства за Data Mining. Той се счита за скъп, бавен и изискващ добра ИТ инфраструктура.

Business Intelligence портфолиата на тези компании съдържат и множеството от по-напреднали аналитични BI инструменти, с които да се прогнозират бъдещи тенденции на развитие с определена вероятност за тяхното настъпване. Тези инструменти за predictive analytics са най-сложната част от BI системите и се използват по-рядко. Подобни приложения са необходими на големи компании, работещи в конкурентна и бързо променяща се среда.

Мегадоставчиците имат водещи позиции в пазара на BI решенията и контролират по-голямата част от него. Това им се удава, тъй като те имат възможността да продават своите решения на потребителите на други техни продукти, осигурявайки интеграция на решението за анализи и други системи от собственото им портфолио. Те обаче, както и всички по-малки BI играчи, са изправени пред предизвикателството да работят с все по-големи масиви от данни. Оказва се, че те не могат да правят това с настоящите си архитектури за обработка на информация.

BI системи за Big Data

На днешния етап под BI системи за Big Data се разбира новата генерация от технологии и архитектури, които позволяват по един сравнително икономичен начин да се извличат данни от огромни обеми данни (от над няколко десетки терабайта). Тези обработки трябва да изваждат смислена информация от данни с неясна структура – структурирани или неструктурирани, при това с много висока скорост.

Това, което се случва днес е, че релационните архитектури на бази данни не са достатъчно еластични, за да отговорят на предизвикателството на Big Data. Новите архитектури също се свързват с релационни бази данни, но са така пригодени, че могат да обслужват големи обеми информация. Появяват се и BI производители, които предлагат системи за управление на бази от данни, непочиващи на релационните модели.

Тенденциите при използването на базите данни налагат на BI производителите да вложат усилия в ускоряването на аналитичните процеси чрез високопроизводителна комбинация от хардуер и софтуер. Това е in-memory технологията, която за първи път бе въведена от Qlik Tech, но после възприета и доразвита от останалите BI играчи, като технологията HANA (High Performance Analytic Appliance) на SAP и Exalytics Business Intelligence Machine на Oracle. Архитектурната комбинация от хардуер и софтуер обаче има твърде висока цена и поради това се появи и феномена Apache Hadoop. Open source разработката използва технологията Map Reduce, която разпределя паралелната аналитична обработка върху клъстер от стандартни сървъри. С други думи, имаме стандартен хардуер, върху който може да се изпълнява високопроизводителна обработка на Big Data. Tibco Spotfire и IBM вече имат разработки на базата на Hadoop. SAP също прави стъпки за интеграция с тази технология. Oracle влезе в сътрудничество с Cloudera, производител на Apache Hadoop-базиран софтуер.

В момента има голям спектър от фирми, които произвеждат технологии за Big Data и поставят нови стандарти при анализа на корпоративната информация. Сред тях са и бързоразвиващите се алтернативни BI доставчици, които най-вероятно ще бъдат изкупени от по-големите производители. Техните BI системи разчитат преди всичко на бързите резултати чрез лесно управление и имат намалени функционалности за стандартизацията и контрола на постъпващите данни. За сметка на това, те имат мощни софтуерни инструменти, който интегрират и обработват данните от различни източници и предоставят изключителни аналитични възможности за изграждане на всеобхватен поглед върху бизнеса. Например компанията QlikTech разработва in-memory асоциативна технология, чрез която продукта им QlikView позволява данните да се анализират както обобщено, така и на детайлно ниво, без да се налага времеемко и скъпо изграждане на многоизмерни OLAP кубове. В допълнение на това, асоциациите между данните автоматично се отразяват в QlikView и отговарят незабавно на потребителските заявки.

Най-общо, новата вълна от BI производители залага и на високоинтерактивни табла за управление (Dashboards), снабдени с много добри графични интерфейси. Те се използват лесно и бързо покриват нуждите на бизнеса. BI таблата за управление дават обобщаваща информация онлайн (отговарят на въпроса къде съм аз и какво се случва). Те осигуряват и графична визуализация на данните, която да разкрива закономерностите между тях. Таблата за управление осигуряват на високо ниво (контекстно зависимо) наблюдение на данните от големите по обем бизнес справки. Така, при отклонение от ключовите показатели за ефективност (KPI), може да се навлезе по-дълбоко в съответната BI справка. Т.е. да се види само онази част от информацията, чиито времеви параметри в момента имат значение. Една от най-специфичните особености на тези BI инструменти е възможността да се разместват категориите от данни, за да се групира информацията по различни дименсии и справката да се трансформира според нуждите на бизнеса.

Основните купувачи и потребители на тези BI системи са неспециалисти. Това са бизнес мениджърите, които искат да разполагат с добри средства за визуализация на данните от различни източници. Те търсят възможност за по-бързо реализиране стойността на притежаваните данни, чрез по-добри модели за навигация и визуализиране. Благодарение на това, за последните две години BI пазара се промени изключително много. Доставчиците на аналитични решения започнаха да се стремят да следват принципа на опростяването при всяка една иновация и всяко едно тяхно BI решение. Те залагат на това системата да бъде лесна за използване и интуитивна за потребителите, имащи различна роля в организационната структура на компанията. И докато традиционните BI производители доставяха центрирани BI решения за изготвяне на справки и доклади (и те продължават да отбелязват ръст с тях), се появиха друг вид компании, които „се противопоставиха” на идеята BI платформата да се съюзява с Data Warehouse (хранилището за данни), чрез общи стандарти за извличане и събиране на информация, което носи и повече отговорност към ИТ отделите. Тези производители заложиха на концепцията за Data Discovery и изведнъж започнаха да отбелязват бързи ръстове в развитието си.

Зад концепцията Data Discovery всъщност стоят софтуерни инструменти, които имат напреднал аналитичен капацитет да обработват постъпваща от множество източници информация. Така бизнес потребителите получават шанса да имат „прозрения” за възможностите и заплахите в ежедневното развитие на дейността на фирмата. Зад тях също могат да стоят някакъв вид ETL инструменти за Data Management, които предлагат по-голяма простота на използване и почти моментални бизнес ползи.

Получи се така, че в лидерския магически квадрант на Гартнър, в който се помещаваха Oracle, SAP, IBM, MicroSrategy, Information Builders и SAS се появи и компания като Qlik Tech, която е типичен представител на този нов тип BI компании. Каква е разликата межу тях и традиционалистите? Тя се състои в това, че традиционните BI доставчици фокусират продуктите си върху доставката на аналитични доклади за хора със специфични знания и бизнес роли в организацията. Един пример – ако компанията има вече внедрен BI инструмент (като Excel или друг по-сложен продукт), то той обикновено достaвя много селективни доклади до ограничен брой хора, при това имащи специфични знания и опитност. Това означава, че тези BI инструменти не могат да бъдат използвани лесно от всеки друг в компанията.

Data Discovery решенията се позиционират като напълно различни. Те се стремят да предоставят ежедневен Business Intelligence за всеки бизнес потребител в компанията, като разхлабват връзките с официалната информационна инфраструктура. Насочени са към възможността всички бизнес потребители да получават сами отговор на въпросите си, независими от ИТ отдела или служителя със специфични функции в компанията. Точно поради тази причина концепцията за Data Discovery (при която BI се доставя до всички) прави новият тип BI решения лесни и бързи за внедряване, в сравнение с по-традиционните платформи. Самата BI архитектура адресира ежедневното подаване на BI информация за всякакви коренно различни бизнес проблеми, както и за всякакви бизнес потребители и то на приемлива цена.

Липсата на развити ИТ отдели също изигра роля за това Data Discovery концепцията да се приема с отворени обятия от средните и малките потребители. При традиционните BI доставчици ИТ отделите са подчинени на сложни методологии, при които трябва да манипулират данните, да създават информационни модели и те да се визуализират чрез табла за управление. Това е по-тромав процес, който не може да осигурява ежедневни и специфични BI справки за всеки отделен служител в компанията. Всеки един коренно различен бизнес проблем изисква и коренно различен BI доклад, зад който стоят и коренно различни компетенции на даден служител. Архитектурата на Data Discovery е друга – тя се съобразява с факта, че нуждите на бизнеса се променят всеки ден - днес той ще използва дадени BI данни, за да разреши даден бизнес проблем, но утре ще му се наложи да използва напълно различни, за да разреши друг.

Qlik Tech и Tableau Software са BI компании, които развиват продуктите си върху Data Discovery концепцията (Qlik Tech я наричат Business Discovery). Доскоро традиционните BI доставчици отсъстваха от тази сцена, но понастоящем бързо нанесоха корекции в развитието си. Тъй като тези нови BI инструменти станаха нещо като норма за това, което се очаква като леснота на ползваемост и бързо внедряване, по-големите доставчици в BI пространство последваха примера. Например SAP Business Explorer на BusinessObjects също позволява търсене и анализ на данни от различни източници. IBM Cognos Express интегрира свой десктоп инструмент за проучване на данните. Oracle Endeca Information Discovery също е платформа за интуитивно проучване и анализ на сложни и разнообразни данни чрез интерактивни табла за управление, която освобождава от бремето на традиционното моделиране на данни. Също така MicroStrategy, най-известния BI производител за корпоративни внедрявания и винаги на върха на големите хранилища на данни, вече има Data Discovery функционалност чрез своя Visual Insight продукт. Information Builders пък развиват своя WebFocus Visual Discovery инструмент.

Отговорът на големите BI доставчици относно Data Discovery инструментите, според Гартнър, ще окаже натиск на компаниите от другия лагер да се развиват с по-бързи темпове и да правят иновации за справяне с външна, вътрешна, структурирана и неструктурирана информация. Или с други думи с явлението Big Data.

Заключение

Системите за бизнес анализ навлизат трайно в управлението на бизнес процесите, тъй като повишават ефективността при използването на информационните ресурси. BI технологиите акцентират върху лесния достъп до аналитична информация по всяко време и навсякъде. Те допринасят за конкурентоспособността и дават принос към преодоляване на проблемните бизнес процеси във фирмата и могат да отговарят на бизнес въпросите под различен ъгъл.

Автор: Ваньо Кръстев

Споделете: