Споделуваме знаење

Чекор после моделите и графиконите

ПУШТАЊЕ ПРОЕКТИ ВО ПРОДУКЦИЈА

Павел Ѓорговски

Data Scientist at Data Masters

Павел Ѓорговски

Data Scientist at Data Masters

Споделуваме знаење

Чекор после моделите и графиконите

ПУШТАЊЕ ПРОЕКТИ ВО ПРОДУКЦИЈА

ПРОБЛЕМОТ СО КОРИСТЕЊЕ ТУЃИ МОДЕЛИ​

Data Science е поле чија примена постојано влијае врз промена на секојдневното живеење и факт е дека интересот за градење на кариера во истото е голем. Овој процес подразбира едукација, постојана надградба, за сето тоа на крајот да се сведе на работа на реални проекти и работа со клиенти. Во целиот овој процес постојат многу сегменти на кои треба да се внимава, но во случајов ќе го разгледаме оној момент што доаѓа после градењето на модел и графиконот.

Почетниот стадиум на градење што подразбира чистење на податоците, визуелизација, градење и подобрувањето на модели се многу привлечни и прилично интересни за работа, но често се случува оние кои ги создале да престанат да гледаат што ќе после прават со тие модели на кои посветиле толку време. А ова е и тоа како важно за да биде оставено само на себе.

Да го разгледаме тоа преку следниов пример: ако направите нов филтер за слики, што ќе сторите кога некој друг ќе сака истиот да го примени? Чекор по чекор тоа би изгледало вака: Корисникот ќе треба да ви прати слика – вие да ја пуштите скриптата – да се стави филтерот – да му ја пратите пак. Наједноставно речено – ништо на интернетот не се прави вака веќе долго време. Но, што всушност се случува на сите апликации и сајтови кои имаат филтри како дел од самата апликација, кои можат да се активираат дури и пред да се сликаш?

Станува збор за готови, истренирани модели, кои се спакувани во мали „пакети“, кои за влез примаат слика и како излез праќаат трансформирана слика. Споредбата на двата погорни примери можете да ја видите на долните слики.

Слика 1
Слика 1

РЕШЕНИЕТО - MLOPps

Како што може да се види, горниот пример е можеби поволен за мини индивидуален проект, но не е изводлив за големи компании (а најчесто не е ни за мали). Втората слика е точно тоа што се случува кога ќе пуштите филтер на Instagram. Сликите (или може да се каже видеото) се праќа малку по малку на програмата која го содржи моделот во себеси, па веднаш минува низ него, ви го препознава лицето, па на него ги додава додатоците од филтрите.  Најпросто речено – ако треба да се чека некој на компјутер да го прими тоа, па да го пушти низ скрипта за гледање лице, никој не би имал трпение да ги користи.

Оваа автоматизација на процеси е направена со закачување на моделите во позадината на апликациите и веб страните. Тоа може да се прави на повеќе начини и во последно време поедноставувањето на овие технологии станува многу актуелна тема во Data Science сферата, до степен до кој се вели дека 2019 и 2020 биле годините на точно оваа технологија – MLOps.

Оние со позадина во веб дизајн ќе ја забележат сличноста меѓу MLOps и DevOps. Станува збор за пуштање на „слика“ од моделот истрениран со даден код на дадено податочно множество во продукција, така што ќе може да е користен директно во апликацијата или веб сајтот. Убавината во MLOps технологии е леснотијата за подобрување, менување и одржување на моделите. Го имате зголемено или подобрено податочното множество, и сега сакате да го ретренирате моделот и повторно да го прикачите? Она што треба да го направите е да ги закачите новите податоци, пуштите Pipeline-от, а потоа да ги видите резултатите на моделот и истовремено да го замените стариот модел со ново тренираниот без клиентите да забележат било што. Што ако сакате да го смените кодот на скриптата за тренирање на множеството? Процесот е ист.

КАКО МОЖЕТЕ ДА ГО ПРАВИТЕ И ВИЕ ОВА?​

Azure и AWS (Amazon Web Services) се феноменални платформи за ова и доаѓаат со безброј алатки и „курсеви“ за учење и олеснување на процесот. Youtube видеа се секогаш препорачани, иако имајќи на ум колку редовно се ажурираат овие алатки, бидете внимателни да не гледате застарени видеа.

Релативно ново видео за процесот, каде што темелно се објаснети основите од искусни инженери можете да најдете тука:

Ако пак, сте заинтересирани да видите само од што се состои полето, и зашто е корисно, можете двете работи да ги видите тука:

Секако, за да може да се работи во MLOps, треба да се има веќе темелно познавање на сите основи за Data Science, а и покрај тоа, искуството од работа на вистински проекти е незаменливо. Иако е тешка за започнување, оваа гранка на Data Science е многу барана, малку снабдена и релативно нова, што значи може да ви пружи одлични прилики.

Share on facebook
Share on twitter
Share on linkedin

Од нашиот блог

Примената на AI во шаховската игра

Ако постои игра која го победила тестот на времето и до ден денес ужива популарност, тоа дефинитивно е шахот. Но, обидот да се предизвика и надмине човекот во оваа игра е тема сама по себе. Историјата вели дека првата машина што играла шах била создадена околу 1770 година и се викала The Turk. Изгледала како еден вид на кабинет со запчаници, на кој имало фигура облечена во човечка облека што механички можела да ги движи фигурите. Фигурата импресивно за тоа време можела да се движи и да прави потези. Оваа атракција пропатувала низ Европа и Америка и успеала на големо воодушевување на луѓето да победи мошне добри играчи во шах, за на крајот да се покаже дека се работело за измама. Во рамки на кабинетот се криел мошне умешен шахист 🙂

Прочитај повеќе »