Споделуваме знаење

Чекор после моделите и графиконите

ПУШТАЊЕ ПРОЕКТИ ВО ПРОДУКЦИЈА

Павел Ѓорговски

Data Scientist at Data Masters

Павел Ѓорговски

Data Scientist at Data Masters

Споделуваме знаење

Чекор после моделите и графиконите

ПУШТАЊЕ ПРОЕКТИ ВО ПРОДУКЦИЈА

ПРОБЛЕМОТ СО КОРИСТЕЊЕ ТУЃИ МОДЕЛИ​

Data Science е поле чија примена постојано влијае врз промена на секојдневното живеење и факт е дека интересот за градење на кариера во истото е голем. Овој процес подразбира едукација, постојана надградба, за сето тоа на крајот да се сведе на работа на реални проекти и работа со клиенти. Во целиот овој процес постојат многу сегменти на кои треба да се внимава, но во случајов ќе го разгледаме оној момент што доаѓа после градењето на модел и графиконот.

Почетниот стадиум на градење што подразбира чистење на податоците, визуелизација, градење и подобрувањето на модели се многу привлечни и прилично интересни за работа, но често се случува оние кои ги создале да престанат да гледаат што ќе после прават со тие модели на кои посветиле толку време. А ова е и тоа како важно за да биде оставено само на себе.

Да го разгледаме тоа преку следниов пример: ако направите нов филтер за слики, што ќе сторите кога некој друг ќе сака истиот да го примени? Чекор по чекор тоа би изгледало вака: Корисникот ќе треба да ви прати слика – вие да ја пуштите скриптата – да се стави филтерот – да му ја пратите пак. Наједноставно речено – ништо на интернетот не се прави вака веќе долго време. Но, што всушност се случува на сите апликации и сајтови кои имаат филтри како дел од самата апликација, кои можат да се активираат дури и пред да се сликаш?

Станува збор за готови, истренирани модели, кои се спакувани во мали „пакети“, кои за влез примаат слика и како излез праќаат трансформирана слика. Споредбата на двата погорни примери можете да ја видите на долните слики.

Слика 1
Слика 1

РЕШЕНИЕТО - MLOPps

Како што може да се види, горниот пример е можеби поволен за мини индивидуален проект, но не е изводлив за големи компании (а најчесто не е ни за мали). Втората слика е точно тоа што се случува кога ќе пуштите филтер на Instagram. Сликите (или може да се каже видеото) се праќа малку по малку на програмата која го содржи моделот во себеси, па веднаш минува низ него, ви го препознава лицето, па на него ги додава додатоците од филтрите.  Најпросто речено – ако треба да се чека некој на компјутер да го прими тоа, па да го пушти низ скрипта за гледање лице, никој не би имал трпение да ги користи.

Оваа автоматизација на процеси е направена со закачување на моделите во позадината на апликациите и веб страните. Тоа може да се прави на повеќе начини и во последно време поедноставувањето на овие технологии станува многу актуелна тема во Data Science сферата, до степен до кој се вели дека 2019 и 2020 биле годините на точно оваа технологија – MLOps.

Оние со позадина во веб дизајн ќе ја забележат сличноста меѓу MLOps и DevOps. Станува збор за пуштање на „слика“ од моделот истрениран со даден код на дадено податочно множество во продукција, така што ќе може да е користен директно во апликацијата или веб сајтот. Убавината во MLOps технологии е леснотијата за подобрување, менување и одржување на моделите. Го имате зголемено или подобрено податочното множество, и сега сакате да го ретренирате моделот и повторно да го прикачите? Она што треба да го направите е да ги закачите новите податоци, пуштите Pipeline-от, а потоа да ги видите резултатите на моделот и истовремено да го замените стариот модел со ново тренираниот без клиентите да забележат било што. Што ако сакате да го смените кодот на скриптата за тренирање на множеството? Процесот е ист.

КАКО МОЖЕТЕ ДА ГО ПРАВИТЕ И ВИЕ ОВА?​

Azure и AWS (Amazon Web Services) се феноменални платформи за ова и доаѓаат со безброј алатки и „курсеви“ за учење и олеснување на процесот. Youtube видеа се секогаш препорачани, иако имајќи на ум колку редовно се ажурираат овие алатки, бидете внимателни да не гледате застарени видеа.

Релативно ново видео за процесот, каде што темелно се објаснети основите од искусни инженери можете да најдете тука:

Ако пак, сте заинтересирани да видите само од што се состои полето, и зашто е корисно, можете двете работи да ги видите тука:

Секако, за да може да се работи во MLOps, треба да се има веќе темелно познавање на сите основи за Data Science, а и покрај тоа, искуството од работа на вистински проекти е незаменливо. Иако е тешка за започнување, оваа гранка на Data Science е многу барана, малку снабдена и релативно нова, што значи може да ви пружи одлични прилики.

Од нашиот блог

„Во следните пет години Data Masters ќе стане светски играч“ – интервју со Мигел Амарал

Ако нештата оделе по првичната замисла, Мигел Амарал требало да стане адвокат, но откако еден од неговите пријатели го запознал со компјутерот ZX Spectrum пројавил

Прочитај повеќе »