2. Основите на AI без технички жаргон
2. Основите на AI без технички жаргон
Како моделот учи, создава одговори и зошто понекогаш греши
Кога првпат ќе ги слушнете поимите model, algorithm, training data, neural network, parameters, tokens и inference, лесно е да добиете впечаток дека AI може да го разберат само инженери. Во практика, не ви е потребна сложена математика за да ја разберете работната логика. Потребен ви е едноставен ментален модел: што влегува во системот, што се случува при учењето, што излегува и каде може да настане грешка.
Ова поглавје не е курс по data science. Неговата цел е да ви даде функционално знаење со кое ќе можете подобро да избирате алатки, да поставувате задачи, да проценувате резултати и да разговарате со технички тим без да се изгубите во терминологијата.
2.1 AI, Machine Learning и Deep Learning — што е што?
Artificial Intelligence е најширокиот поим. Тој опфаќа системи што извршуваат задачи за кои обично е потребна човечка интелигенција: препознавање, планирање, јазик, предвидување, препорака или создавање содржина. Не секој AI систем учи на ист начин и не секој користи neural networks.
Machine Learning е подрачје во AI каде системот учи patterns од примери. Наместо програмерот да напише правило за секоја можна ситуација, му се даваат податоци од кои моделот учи врска меѓу input и посакуван output.
Deep Learning е подрачје во Machine Learning што користи neural networks со повеќе слоеви. Овие модели се особено успешни кај сложени податоци: слики, говор, видео и natural language. Generative AI најчесто се потпира на deep learning, но е фокусиран на создавање нова содржина, не само на класификација или предвидување.
2.2 Algorithm, model и system не се исто
Algorithm е прецизна постапка — низа чекори со кои се решава задача. Рецепт за готвење е добра аналогија: има input, редослед на активности и очекуван резултат. Во software системите, algorithm може да сортира листа, да пресмета растојание или да оптимизира параметри.
Model е научена математичка структура што прима input и создава output. Тој не е обична листа на рачно напишани одговори. За време на training, неговите внатрешни вредности се приспособуваат така што резултатите сè подобро да се совпаѓаат со patterns во податоците.
AI system е целото оперативно решение околу моделот: кориснички интерфејс, база на податоци, правила, API-ја, дозволи, мониторинг, логови, human одобрување и business workflow. Моделот може да биде одличен, а системот да биде небезбеден или бескорисен ако другите компоненти се лошо дизајнирани.
2.3 Data: горивото и ограничувањето на моделот
Податоците се примери од кои моделот учи или информации што ги користи при извршување. Тоа може да бидат текстови, фотографии, аудио, сензорски мерења, трансакции, производи, документи или историски резултати. Но количината сама по себе не е доволна.
Добар dataset треба да биде релевантен за задачата, доволно разновиден, правилно означен кога тоа е потребно и законски дозволен за употреба. Ако податоците содржат грешки, празнини или системска пристрасност, моделот може да ги научи и да ги повторува.
Четири прашања за секој dataset
- Од каде доаѓаат податоците и дали постои дозвола да се користат?
- Дали ја претставуваат реалната популација и ситуациите во кои ќе работи моделот?
- Колку се точни, свежи, целосни и конзистентни?
- Кои чувствителни податоци содржат и како се заштитени?
2.4 Како моделот учи: training, validation и testing
Training е процес во кој моделот обработува примери и ги приспособува своите parameters за да ја намали грешката. Ако моделот предвидел погрешен резултат, optimization процесот прави мала корекција. Ова се повторува огромен број пати.
За да се провери дали моделот навистина научил нешто корисно, податоците обично се делат на повеќе групи. Training set се користи за учење. Validation set помага при избор и прилагодување на моделот. Test set се чува за независна финална проверка.
Ако исти примери се користат и за учење и за оценување, резултатот може да изгледа одлично без моделот да функционира добро на нови случаи. Тоа е како ученик однапред да ги знае точните прашања од испитот.
Supervised, unsupervised и reinforcement learning
- Supervised learning користи примери со познат точен одговор. На пример, email пораки означени како spam или legitimate.
- Unsupervised learning бара структура без однапред дадени етикети. На пример, групирање клиенти според слично однесување.
- Reinforcement learning учи преку rewards и penalties додека system извршува actions во средина.
2.5 Overfitting, underfitting и generalization
Overfitting се случува кога моделот премногу добро ги запомнил training примерите, но не се снаоѓа со нови податоци. Тоа е како ученик што го научил текстот напамет, но не може да го примени концептот во поинакво прашање.
Underfitting е спротивниот проблем: моделот е премногу едноставен, недоволно обучен или нема доволно релевантни features, па не успева ниту на познатите patterns.
Целта е generalization — моделот да работи добро на нови, реални случаи што не ги видел при training. Затоа квалитетот не се докажува со еден убав demo output, туку со систематско тестирање на различни сценарија, edge cases и ризични категории.
2.6 Neural networks без формули
Neural network е структура од поврзани computational units организирани во слоеви. Input layer ги прима податоците. Hidden layers ги трансформираат во сè покорисни representations. Output layer го создава резултатот: категорија, бројка, збор или друга предикција.
Connections имаат weights — вредности што определуваат колку е важен одреден сигнал. За време на training, тие се приспособуваат според грешката на моделот. Parameters се сите научени внатрешни вредности. Кога слушате дека модел има милијарди parameters, тоа не значи дека содржи милијарди рачно напишани факти; значи дека има огромен број научени вредности со кои обработува patterns.
Иако името е инспирирано од биолошки neurons, neural network не треба да се поистоветува со човечки мозок. Тоа е математички и computational модел со многу поинаков начин на работа.
2.7 Што е Large Language Model?
Large Language Model, или LLM, е модел обучен на огромни количини текст за да препознава и создава јазични patterns. Неговата основна задача за време на training е едноставна за опишување: да предвиди кој token најверојатно следува во даден контекст. Кога ова се прави со голем модел и огромен dataset, се појавуваат способности за резимирање, превод, објаснување, reasoning-like задачи и создавање код.
LLM не вади секој одговор од внатрешна енциклопедија. Тој го создава излезот token по token, земајќи го предвид разговорот и инструкциите. Поради тоа истиот prompt може да даде малку различни резултати, а стилски убедлив одговор не гарантира фактичка точност.
2.8 Tokens: единиците со кои моделот го обработува јазикот
LLM не го чита текстот целосно како човек. Текстот се дели на tokens — делови од збор, цели зборови, интерпункција или други симболи. Еден краток збор може да биде еден token, а подолг или поредок збор може да биде поделен на повеќе tokens.
Tokens се важни од три практични причини. Прво, моделите имаат ограничување колку tokens можат да обработат во еден context. Второ, API услугите често ја пресметуваат потрошувачката според input и output tokens. Трето, многу долг и непотребен prompt може да ја зголеми цената и да го отежни фокусот на моделот.
Не е потребно рачно да го броите секој token. Доволно е да знаете дека документите, историјата на разговорот, системските инструкции и новиот одговор го делат истиот достапен простор.
2.9 Context window: работната маса на моделот
Context window е количината информација што моделот може да ја земе предвид во една интеракција. Во неа влегуваат system instructions, претходни пораки, прикачени или пронајдени делови од документи, вашиот prompt и делот од одговорот што веќе е создаден.
Добра аналогија е работна маса. Моделот може да работи со материјалот поставен на масата, но не значи дека сè на масата ќе добие еднакво внимание. Ако ја натрупате со неважни документи, критичната инструкција може да се изгуби во шумот.
Како подобро да управувате со context
- Ставете ја целта и најважните ограничувања јасно и рано.
- Доставете само релевантни извадоци наместо цели архиви кога тоа е доволно.
- Користете наслови, нумерирани барања и јасни delimiters за изворниот текст.
- Кај долг workflow, побарајте периодично резиме на одлуките и отворените точки.
- Не претпоставувајте дека моделот памети разговори или документи што не се во актуелниот context.
- Inference: моментот кога AI работи за вас
Training е скапиот процес на создавање или приспособување модел. Inference е користење на веќе обучениот модел за нов input. Кога внесувате prompt и добивате одговор, се извршува inference.
Квалитетот и корисничкото искуство при inference зависат од повеќе фактори: избраниот модел, prompt-от, context-от, поврзаните tools, retrieval квалитетот, поставките за генерирање, latency и ограничувањата на системот.
Во деловно решение, inference треба да се следи како оперативен процес. Колку чини? Колку трае? Колку често излезот е прифатен без корекција? Кои задачи најчесто ескалираат кон човек? Без овие метрики, организацијата не знае дали AI создава вредност.
Prompt, instruction, input и output
Prompt е информацијата што му ја давате на моделот. Може да содржи задача, context, примери, правила, формат и критериуми за квалитет. Input е поширок поим: покрај prompt, може да вклучува слика, аудио, документ, база на податоци result или output од друга алатка.
Излезот е резултатот што го создава моделот. Тој не треба автоматски да се третира како финален производ. Во зрел workflow, излезот поминува низ validation: проверка на факти, структура, policy, чувствителни податоци, business rules или human одобрување.
2.12 Зошто AI hallucination звучи толку убедливо?
Hallucination е output што изгледа веродостојно, но содржи измислен или неточен факт. LLM е оптимизиран да создаде кохерентно продолжение, не автоматски да запре секогаш кога нема доволно доказ. Ако prompt-от бара точен одговор, моделот може да произведе веројатна формулација и кога информацијата не е сигурна.
Чести примери се непостоечки извори, погрешни датуми, измислени product features, неточни правни одредби, заменети имиња или пресметки направени без проверка.
Ризикот расте кај нишови теми, најнови настани, чувствителни одлуки и прашања со нејасен context.
Како да го намалите ризикот
- Побарајте одговорот да се потпира на конкретно дадени или пронајдени извори.
- Одделете ги фактите од претпоставките и побарајте моделот јасно да означи неизвесност.
- Проверете ги имињата, датумите, бројките, цитатите и линковите во примарен извор.
- Користете RAG или одобрена база на знаење за интерни и доменски информации.
- Задржете human review за правни, финансиски, медицински, безбедносни и репутациски одлуки.
2.13 Accuracy не е доволна: како се оценува AI
Една единствена бројка за accuracy ретко ја кажува целата приказна. Ако само 1% од трансакциите се fraud, модел што секогаш вели „не е fraud“ има 99% accuracy, но нема практична вредност. Затоа evaluation мора да одговара на реалниот ризик и целта.
За Generative AI, покрај фактичка точност се следат релевантност, комплетност, поткрепеност со извори, следење инструкции, safety и потребната човечка корекција. Кај customer service се важни и reрешение rate, ескалација rate, response time и customer satisfaction. Кај code generation се важни test pass rate, security findings и review effort.
2.14 Narrow AI, AGI и маркетиншката конфузија
Денешните production системи се forms of Narrow AI: исклучително способни за одредени задачи или групи задачи, но без неограничена човечка интелигенција. Дури и general-purpose language model работи во рамки на training, architecture, context и достапни tools.
AGI — Artificial General Intelligence — обично означува хипотетички систем што може флексибилно да учи и да извршува широк спектар интелектуални задачи на човечко ниво или повисоко. Не постои единствена општоприфатена дефиниција или тест, па тврдењата за AGI треба да се читаат внимателно.
За практичниот корисник поважно е друго прашање: дали конкретниот system сигурно ја извршува мојата задача, со прифатлив трошок, брзина и ризик? Тоа е operational критериум што може да се тестира денес.
2.15 Black box, explainability и доверба
Black box е system чија внатрешна логика не е лесно разбирлива за човек. Deep learning моделите можат да имаат милијарди parameters и сложени interactions, па не постои едноставно правило што целосно објаснува секој output.
Explainability не значи секогаш целосно отворање на математиката. Во практична примена може да значи наведување извори, прикажување фактори што влијаеле на одлуката, confidence signal, audit log, повторлив test или јасно објаснување што системот може и не може.
Колку е поголем ризикот, толку е поголема потребата од транспарентност, право на оспорување и вистинска човечка проверка. За низок ризик задача, како идеи за наслов, доволна е едноставна проверка. За кредит, вработување или здравствена одлука, потребна е многу посилна governance рамка.
2.16 Кога AI е добар избор — а кога не е
| Добар кандидат | Не е добар кандидат без дополнителни контроли |
|---|---|
| Голем обем повторливи текстуални или аналитички задачи | Одлука со сериозна правна, здравствена или финансиска последица |
| Постојат доволно релевантни податоци и јасен критериум | Нема квалитетни податоци, owner или начин за проверка |
| Човек може брзо да го провери или поправи излезот | Излезот се прифаќа автоматски и никој не може да го објасни |
| Вредноста од брзината е поголема од трошокот за review | Рачниот процес е веќе поевтин, побрз и посигурен |
Потреба од draft, резиме, Процес каде една мала грешка категоризација или препорака може да предизвика голема штета
Практична задача: разложете една AI интеракција
Изберете една реална задача што веќе ја правите со AI или би сакале да ја автоматизирате. На пример: резиме на email thread, опис на производ, анализа на feedback или подготовка на понуда.
- Input: кои информации мора да ги добие системот?
- Model task: што точно треба да класифицира, предвиди, пронајде или создаде?
- Context: кои правила, документи и примери му се потребни?
- Output: во кој формат треба да биде резултатот?
- Validation: кој факт, бројка, policy или формат мора да се провери?
- Owner: кој човек ја носи финалната одговорност?
- Metric: како ќе знаете дека workflow-от заштедува време или го подобрува квалитетот?
Клучни поими од поглавјето
- Algorithm — прецизна постапка или низа чекори за решавање задача.
- Model — научена математичка структура што претвора input во output.
- Dataset — организирана колекција податоци за training, evaluation или анализа.
- Training — процес на приспособување на model parameters врз основа на примери.
- Parameter — внатрешна вредност што моделот ја учи при training.
- Inference — користење обучен модел за создавање резултат за нов input.
- Token — единица во која language model го дели и обработува текстот.
- Context window — достапниот простор на информации што моделот може да ги земе предвид во интеракцијата.
- Generalization — способност моделот добро да работи на нови, невидени случаи.
- Hallucination — убедлив, но измислен или неточен AI output.
- Evaluation — систематско мерење на квалитет, ризик и practical outcome.
- Human review — значајна човечка проверка и можност за корекција пред дејство.
Резиме
AI system не е само модел. Тој ги спојува data, model, interface, tools, правила, мониторинг и луѓе. Machine Learning учи patterns од примери, Deep Learning користи neural networks, а LLM создава јазик token по token според достапниот context. Квалитетот зависи од податоците, задачата, evaluation и контролите. Затоа AI треба да се третира како моќен, но несовршен component во добро дизајниран workflow.
Continue reading the complete book
Unlock all frameworks, permanent library access and future content updates.