9. Markov kateak: txatboten aurrekari zaharrak

XX. mende hasierako proto-ChatGPTak

Markov kateak: LLMen aitzindariak ulertzeko leiho bat

Azken urteetan, ChatGPT, Gemini, Claude eta antzeko txatbotek gure mundua harritu dute, testua koherentea sortzeko erakutsi duten gaitasuna dela eta. Txatbot horien atzean LLM edo Hizkuntza Eredu Handiak daude. Beste sarrera batean azaldu dugu LLM horiek nola funtzionatzen duten. Gaurkoan Markov kateak ikusiko ditugu, Hizkuntza Eredu Handien aintzindariak zein diren ulertu eta beraiekin jolasteko.

Markov kateak

  • 1900eko lehen hamarkadan garatuak
  • Probabilitateetan oinarrituak
  • Testuinguru mugatua (1-3 hitz)
  • Datu kopuru txikiekin lan egiten dute
  • Hitzak sinbolo huts bezala tratatzen dituzte
→

Hizkuntza Eredu Handiak

  • 2018tik aurrera garatuak
  • Sare neural sakonetan oinarrituak
  • Testuinguru zabala (milaka hitz)
  • Datu kopuru erraldoiak behar dituzte
  • Hitzen esanahia ulertzeko gai dira

Markov kateetatik LLMetara

Markov kate bat gertaera-segida bat modelatzen duen sistema matematiko bat da. Gertaera bakoitzaren probabilitatea aurreko gertaeraren egoeraren araberakoa da. Andrey Markov matematikari errusiarrarengatik du izena. Testu sorkuntzarako ere balio dute Markov kateek: testu corpus bat aztertu, eta ikasi egiten dute zein hitz agertzen diren beste hitz batzuen ondoren, eta zein maiztasunekin. Adibidez, "Oz-eko Aztia" liburuaren jatorrizko bertsioan, "girl" hitzaren ondoren sarritan agertzen dira "with", "who" edo "thought" bezalako hitzak, bakoitza bere probabilitatearekin.

Testu berria sortzeko, Markov kateak lehen hitz bat aukeratzen du, gero hitz horren ondoren corpusean agertzen diren hitzen artean bat hautatzen du ausaz (baina probabilitate bakoitza errespetatuz), eta prozesu hori errepikatzen du esaldi osoak sortzeko. Ez baduzu hau ulertu, lasai, zuk txertatuko duzun testu batekin Markov kateak zer diren erraz ulertuko duzu eta, beherago aurkituko duzun simulatzaile batean.

LLMek printzipio berbera erabiltzen dute, baina askoz modu sofistikatuagoan.

Nola funtzionatzen du Markov kate batek?

Markov katearen funtzionamendua ulertzea lagungarria da LLMen oinarriak ulertzeko. Hona hemen oinarrizko printzipioak:

1. Datuak aztertu

Testua hitzetan zatitu eta "egoera trantsizio" probabilitateak kalkulatu: zein hitzek jarraitzen du beste hitz bat emanez gero.

2. Probabilitate-taula eraiki

Hitz bakoitzarentzat hurrengo hitz posibleen zerrenda sortzen da, bakoitza bere agerpen-maiztasunarekin.

3. Testu berria sortu

Hitz batetik abiatuta, bere ondorengo probabilitateak erabiltzen dira hurrengo hitza aukeratzeko, eta horrela segitzen da testu osoa sortu arte.

Markov katearen ezaugarri nagusia

Markov kateek "ez dute memoriarik": hurrengo hitza aurreikusteko, soilik momentuko egoera erabiltzen dute, ez historia osoa. Hori dela eta, bigrama sistema batean soilik azken hitza kontuan hartzen da hurrengo hitza aukeratzeko.

Markov kateetatik LLMetara: desberdintasun nagusiak

1. Testuinguru zabalera

Markov kateak: Azken 1-3 hitz soilik.

LLMak: Milaka hitz har ditzakete kontuan aldi berean.

2. Datu bolumena

Markov kateak: Testu txikiekin (liburuak, artikuluak) funtzionatu dezakete.

LLMak: Internetetik ateratako terabyte-tako testuak behar dituzte.

3. Semantika ulermena

Markov kateak: Hitzak sinbolo bezala tratatzen dituzte, esanahirik gabe.

LLMak: Hitzen esanahia eta erlazioak ulertzen dituzte (embeddings bidez).

4. Arkitektura

Markov kateak: Probabilitate-taulan oinarritutako eredu sinpleak.

LLMak: Milioika edo bilioika parametrodun sare neural sakonak.

Analogia: Gizakien elkarrizketa

Markov kate batekin hitz egitea pertsona berezi batekin hitz egitea bezalakoa litzateke, pertsona horrek soilik gogoratuko luke azken hitza edo esaldia. LLM batekin hitz egitea, ordea, pertsona batekin hitz egitea bezalakoa da, elkarrizketa osoa gogoratzen du eta testuinguru horretatik erantzuten du.

Markov kateak eta LLMak: partekatzen dituzten oinarriak

Desberdintasunez gain, bi teknologiek oinarrizko printzipio batzuk partekatzen dituzte:

1. Testua hitzez hitz

Biek sortzen dute testua hitz (edo token) bat aldi bakoitzean, sekuentzialki. Ez dituzte esaldi osoak zuzenean sortzen.

2. Probabilitateak

Biek probabilitateak erabiltzen dituzte hurrengo hitza aukeratzeko. Irteera probabilistikoa da, ez determinista.

3. Ikasitako patroiak

Biek entrenamenduko datuetatik ikasten dituzte patroi linguistikoak, hizkuntzaren fluxu naturala imitatzeko.

4. Ausazkotasun maila

Biek aukera ematen dute ausazkotasun maila kontrolatzeko, testu sorkuntzak errepikakorrak edo ausazkoegiak ez izateko.

Markov katea esperimentatu

Beheko simulatzailearekin, Markov kateak zuzenean esperimentatzeko aukera duzu. Sartu testu bat, hautatu n-grama tamaina (bigrama, trigrama edo tetragrama), eta behatu nola funtzionatzen duen probabilitateetan oinarritutako testu-sortzaile sinple batek.

Hitz batekin hasten bazara, eta ondoren, hurrengo hitzen artean aukeratzen baduzu, ikusiko duzu nola sistemak ikasten dituen hitz-sekuentziak eratzeko probabilitateak. Zenbat eta testuinguru handiagoa erabili (bigrama < trigrama < tetragrama), orduan eta zentzudunagoa izango da sortutako testua.

Proba ezazu, eta pentsatu: LLMek printzipio berbera erabiltzen dute, baina askoz eskala handiago eta konplexuagoan.

Markov kate interaktiboa

Markov kateekin Adimen Artifiziala ulertzeko jarduerak

Testu-sorkuntza, probabilitateak eta LLMen oinarriak ulertzea

Sarrera

Jarduera hauek ikasleei aukera ematen die Markov kateen funtzionamendua ulertu eta testu-sorkuntza automatikoan esperimentatzeko. Markov kateak Hizkuntza Eredu Handien (LLM) aitzindariak dira, eta haien printzipio sinplifikatuek aukera ematen dute adimen artifizialaren kontzeptu aurreratuagoak geroago aurkezteko.

Helburu pedagogikoak:
  • Probabilitatearen eta estatistikaren aplikazio praktikoa ikustea
  • LLMen funtzionamenduaren oinarriak ulertzea, sinplifikatutako eredu batekin
  • Testu-sorkuntza algoritmikoaren mugak eta aukerak aztertzea
  • Adimen artifizialaren eta giza hizkuntzaren arteko erlazioa baloratzea
  • Pentsamendu konputazionala eta sekuentzien analisia garatzea

1. Jarduera: Markov katea eskuz kalkulatu

1 Probabilitate-taula sortu

Jarduera honetan, ikasleek Markov kate bat eskuz kalkulatuko dute testu txiki batean oinarrituta, gero gure simulatzailearekin konparatzeko.

Materialak:

  • Kalkulagailua
  • Testu laburra (adibidez, abesti ezagun baten letra)
  • Koadernoa eta arkatzak
  • Markov katearen simulatzailea

Ariketaren pausoak:

  1. Testu labur bat hautatu - Eman ikasleei testu labur bat (abesti edo ipuin ezagun baten zati bat, 50-100 hitz inguru).
  2. Hiztegia identifikatu - Testuko hitz desberdin guztien zerrenda osatu.
  3. Hitz-bikoteak aztertu - Bakoitzarentzat, ondorengo hitz posible guztiak identifikatu eta zenbat aldiz agertzen diren zenbatu.
  4. Probabilitateak kalkulatu - Ondorengo hitzen probabilitateak kalkulatu, haien agerpen kopurua hitz nagusiaren agerpen kopuru osoarekin zatituz.
  5. Probabilitate-taula osatu - Taula bat egin. Bertan, ikasleek hitz bakoitza lehenengo zutabean jarriko dute, eta ondorengo hitzak eta haien probabilitateak hurrengo zutabeetan.
  6. Simulazioa konparatu - Simulatzailearekin lortutako probabilitateak konparatu eskuz kalkulatutakoekin.

Hausnarketa galderak:

  • Zergatik hitz batzuek ondorengo hitz bakar bat dute eta beste batzuek ondorengo hitz asko?
  • Zein da probabilitaterik altuena duen hitz-bikotea? Zergatik?
  • Nola aldatuko litzateke taula testu-corpus handiagoarekin?

2. Jarduera: Markov katearen sortzailea

2 Testu pertsonalizatua sortzea

Jarduera honetan, ikasleek testu-corpus desberdinak erabiliko dituzte estilo desberdineko testu berriak sortzeko Markov katearen simulatzailearen bidez.

Ariketaren pausoak:

  1. Corpus desberdinak aukeratu - Ikasleek testu-corpus desberdinak hautatu beharko dituzte (ipuinak, albisteak, abesti-letrak, edo beraiek idatzitako testuak).
  2. Simulatzailea kargatu - Testu-corpusa simulatzailean kargatu eta n-grama tamaina desberdinak probatu (bigrama, trigrama, tetragrama).
  3. Testu berria sortu - Hasierako hitz bat aukeratu eta simulatzailea erabili gutxienez 20 hitzeko testu bat sortzeko. Ikasleak erabakitzen du hurrengo hitza probabilitateen arabera.
  4. Testuaren zentzua aztertu - Sortutako testuak zentzurik ba al du? Nola aldatzen da zentzua n-grama tamainaren arabera?

Testu corpus posibleak:

  • Euskal idazleak: Juan Antonio Mogel, Itxaro Borda, Gabriel Aresti...
  • Abesti-letrak: Bertsoak, rap abestiak, herri abestiak...
  • Albiste testuak: Egunkari digitaletako artikuluak
  • Zientzia testuak: Wikipedia edo testu-liburu zatiak

Hausnarketa galderak:

  • Nola aldatzen da sortutako testuaren estiloa corpus desberdinekin?
  • Zergatik sortzen ditu n-grama handiagoak (trigramak, tetragramak) zentzuzkoagoak diren testuak?
  • Zer gertatuko litzateke corpus oso handi batekin? Eta oso txiki batekin?

3. Jarduera: generoak nahasten - AA vs Gizakia

3 Estilo-transferentzia esperimentala

Jarduera honetan ikasleek corpus desberdinak konbinatuko dituzte efektu interesgarriak lortzeko, eta emaitzak aztertuko dituzte.

Ariketaren pausoak:

  1. Bi corpus desberdin prestatu - Ikasleek estilo oso desberdineko bi testu hautatu behar dituzte (adibidez, poesia eta albisteak, edo narrazioa eta errezeta-liburua).
  2. Corpusak konbinatu - Bi testuak konbinatu testua bakar batean eta simulatzailean kargatu.
  3. Testu "hibridoa" sortu - Lehenengo corpus-etik hasierako hitz bat hartu eta gutxienez 30 hitzeko testu bat sortu.
  4. Nahasketaren efektuak aztertu - Nola eragiten du bi estiloen nahasketak sortutako testuan? Ikus daitezke estilo bakoitzaren ezaugarriak?
  5. Turing testa - Ikasleek simulatzailearekin sortutako testua eta beraiek idatzitako testu bat (estilo bereko gaia jorratuz) elkarbanatuko dituzte. Beste ikasleek asmatu beharko dute zein sortu duen makinak eta zein gizakiak.

Hausnarketa galderak:

  • Erraza al da bereizten zein testu sortu duen makinak eta zein gizakiak? Zergatik?
  • Zer egiten du testu bat "gizatiarrago"? Zein ezaugarri falta zaizkio makinak sortutako testuari?
  • Nola erlazionatzen da hau ChatGPT bezalako sistemekin? Zergatik dira LLMak hobeak testu-sorkuntzan?

4. Jarduera: Markov kateetatik ChatGPTra

4 Sistema modernoen konparaketa

Jarduera honetan, ikasleek Markov kateen bidez sortutako testuak eta ChatGPT bezalako txatbot batekin sortutakoak konparatuko dituzte, bien arteko ezberdintasunak eta antzekotasunak aztertuz.

Materialak:

  • Markov katearen simulatzailea
  • ChatGPT edo beste txatbot batera sarbidea (aukerakoa)
  • Konparaketarako txantiloia (bi zutabe: Markov vs txatbota)

Ariketaren pausoak:

  1. Testu-corpusa kargatu - Corpus berdin bat erabili Markov katearen simulatzailean.
  2. Markov testuak sortu - Trigrama eta tetragrama bidez bi testu sortu, hasierako hitz berberarekin.
  3. ChatGPT testua lortu - ChatGPT erabiltzen bada, eskatu corpus bereko gaiaz idazteko modu laburrez. Bestela, irakasleak aurretik prestatutako testua erabili daiteke.
  4. Konparaketa taula bete - Ikasleek taula batean zerrendatuko dituzte testu bakoitzaren ezaugarriak: hiztegia, gramatika, koherentzia, zentzua, eta abar.
  5. Ezberdintasunak aztertu - Bi sistemen arteko desberdintasun nagusiak identifikatu.

Azterketa eta hausnarketa:

  • Zein dira Markov katearen muga nagusiak, LLM batekin konparatuz?
  • Nola lortzen dute LLMek testuinguru zabala eta koherentzia mantentzea?
  • Zein aplikazio praktiko ditu Markov kateen sinpletasunak gaur egun?
  • LLMek Markov kateen printzipiorik mantentzen al dute oraindik? Zeintzuk?

5. Jarduera: Markov bot-a sortu

5 Erronka sortzailea: solasaldi-bot sinple bat

Jarduera aurreratu honetan, ikasle taldeak elkarlanean ariko dira simulatzailearen bidez bot simple bat sortzen, galdera-erantzun formatu batean oinarrituta.

Ariketaren pausoak:

  1. Elkarrizketa-corpusa sortu - Ikasleek pertsonaia baten elkarrizketa-corpus txiki bat sortu behar dute (pertsonaia historiko bat, fikziozkoa, edo beraiek asmatutakoa).
  2. Elkarrizketak formateatu - Elkarrizketak formateatu behar dituzte "galdera: erantzuna" formatuan, eta gutxienez 15-20 bikote osatu.
  3. Corpusa kargatu - Corpusa simulatzailean kargatu trigrama moduan.
  4. Bot-a probatu - Ikasleek galdera-erantzun dinamika probatuko dute:
    • Galdera bat idaztziko dute hasierako esaldi gisa
    • Simulatzaileak erakutsiko ditu aukera posibleak
    • Ikasleek erantzuna eraikiko dute hurrengo hitz probabilistikoak aukeratuz
  5. Solasaldi-proba - Ikasle taldeak bot-a beste talde batekin probatuko du, eta beren ezagutza erabiliko dute erantzun koherenteak lortzeko.

Hausnarketa galderak:

  • Zenbateraino da gai bot-a elkarrizketarako, testuingurua ulertzeko gai ez bada?
  • Zer egin genezake bot-a "adimentsuago" egiteko, Markov kateen sinpletasuna mantenduz?
  • Zergatik izan ziren Markov kateak txatboten aitzindariak, baina gaur egun LLMetatik eratorritako txatbotak erabiltzen dira?

Ebaluazio eta luzatzeko jarduerak

Ikaskuntza ebaluatzeko

Ebaluatzeko aukerak:

  • Ikasketa-portfolioa: Markov kateekin egindako esperimentuen bilduma, hausnarketa eta ondorioekin.
  • Kontzeptu-mapa: Markov kateak, n-gramak, LLMak eta adimen artifiziala konektatzen dituen eskema.
  • AA vs gizakia aurkezpena: Markov kateek eta LLMek adimen artifizialaren garapenean duten papera aztertzea.

Luzapen jarduerak:

  • Kodea aztertu: Programazioan interesa duten ikasleentzat, Markov katearen simulatzailearen JavaScript kodea aztertu.
  • Musikaren sorrera Markov kateekin: Markov kateen aplikazioa musikaren sorkuntzan (musika notetan oinarrituta).
  • Hizkuntza desberdinen konparaketa: Markov kateak bi hizkuntza desberdinekin probatu eta patroi desberdintasunak alderatu.
Zabaldu!

Web-orria erabiltzen jarraitu ezkero, cookien erabilerarekin ados zaudela adierazten duzu. informazio gehiago

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Itxi