Pregled strojnega učenja hiperparametrov
Za kateri koli model potrebujemo nekaj parametrov, kar pomaga pri zagotavljanju podlage za rešitev problema / analize in ocene modela. Nekatere od teh parametrov je treba izučiti iz podatkov, nekatere pa moramo izrecno opredeliti iz svojega konca. Parametri, ki se jih lahko naučimo iz podatkov, ne da bi bili izrecno definirani, imenujemo parametri modela. Parameter, ki ga uporabnik izrecno definira, se imenuje Hyperparameters. Hiperparametri so tudi parametri samo v modelu, vendar se izraz hiperparametri uporabljajo pri strojnem učenju, tako da jih je mogoče zlahka razlikovati in ne zamenjati s parametri modela, ki se jih naučimo iz nabora podatkov.
Kaj je hiperparameter strojnega učenja?
Za večino okvirov strojnega učenja hiperparametri nimajo natančne opredelitve. Ti hiperparametri urejajo osnovni sistem modela, ki vodi primarne (modalne) parametre modela. Poskusimo razumeti hiperparametre z naslednjim primerom.
- Uglaševanje violine je zelo pomembno, ko se nahajate v fazi učenja, ker takrat ustvarjate povezave med različnimi čutili. Ušesa, prsti in oči se hkrati učijo violine. Zdaj na začetku Navaditi se na to, da se zvok violine sliši na zvok, ustvari slab zvok, kar bo pokvarilo celotno izkušnjo zaljubljenosti v proces učenja violine.
- Zato lahko uglasitev violine resnično pomaga enemu pri učenju violine. Na enak način je hiperparameter nekakšna prilagoditev modela strojnega učenja, da bi lahko dosegel pravo smer.
- Hiperparametri so na splošno definirani pred uporabo algoritma strojnega učenja na nabor podatkov.
- Naslednja naloga je, kakšen naj bo hiperparameter in kakšna naj bo njegova vrednost. Ker mora vedeti, kakšne strune so potrebne za uglaševanje in kako uglasiti violino, preden jo nastavite. Enako velja za hiperparametre, določiti moramo, kaj hiperparametri in kakšna naj bo njegova vrednost, v bistvu je odvisno od vsake naloge in vsakega nabora podatkov.
- Da bi to razumeli, vzemimo perspektivo optimizacije modela.
- Pri izvajanju modela strojnega učenja ima ključno vlogo optimizacija modelov. Obstaja veliko število vej strojnega učenja, ki so izključno namenjene optimizaciji modela strojnega učenja. Na splošno velja, da moramo za optimizacijo modela spremeniti kodo tako, da je napaka čim manjša.
- Vendar obstajajo skriti elementi, ki vplivajo na optimizacijo strojnega učenja, ki je zunaj modela in imajo velik vpliv na vedenje modela. Ti skriti elementi se imenujejo hiperparametri. To so kritične komponente za optimizacijo katerega koli modela strojnega učenja.
- Hiperparametri so fini sprejemniki / nastavitve, ki nadzorujejo obnašanje modela. Ti hiperparametri so opredeljeni zunaj modela, vendar imajo neposreden odnos do uspešnosti modela. Hiperparametri se lahko obravnavajo kot pravokotno za modeliranje.
- Merila za določitev hiperparametra so zelo prilagodljiva in abstraktna. Zagotovo obstajajo nekateri hiperparametri, kot je število skritih plasti, stopnja učenja modela, ki so dobro uveljavljene in tudi nekatere nastavitve, ki jih je mogoče obravnavati kot hiperparameter za določen model, kot je nadzor nad zmogljivostjo modela.
- Obstajajo možnosti, da algoritem nadgradi model, če se algoritmi učijo neposredno prek nastavitev. Ker je očitno, da se hiperparametri ne učijo / uravnavajo s pomočjo vadbe, zato se za izbiro hiperparametrov uporablja set preizkusov ali potrditev. Na splošno postavljamo različne vrednosti hiperparametrov, tista, ki najbolje deluje s testnim ali validacijskim setom, velja za naš najboljši hiperparameter.
Kategorije hiperparametra
Za različne vrste podatkovnih nizov in glede na model lahko imamo različne hiperparametre za povečanje učinkovitosti modela. Hiperparametre lahko na splošno razvrstimo v dve kategoriji.
- Hiperparameter za optimizacijo
- Hiperparametri za posebne modele
Pogovorimo se o vsakem od teh.
1. Hiperparametri za optimizacijo
Kot že ime pove, se ti hiperparametri uporabljajo za optimizacijo modela.
- Stopnja učenja
Ta hiperparameter določa, koliko bodo novo pridobljeni podatki preglasili stare razpoložljive podatke. Če je vrednost tega hiperparametra visoka, je višja stopnja učenja model ne bo optimiziral pravilno, saj obstaja verjetnost, da bo preskočil minimalne vrednosti. Po drugi strani pa bo konvergenca zelo počasna, če je stopnja učenja zelo manjša.
Stopnja učenja ima ključno vlogo pri optimizaciji uspešnosti modela, ker imajo ponekod modeli na stotine parametrov (parametrov modela) s krivuljo napake, stopnja učenja bo določila pogostost navzkrižnega preverjanja z vsemi parametri. Prav tako je težko najti lokalne minimume krivulj napak, ker imajo praviloma nepravilne krivulje.
- Velikost serije
Za pospešitev učnega procesa je vadbeni sklop razdeljen na različne sklope. V primeru stohastičnega postopka treninga modela se majhna serija usposobi, oceni in ponovno razmnoži, da se prilagodijo vrednosti vseh vaših hiperparametrov, to se ponovi za celoten sklop vadbe.
Če je velikost serije večja, bo to povečalo čas učenja in potrebno bo več pomnilnika za obdelavo matrice. Če je velikost serije manjša, bo pri izračunu napak več hrupa.
- Število epoh
Epoha predstavlja celoten cikel za podatke, ki jih je treba naučiti v strojnem učenju. Epohe igrajo zelo pomembno vlogo v iterativnem učnem procesu.
Za določitev pravega števila epoh se upošteva napaka pri potrjevanju. Lahko se poveča število epoh, dokler se zmanjša napaka pri potrjevanju. Če se napaka pri potrjevanju ne izboljša za zaporedne epohe, je to signal za zaustavitev vse večjega števila epohov. Znan je tudi kot zgodnje ustavljanje.
2. Hiperparametri za posebne modele
Nekateri hiperparametri so vključeni v strukturo samega modela. Nekatere od teh so naslednje.
- Število skritih enot
Ključnega pomena je določiti številne skrite enote za nevronske mreže v modelih globokega učenja. Ta hiperparameter se uporablja za določanje sposobnosti učenja modela. za zapletene funkcije moramo določiti številne skrite enote, vendar ne pozabite, da model ne bi smel pretiravati.
- Število slojev
Očitno je, da bo nevronska mreža s tremi sloji dala boljše rezultate kot 2-slojna. Povečanje več kot 3 ne pomaga toliko v nevronskih mrežah. V primeru CNN vse večje število plasti naredi model boljši.
Zaključek
Hiper parametri so izrecno določeni pred uporabo algoritma strojnega učenja na nabor podatkov. Hiperparametri se uporabljajo za definiranje kompleksnosti modela in učne sposobnosti na višji ravni. Hiperparametri so lahko tudi nastavitve za model. Nekateri hiperparametri so opredeljeni za optimizacijo modelov (velikost šarže, stopnja učenja itd.), Nekateri pa so značilni za modele (Število skritih plasti itd.).
Priporočeni članki
To je vodnik o strojnem učenju hiperparametrov. Tukaj razpravljamo o pregledu in kaj je strojno učenje hiperparametrov z njegovimi kategorijami. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Uvod v strojno učenje
- Nenadzorovano strojno učenje
- Vrste algoritmov strojnega učenja
- Uporaba strojnega učenja
- Izvajanje nevronskih mrež
- Najboljših 6 primerjav med CNN in RNN