AI Neural networks

Moderators: dirkwb, Xilvo

Reageer
Gebruikersavatar
Berichten: 563

AI Neural networks

Recent ben ik mij oppervlakkig gaan verdiepen in AI-neural networks. Voordat ik mij verdiepte dacht ik te dom te zijn het te begrijpen en was skeptisch en bevooroordeeld.

Totdat ik deze mooie serie (enkele hoofdstukken) zag van 3B1B (ook vcubingx heeft ook goede lessen):



Het "Hello World" equivalent in neural networks is nummer herkenning. De input zijn handgeschreven nummers: 0-9 van bijvoorbeeld: 16x16 bits. Er zijn evenzo 10 output's [0-9] waar ieder output een slagings percentage heeft van: 0-100%.

Men "teached" het netwerk door honderden foto's met geschreven nummers erdoor te sturen. Alle neuronen worden geteached met een terugwaards algoritme. Zo gecalibreerd ieder neuron op een (lokaal) minima in de vergelijking.

Vraag:
Zou het teachen makkelijker verlopen als men een extra output N[0-100%] heeft? Deze extra output is dan een niet nummer output. Deze output herkend plaatjes wat duidelijk geen nummers zijn (bijvoorbeeld een schaakbord patroon of vier kwadranten etc.)

Dus buiten dat men het netwerk leert nummers te herkennen leer je het netwerk ook enkele duidelijk niet nummer sitiuaties. Met de mogelijkheid een beter minima te vinden per neuron?

Zou deze opzet het teachen versnellen en kwaliteit verhogen? Heeft iemand ervaring hiermee?

Gebruikersavatar
Moderator
Berichten: 4.019

Re: AI Neural networks

Bij een neuraal netwerk zoals je beschrijft ga je er van uit dat wat aangeboden wordt een cijfer is.
Als je ook andere plaatjes gaat aanbieden zou een check of het wel een cijfer is nuttig zijn maar dat maakt het leren er vast niet makkelijker op.

Een niet-cijfer plaatje kan dan werkelijk van alles zijn, van een schaakbord, een kat, tot een handgeschreven letter g.
Ik denk dat dat onderscheid veel moeilijker zal zijn.

Ik heb trouwens wel eens zo'n netwerk geprogrammeerd.

Gebruikersavatar
Berichten: 563

Re: AI Neural networks

Dankjewel voor de nuttige informatie.

De plaatjes met niet nummers zou ik zelf meer zien als zwart wit afbeeldingen met wat vlekken ofzo niet erg ingewikkeld of gecompliceerd.

Ik denk dat er al allerhande leer strategien ontwikkeld zijn en betere dan ik bedrijf.

Misschien dat mijn spontane reactie laat zien dat mijn interesse de leerstrategie is.

Gebruikersavatar
Moderator
Berichten: 4.019

Re: AI Neural networks

Ik heb helemaal geen leerstrategie gebruikt, maar een soort evolutie.
De matrices met getallen die het gedrag bepalen vulde ik met willekeurige waardes.
Vervolgens keek ik hoe het netwerk presteerde - beroerd, natuurlijk.

De waardes in de matrices veranderde ik vervolgens een klein beetje, willekeurig, waarna ik weer de prestatie mat.
Was die beter, dan behield ik de nieuwe waardes, zo niet, dan hield ik de oude. Zo ging het steeds beter presteren.

Berichten: 1.314

Re: AI Neural networks

Xilvo schreef: za 17 okt 2020, 11:50
De waardes in de matrices veranderde ik vervolgens een klein beetje, willekeurig, waarna ik weer de prestatie mat.
Was die beter, dan behield ik de nieuwe waardes, zo niet, dan hield ik de oude. Zo ging het steeds beter presteren.
Wat voor mij nog niet heel duidelijk is bij neurale netwerken is hoe je bij een gegeven prestatienivo weet in welke richting je moet gaan om verder te verbeteren. Er zijn immers heel veel constantes in het model.

Gebruikersavatar
Moderator
Berichten: 4.019

Re: AI Neural networks

HansH schreef: za 17 okt 2020, 20:47 Wat voor mij nog niet heel duidelijk is bij neurale netwerken is hoe je bij een gegeven prestatienivo weet in welke richting je moet gaan om verder te verbeteren. Er zijn immers heel veel constantes in het model.
Ik heb geen idee, ik verander de waardes dus willekeurig en behoud wat het best werkt.

Berichten: 1.314

Re: AI Neural networks

Xilvo schreef: ma 19 okt 2020, 17:21 ik verander de waardes dus willekeurig en behoud wat het best werkt.
en hoe bepaal je dan wat het beste werkt? doe je dan alle checks met heel veel invoerwaarden steeds opnieuw?

Gebruikersavatar
Moderator
Berichten: 4.019

Re: AI Neural networks

HansH schreef: ma 19 okt 2020, 18:41 en hoe bepaal je dan wat het beste werkt? doe je dan alle checks met heel veel invoerwaarden steeds opnieuw?
Ja, ik geef weer duizenden plaatjes van cijfers en kijk welk percentage goed herkend wordt.

Reageer