Overzicht Methoden van Kennisacquisitie (basis sheets Ellen

Overzicht Methoden van Kennisacquisitie (basis: sheets Ellen Timminga, BOK)  Welke kennisbronnen kun je raadplegen? - Boeken, handleidingen - Empirische data - Onderzoek - Computerbestanden - Formele teksten (bv strafrecht) - Informele teksten - Periodieken - Records - Tapes, video’s e.d. - Presentaties - Bezoeken - Mensen college KVK 4.1 Geschreven informatie: Goed bruikbaar voor achterhalen van declaratieve kennis. Intermenselijk contact en tapes e.d.: Achterhalen van procedurele en declaratieve kennis. college KVK 4.2  Houd bij keuze van kennisbronnen rekening met: - Gedateerdheid - Copyright - Betrouwbaarheid - Validiteit - Beschikbaarheid - Niveau van de informatie (diepte/breedte) - Soort informatie - Doel van de schrijver/geïnterviewde - Geschrevene hoeft niet weerspiegeling van praktijk te zijn - Risico bij verkrijgen van de informatie - Compleetheid - De keuze van mensen (experts) college KVK 4.3 Kennisacquisitie Kennisvervorming Typen methoden Directe methoden vs indirecte methoden Directe methoden: Structurerende en niet-structurerende methoden Indirecte methoden college KVK 4.4 Kennisvervorming Gevaar! Drie momenten: 1. Stellen van vragen 2. Verwoording door expert 3. Interpretatie door interviewer college KVK 4.5 Typen Methoden Gebruik altijd meerdere methoden en informatiebronnen! college KVK 4.6 Kennisacquisitiemethoden  Directe methoden: Hebben betrekking op kennis die de expert direct kan verwoorden. - Niet-structurerende technieken: - Ongestructureerde interview - Observaties - Hardop denken en protocolanalyse - Structurerende technieken: Brengen structuur aan in de kennis, oa de kennis verkregen mbv niet-structurerende technieken. - Gestructureerd interview/vragenlijst - Doelontleding (Goal decomposition) - Twintig vragen techniek - Laddered grid - Relatie-elicitatie - Drawing closed curves - Inferential flow analysis college KVK 4.7 Kennisacquisitiemethoden  Indirecte methoden Sporen een bepaalde structuur in de kennis op. Geschikt voor moeilijk te verwoorden kennis. - Kaartjes sorteren - Repertory grid - Meer-dimensionale schaling - Clusteranalyse - Netwerkanalyse - Geautomatiseerde methoden (inductie-principe) college KVK 4.8 Ongestructureerd interview  Alleen toepassen in eerste fase van kenniselicitatie  Werkwijze: - Alles vastleggen op band - Stel zo breed mogelijke vragen - Stuur het gesprek zo min mogelijk - Bedenk vragen ter plekke  Voordelen - Levert zeer uitgebreide en veelsoortige kennis op - Goede manier om grof inzicht in het domein te krijgen  Nadelen: - Moeilijk uitvoerbaar. Interviewer moet op erg veel dingen tegelijk letten. - Groot gevaar van vervorming door ter plekke vragen te bedenken. - Rommelig. - Tijdrovend. college KVK 4.9  Werkwijze: - Observeer expert in de dagelijkse praktijk, waarin deze omgaat met problemen waarvoor het kennissysteem gebouwd moet worden. - Leg alles vast op video. - Laat indien mogelijk ook hardop denken.  Voordelen - Waarheidsgetrouwe weergave van wijze waarop expert werkt. - Als hardopdenken mogelijk, inzicht in gedachtengang expert op moment van handelen.  Nadelen: - Geen directe invloed van interviewer op het type probleem dat wordt opgelost. Dus dekking probleemgebied kan in gevaar komen. - Kennistechnoloog kan niet ingrijpen en extra toelichting vragen. - Vooral veel voorkomende problemen zullen worden bekeken. college KVK 4.10 Observaties Hardop denken en Protocolanalyse  Werkwijze: - Laat expert taken uitvoeren, waarbij hij/zij hardop moet denken. - Leg alles vast op tape (video). - Schrijf alles uit en analyseer het protocol.  Voordelen: - De data worden nauwelijks vertekend door interpretaties, verwachtingen en geheugenfouten. - Leveren de rijkste en meest directe gegevens over denkprocessen.  Nadelen: - Hoge kosten (tijd voor afnemen, bewerken en analyseren). - Kan lastig zijn om de probleemoplossings-methode goed bloot te leggen, omdat er nog weinig beeld van is. college KVK 4.11 Gestructureerd interview/vragenlijst  Gebruik om de structuur in bepaald deel van het kennisdomein verder te verduidelijken.  Werkwijze: - Bereid zeer goed voor. - Voer interview uit aan de hand van de voorbereide vragen, bv mbv vragenkaarten.  Voordelen: - Interview verloopt gericht en daardoor efficiënter. - Meer uitweiden over relevante zaken. - Alle gewenste informatie wordt verkregen, minder kans op vergeten van onderdelen.  Nadelen: - Interviewer heeft verkeerd beeld van het domein en stelt daarom verkeerde vragen. college KVK 4.12 Gestructureerd interview/vragenlijst  Doorvragen: (probes) - Addition probe (ga door …) - Reflecting probe (herhaling als aansporing) - Directive probe (stop maar, vertel eens) - Change of probe (ander perspectief t.a.v. onderwerp) - Defining probe (wat betekent dit begrip) college KVK 4.13 Doelontleding: Twintig vragen techniek  Probeer te achterhalen hoe de expert bepaalde problemen aanpakt.  Werkwijze: - Bereidt een aantal problemen voor uit het domein. - Leg deze een voor een aan de expert voor. - De expert moet door het stellen van vragen het onderliggende probleem achterhalen.  Voordelen: - Levert zeer goed inzicht in probleemoplossingsproces van expert. - Levert enige structuur voor toekomstig systeem. - Levert enig inzicht voor volgorde van regels.  Nadelen: - Zeer moeilijk voor kennistechnoloog. college KVK 4.14 Doelontleding: Laddered grid  Interessant als hiërarchische structuur in kennis wordt vermoed.  Werkwijze: - Kies willekeurig concept in domein. - Probeer door vragen inzicht in overig deel van het domein te krijgen (bv Noem voorbeelden van …; Waar is … een voorbeeld van?; Wat hebben … en … gemeenschappelijk?; Welke alternatieven zijn er?).  Voordelen: - Bruikbaar voor declaratieve hiërarchische kennis. - Bruikbaar voor procedurele kennis, als er sprake is van een hiërarchie van acties. - Geeft inzicht in structuur. - Levert inzicht tbv opzet kennisbank.  Nadelen: - Als kennis niet puur hiërarchisch is, is de techniek moeilijk te hanteren. college KVK 4.15 Relatie-elicitatie: Drawing closed curves  Spoor relaties tussen concepten in domein op.  Veronderstelling: Concepten zijn ruimtelijk te presenteren (bv grafische weergave).  Werkwijze: - Laat grafische weergave van de concepten aan de expert zien. - Laat groepjes van concepten mbv lijnen aangeven.  Voordelen: - Levert ruimtelijke representatie van een deel van het kennisdomein. college KVK 4.16 Relatie-elicitatie: Inferential flow analysis  Spoor relaties tussen concepten in domein op.  Veronderstelling: Er bestaan kwantitatieve relaties tussen concepten.  Werkwijze: - Maak lijst van concepten. - Maak gestructureerde vragenlijst, waarbij expert steeds 2 concepten aan elkaar moet relateren.  Voordelen: - Geschikt als basis voor vervolginterviews. - Goede basis voor formuleren productieregels aangaande kwantitatieve relaties tussen concepten. college KVK 4.17  Indirecte methoden kunnen behulpzaam zijn bij het achterhalen van moeilijk te verwoorden kennis. Ook zijn ze goed bruikbaar voor het zichtbaar maken van structuren in de kennis.  Voordelen: - Formeler en objectiever (?) Let op: het is niet automatisch zo dat hierdoor betrouwbaarder kennis wordt verkregen. - Kans op volledigheid van de data wordt groter. - Experts vinden het vaak leuk hun kennis in een nieuw jasje gepresenteerd te krijgen. Kan sterk motiverend werken. - Resultaten zijn goed te gebruiken als basis voor vervolg kennisacquisitiesessies.  Nadelen: - Contextgevoelig: resultaten afhankelijk van gebruikte objecten. - Sommige experts hebben een weerzin tegen indirecte methoden. - De benodigde sessies kunnen erg tijdrovend zijn.  - Methoden blijven subjectief. Blijf dus voorzichtig. college KVK 4.18 Indirecte methoden Diverse indirecte methoden  Ontdekken van dimensies: - kaartjes sorteren - repertory grid  Schaaltechnieken: - één- of multi-dimensionale schaling - clusteranalyse - netwerkanalyse  Automatische kennisacquisitie: - machine learning college KVK 4.19  Het ordenen van kaartjes waarop door de expert belangrijk gevonden objecten zijn vermeld, waarmee overeenkomsten en verschillen zichtbaar gemaakt kunnen worden.  Werkwijze: - Laat de expert de kaartjes groeperen, en toelichten waarom ze zodanig worden gegroepeerd. Vraag naar de achterliggende dimensie. Dus, wat hebben de objecten in de groepen gemeenschappelijk en hoe verschillen de groepen. - Probeer de expert te stimuleren de kaartjes op diverse manieren te groeperen. - Vraag of groepen verder te splitsen of samen te voegen zijn. - Als alle dimensies verkregen zijn kan men elk object op deze dimensie schalen.  Voordelen: - Experts vinden het vaak leuk en eenvoudig. - Erg flexibel, veel inbreng van de expert. - Veel dimensies te achterhalen, die direct benoemd worden. college KVK 4.20 Kaartjes sorteren Repertory grid  Bekende psychologische methode. Oorsprong Kelly 1955: Personal construct theory.  Er zijn diverse verschillende interpretaties van de methode in de literatuur te vinden.  Basisidee: 0. Kies samen met de expert een groep relevante objecten. 1. Vergelijk telkens 3 objecten. Laat aangeven welke het meest overeenkomen en vraag in welk opzicht de ander verschilt (een dimensie). 2. Herhaal 1 voor alle drietallen. 3. Schaal elk object op elke dimensie. college KVK 4.21 Repertory grid  Voordelen: - Er kunnen vele dimensies worden achterhaald. - De dimensies worden direct door de expert benoemd. - Kan geschikt zijn als de expert in eerste instantie moeite heeft met het verwoorden van kennis.  Nadelen: - Expert kan tegenwerken. - Tijdrovend als diverse objecten vergeleken moeten worden. - Het kan moeilijk zijn sommige objecten te vergelijken. college KVK 4.22 Eén- of multi-dimensionale schaling  Indirecte methode voor het vinden van dimensies die de overeenkomsten (verschillen) tussen objecten verklaren.  De data: verschil- of gelijkheidsmatrix van objecten.  Verkrijgen van de data: paarsgewijze vergelijking van de objecten, en verschil laten aangeven op schaal 0-10.  Bij één-dimensionale analyse wordt getracht een schaal te vinden, waarop de objecten geplaatst kunnen worden. Als dit niet lukt, dan is het mogelijk dat meer dimensies nodig zijn om de verschillen te verklaren.  Bij een meerdimensionale analyse wordt geprobeerd de verschillen mbv meer dimensies te verklaren.  Interpretatie van de dimensies door expert.  Nadelen: - Keuze aantal dimensies is subjectief. - Paarsgewijze vergelijking objecten kost veel tijd. college KVK 4.23 Clusteranalyse  Classificeren van objecten, zodanig dat de objecten in een groep zoveel mogelijk op elkaar lijken.  Er bestaan vele vormen van clusteranalyse, veel afstandsmaten en veel criteria voor het vormen van clusters, bijvoorbeeld: - maximaliseer tussen groepen verschillen - minimaliseer binnen groepen verschillen  De data: verschil- of gelijkheidsmatrix van objecten.  Hiërarchische clusteranalyse: - voorbeelden: lichaamsdelen, verwarrende medeklinkers (Meerling 1981). - op oog redelijk, maar verradelijk, doordat objecten op meer manieren gegroepeerd kunnen worden. - voorbeeld: familierelaties (Butler & Corter, 1986). college KVK 4.24 Clusteranalyse  Voordelen: - Geschikt voor veel dimensies. - Geschikt voor achterhalen classificaties. - Mogelijkheid interviews te structureren mbv verkregen boom.  Nadelen: - Dataverzamelen kost soms veel tijd. - Subjectief: door keuze van techniek, afstandsmaat e.d. zeer verschillende oplossingen mogelijk. college KVK 4.25 Netwerkanalyse  Doel: Het weergeven van de objecten als netwerk, waarbij het al dan niet tekenen van lijnen tussen objecten wordt bepaald door de grootte van de overeenkomst tussen de objecten.  De data: verschil- of gelijkheidsmatrix van objecten.  Netwerk geeft een indruk van de nabijheid van objecten, het is zeker geen semantisch netwerk.  De centraliteit van objecten kan goed beschouwd worden. Dit zijn objecten die veel verbindingen met andere hebben.  Voorbeelden: begrippen uit de natuur, dieren.  Voordelen: - De resultaten kunnen gebruikt worden bij verdere kennisacquisitie. - Matrix hoeft niet volledig te zijn.  Nadelen: - Resultaat kan een wirwar van lijnen opleveren, die het de expert lastig maken toelichting te geven. college KVK 4.26