FIT: Ispiti bazirani na ponuđenim odgovorima
A) Uvod
Ispiti bazirani na ponuđenim odgovorima (žargonski među studentima pitanja "na click") su u većini loše postavljeni.
Obrazovni ishodi ovog sistema ispitivanja su katastrofalni.
U ovom članku ću prezentovati nedostatke koje sam uočio prilikom polaganja ispita "na click". Takođe ću pokušati dati moguća rješenja po ovom pitanju.
B) Loše konstruisana pitanja
Zbog stalne frustracije ovim problemom, na predmetu "Projektovanje informacionih sistema" uključio sam se u diskusiju po tom pitanju.
Iz diskusije treba izdvojiti opći princip kojim se treba voditi pri sastavljanju pitanja:
Osnovni postulat u pripremi "multiple-choice" pitanja je da, ako student zna odgovor na pitanje, onda NE SMIJE biti zbunjen alternativama, a ako NE ZNA, sve alternative mu moraju biti podjednako atraktivne.
Kako za "multiple-choice", ovaj princip se može primjeniti i za "single-choice" pitanja.
U proteklim godinama sam uočio da je nivo konstrukcije pitanja (izuzevši testove iz Engleskog jezika) općenito neprihvatljiv. Profesori sastavljaju svoja pitanja, koriste sopstveni riječnik, koriste se duplim negacijama i raznoraznim "zamkama". Sve to odvlači studenta od glavnog cilja - ispitivanje znanja fokusiranog na sadržaj konkretnog predmeta.
Za odgovor na pitanje često je veći akcenat na općoj logici nego na testiranju znanja iz predmetnih sadržaja.
Pitanja koja su u stručnom smislu trivijalna se "maskiraju" raznoraznim jezičkim zamkama što je potpuno pogrešan način u ovom sistemu ispitivanja.
Još gore, nije rijedak slučaj da se ide i i korak dalje od općih logičkih pitalica - pitanja se konstruišu na bazi subjektivne logike ispitivača. Takav slučaj se desio na predmetu PIS.
Naime, iz ono malo činjenica koje su iznijeli nastavnici po pitanju sastavljanja pitanja, shvatio sam da su oni pri konstrukciji pitanja promjenili neke svoje logičke principe. Rezultati su pokazali da je ta logika za mnoge studente bila - nelogična. To je u konačnici je stvorilo potpuni haos na ispitu.
C) Kako studenti "rješavaju" ove probleme
Šala koja se desila na posljednjem ispitu je dobro pokazuje kuda postojeći koncept ispitivanja vodi.
Jedno pitanje na ispitu WT je bilo karakteristično po tome što je imalo veliki broj odgovora po principu "multiple-choice"-a (životni ciklus učitavanja web stranice u ASP.NET okruženju).
Na pitanje kolegice kako sam uradio to pitanje, odgovorio sam:
Sve sam označio. To je onaj dio koji si nam ti pred ispit detaljno u autu pročitala. U odgovoru su navedene sve te faze.
Kolegica mi odgovorila:
Aaaa nije sve tačno, bilo je "zamki" u par odgovora. Pred kraj rečenice su stavljeni dijelovi koji ne pripadaju odgovoru.
Uzvratio sam:
Čuj ? Istina je da od one "sile" riječi nisam do kraja zadržao koncentraciju za svaki odgovor. Pratio sam koliko sam mogao, učinilo mi se da je to ono što smo ponavljali i označio ok.
Uz osmijeh mi je odgovorila:
Nije nije ... I ja sam pogriješila. Drugi kolega mi je rekao da je odgovor "BCE" :). Ova su pitanja bila i na predhodnim ispitima.
Kolega je jednostavno vizuelno naučio "BCE". Šta pod tim "BCE" piše - nebitno.
Znači, studenti su našli "rješenje" - uče odgovore napamet, nerjetko memorišući samo brojeve odgovora. Ajoj.
Iako ovaj konkretni primjer u smislu konstrukcije pitanja, pa ni odgovora NIJE eklatantan primjer loše konstrusanog pitanja ili loše konstruisanih odgovora (*) on zorno pokazuje da postojeći način ispitivanja ne zadovoljava obrazovne ciljeve.
D) Kako poboljšati stvari ?
D.1) Workaround 1 - "Plivajući odgovori"
Mi informatičari koristimo termin "workaround" za rješenja koja suštinski ne rješavaju problem ali su ipak korisno i značajno poboljšanje.
Plivajući odgovori će omogućiti da se poredak odgovora pojavi po slučajnom izboru.
Ono što je kod jednog studenta A/B/C/D, kod drugog će se permutirati na B/C/A/D.
Studenti će barem morati učiti značenje pitanja. Iako će i ovo omogućiti da se odgovori uče kao telefonski imenik, ipak će značajno otežati učenje bez razumjevanja.
D.2) Workaround 2 - "Slobodni komentar" kod svakog pitanja
Počeću sa primjerom. Pitanje iz predmeta MIS:
Pitanje: Planiranje je:
- rutinska aktivnosti
- nešto što garant nije
- takođe nešto što garant nije ...
- ništa od navedenog
Na ispitu sam kolegu asistenta pitao:
U bosanskom jeziku postoje dva značenje termina "rutinski":
- pozitivan u smislu da se radi svakodnevno
- negativan u smislu da se radi bez puno pažnje, mehanički
Na koje od ova dva značjenja je ispitivač mislio ? Kolega asistent i pored najbolje volje mi nije znao odgovoriti.
Ja sam znao odgovor: ako je rutinsko pomenuto u pozitivnom kontekstu - odgovor je 1, a ko je u negativnom odgovoro je 4.
Međutim, to nisam mogao napisati nigdje.
Kada bi postojala uz svako pitanja mogućnost slobodnog komentara, student bi ovakve dileme mogao navesti i u mnogim slučajevima pokazati ono najbitnije:
Da li student razumije ili ne razumije materiju.
Tek kada sam došao na uvid radova, vidjevši da je tačan odgovor 4), shvatio sam da je ispitivač koristio termin "rutinski" u negativnom kontekstu.
Bio je to za mene potpuni paradoks netačno odgovoriti na ovakvo pitanje. Za mene, koji svojim saradnicima svako malo govorim:
Ne možeš preći na realizaciju prije pripreme - planiranja zadatka.
E) Učenje knjige napamet
Predmet MIS je pun pitanja koja se baziraju na doslovnom učenju rečenica iz knjige.
Vjerovatno se u knjizi i nalazi negdje ovaj diferencijacija (vjerovatno piše: nemojte rutinski prilaziti poslovima planiranja, ona su bitna ...), međutim, pitanja NE SMIJU biti doslovno učenje knjige.
Svako pitanje mora biti zasebna cjelina. Mora se poštovati sljedći princip
Ako student poznaje materiju koja je predmet ispitivanja, (u najvećoj mjeri) bez obzira na korištenu literaturu, mora moći razumjeti i ponuditi tačan odgovor
Može se prihvatiti da postoji određeni set pitanja koji akcenat stavljaju na to da je student ovladao terminima i taksonomijama koji se navode u nastavnim materijalima, ali ovaj pristup je neprihvatljiv.
Ukratko, pitanja ne smiju da se ograniče na memorisanje nego na razumijevanje nastavnih sadržaja.
Odličan primjer nepotpunog, loše konstruisanog pitanja je:
Šta na grafikonu znači vrijednost "Tr" ?
Ponovo sam asistenta pitao:
Kojem grafikonu ?
Asistent je odgovorio. "Pa valjda nekom iz knjige ?"
Kojem grafikonu iz knjige ?
Pomalo zatečen, asisent mi je odgovorio:
Pa neki grafikon u knjizi ima tu vrijednost ...
Prekinuo sam ga:
Kolega ja ne učim knjige napamet. Ja sam informatičar. Nisam pravnik !
Pitajte me šta na U/I dijagramu znači "R". Pitajte me šta se dijagramu "Životni cikus proizvoda" nalazi na y-osi. Pitanje u kome ću "skenirati" u mislima knjigu i pratiti gdje se pojavljuje "Tr" varijabla nema nikakvog smisla. To nije test znanja nego test koji provjerava da li sam knjigu naučio napamet - NISAM i NEĆU !
F) Real - long term solutions
Pošto sam koristio workaround, nastaviću sa informatičkim riječnikom. Ovo je ipak Fakultet informacionih tehnologija :)
Ovaj način ispitivanja se ne mora u potpunosti napustiti. On se može unaprijediti na sljedeći način:
F.1) Real solution 1 - edukacija konstruktora pitanja
Mislim da FIT treba angažovati stručnjake iz ove oblasti. Ti stručnjaci bi edukovali sve nastavnike koji učestvuju u konstruisanju ovih pitanja.
Evidentno je da osoblje FIT-a ovaj posao radi loše.
F.2) Real solution 2 - korištenje feedback-a iz "Workaround 2" rješenja
Već nakon par ispita za očekivati je da će se na najlošije konstruisanim pitanjima pojaviti najviše komentara studenata.
To će ispitivačima ukazati na činjenici da trebaju promijentiti konstrukciju pitanja. Siguran sam da je ovaj princip neka ustaljena praksa (evaluacija kvaliteta pitanja) na koju će vam eksperti iz predhodnog "Real solution 1" ukazati.
H) Disclaimer
Ranije sam pomenuo da je moja supruga ekspert u oblasti mjerenja i ocjenjivanja znanja. U pisanju ovog članka ipak nisam koristio njena znanja niti direktne sugestije (izuzev B) opći princip kojim se treba voditi pri sastavljanju pitanja).
I) Updates
- v3, 05.12.2011, 21:34 - uklonio G) Moja očekivanja - suvišno.
Promjena naslova: Ispiti bazirani na predefinisanim pitanjima i ponuđenim odgovorima.
- v2, 05.12.2011, 21:19 - minor upgrades - preformulacija nejasnih rečenica, uočenih grešaka nakon dodatnih čitanja.
---
(*) Ali svakako svakako ukazuje da nije ni najbolje konstruisano na strani pitanja, s obzirom da je test pokazao da prije nedostatak koncentracije ispitanika, s obzirom da se radilo o temi koju sam nedavno ponovio i generalno dovoljno dobro razumio)
739 views and 15 responses
-
Dec 5 2011, 11:08 AMmurga responded:Još mi je ostala gorčina u ustima od ova 2 ispita (PIS i MIS) na koja sam nažalost potrošio samo bezveze pare i to je to... kontajući da ću bar ako išta nešto logično odgovoriti.
c c c
-
Dec 7 2011, 6:30 AMAdnan responded:Vidim da FIT i dalje muce isti problemi. Nisam vise mogao gutati...napustio sam :(
Svaka cast na trudu i zalaganju da se nesto promijeni. Iskreno se nadam da ce imati efekta. -
Dec 7 2011, 6:46 AMErnad Husremović responded:Adnane, hvala na podršci.
Ja očekujem promjene. Ne bih trošio silno vrijeme da mislim da "to tako mora biti". Ne mora.
-
Dec 7 2011, 7:14 AMAdnan responded:Mislim da je sada daleko povoljnije vrijeme za promjene nego prije par godina kada je FIT imao neku vrstu monopola nad IT obrazovanjem u BiH. Sada svako selo ima "univerzitet" i ako zele studente u svojim prostorijama onda se moraju i potruditi da obezbijede adekvatno obrazovanje. Jako puno ljudi je odustalo od FIT-a i iz licnog iskustva znam da je dosta ljudi upisalo druge fakultete upravo zahvaljujuci losem iskustvu prethodnika.
Na Debconf-u sam cuo jedno interesantno opisivanje FIT-a i slicnih fakulteta:
"Oni ne treba da daju ljudima diplome nego certifikate. Diploma se izdaje za poznavanje koncepta, a ne za poznavanje rjesenja. Oni ljude uce rjesenjima, a ne konceptima. Neka izdaju certifikate za poznavanje MSSQL-a, MS Visual Studio, .NET tehnologija itd. Mogli bi vise zaraditi na tome nego na ovakvom "univerzitetskom" obrazovanju" Covjek koji je ovo rekao inace radi na Univerzitetu u Bostonu! -
Dec 7 2011, 7:38 AMErnad Husremović responded:> "Oni ne treba da daju ljudima diplome nego certifikate. Diploma se izdaje za poznavanje koncepta, a ne za poznavanje rjesenja. Oni ljude uce rjesenjima, a ne konceptima. Neka izdaju certifikate za poznavanje MSSQL-a, MS Visual Studio, .NET tehnologija itd. Mogli bi vise zaraditi na tome nego na ovakvom "univerzitetskom" obrazovanju" Covjek koji je ovo rekao inace radi na Univerzitetu u Bostonu!
U potpunosti se slažem. FIT nastupa kursistički i pristrasno:
http://hernad.bring.out.ba/mogucnost-izbora-je-takode-stvar-koja-se-uci
Fokus stavlja na određen tehnologije a ne na principe.
http://redmine.bring.out.ba/projects/fit-open
Diplomant FIT-a je sve ali ne izgrađen informatičar, ukoliko je svoja fundamentalna IT znanja bazirao na onome što uči na FIT-u.
Stvari koje sam ovdje pokrenuo su opet puno "pliće" od svega ovoga što pričamo. Ali one po principu spojenih posuda mogu i trebaju eliminisati ovakve "nastavne materijale"
http://hernad.bring.out.ba/hernad-doso-tobe
Ovo što sam ja pokrenuo u ovom članku konkretno je tako očito i banalno.
O svemu što pominješ sam pisao. Ali sve to se može staviti pod kapu "ma to je onaj ludi hernad kome sve živo smeta".
Ovo radi svoje jednostavnosti može priču odvestu samo u dva smjera:
1) daljnje relativiziranje problema, čime FIT javno potpisuje "Mi smo obrazovna lakrdija i takvi ćemo ostati"
2) Razumijemo problem i nastojaćemo ga riješiti.
Javni diskurs ovog izlaganja je "opasna" stvar.
Koliko god moj blog bio blog anonimusa, što definitivno jeste, on je ipak javni. Moj otvoreni pristup daje problemu dodatnu dimenziju.
On "tjera" osoblje FIT-a da nešto poduzme i onemogućava da se problem stavi pod tepih.
Ja ne kažem da je varijanta 1) nemoguća. Dapače. Ali mislim da bio ona imala popriličnu cijenu za FIT.
Za razliku od mladih kolega koji FIT vide kao način da započnu karijeru, za mene to FIT nije.
http://hernad.bring.out.ba/odakle-ja-na-fit-u
Zato i jesam "problematičan".
Iako lično smatram da je ovo što radim nešto najbolje što se FIT-u moglo desiti, ukoliko pročitaju što se ovdje piše.
Ja radim kao informatičar dugo godina i znam šta nakon FIT-a slijedi.
Na žalost, vjerovatnoća da diplomac FIT-a, nakon svog napornog studiranja dobije od svog poslodavca odgovor kao na kraju ovog članka:
http://hernad.bring.out.ba/postignuce-ahaa-efekat
je prevelika.
-
Dec 7 2011, 8:05 AMErnad Husremović responded:Želim još jednu bitnu stvar napomenuti Adnane.
U članku antiznanje http://hernad.bring.out.ba/antiznanje, čiji je bitan (ali ne jedini) povod bio FIT i studiranje na FIT-u pomenuo sam kolege sa Elektrotehničkog fakulteta.
Stavio sam ih u grupu "ignoranti". Zato što pripadaju onima koji znaju ali ništa ne poduzimaju.
Kada kolega sa kojim si razgovarao digne svoj glas i javno kaže: Obrazovanje jeste ... Obrazovanje nije ....
stvari se mogu promijeniti. Bosna je društvo u kome nema prostora gledati stvari sa strane. Mi smo na dnu.
Ako sebe kolega sa Univerziteta u Bostonu vidi kao Bosanca koga je briga, Bosanca koji voli svoju zemlju, neka napiše članak, neka uputi otvoreno pismo Ministarstvu obrazovanja kantona HNK, Sarajevskog, upravi Fakulteta ovog, onog ...
Ali ni to ne mora. Neka napiše članak na http://radiosarajevo.ba/
Šta god, samo neka PODUZME NEŠTO.
Bez takvog djelovanja nema promjena. Bez toga bolje i ne zaslužujemo.
-
Dec 7 2011, 8:08 AMErnad Husremović responded:Adnan je napisao:
> .. iz licnog iskustva znam da je dosta ljudi upisalo druge fakultete upravo zahvaljujuci losem iskustvu prethodnika ...Koje fakultete su ti ljudi odabrali ?
-
Dec 7 2011, 3:50 PMAdnan responded:Odabrali su one fakultete na kojima za iste pare ili nesto malo vise, a bez ikakvog truda dobiju isti "papir". Na FIT-u i platis i trudis se, a dobijes....nista :(
Ok, grijesim u ovome "nista"...mi koji smo vec prilicno dugo u IT svijetu dobijemo nista, jer smo naopaki. Prvo godinama radimo, a onda pokusamo da na neki nacin i verifikujemo znanje diplomom, samo sto ono sto se tamo uci nema veze sa onim sto smo u radnom iskustvu vidjeli.
Necu imenovati kolegu koji je sa FIT-a presao u B.Luku i u roku zavrsio. Sad je fino za poslen na poziciji koja zahtijeva VSS, a to sto on nema pojma je totalno nebitno. On je Dipl. ing. :( Okvirna logika bi bila: "Zasto da idem na FIT, placam i ucim neke nebuloze, kad mogu da dobijem papir koji podjednako vrijedi, a da ne ucim nista?" Ovdje je sad vece pitanje etike i morala. To je moje licno misljenje. Ja radije ostajem sa SSS i radim to sto radim, nego da imam takvu diplomu. Mozda cu se nekad kajati, vidjecemo :) -
Dec 7 2011, 3:57 PMAdnan responded:Sto se tice kolege iz Bostona....isto pitanje kao i ovo gore: Zasto da se borim i patim? Odo negdje gdje sam priznat, gdje je sve vec uredjeno i nastavim zivot. Takav je bio njegov izbor i koliko vidim nije pogrijesio. Ja ostajem gdje jesam, vec je i porodica kao i kod tebe na okupu, imam koliko toliko OK posao za nase uslove, a za fax me jos nikad niko nije pitao. Poslodavcima je bitno da ZNAS zavrsiti posao i to je sve. To je mozda najveci razlog zasto sam za sada "digao ruke".
-
Dec 8 2011, 2:10 AMErnad Husremović responded:@Adnan,
1) kolega iz Bostona - nisam ni pomislio na njegov povratak u Bosnu, to bi bila čista ludost :), nego o mogućnostima djelovanja.
2) "Fakulteti" kao taj banjalučki.
http://hernad.bring.out.ba/kvazi-fakulteti
Ukratko, slažemo se u potpunosti :).
3) Da li ćeš zažaliti u budućnosti radi nezavršavanja fakulteta ... ?
Možda ti pomogne moje viđenje stvari. Na početku rata sam bio 3. godina fakulteta - ETF smjer telekomunikacija. Rat me je odveo u informatičke vode.
Po završetku rata sam kao pripadnik dobio status apsolventa. Rekao sam tada:
"Šta će mi fakultet, ja se neću baviti telekomunikacijama. Baviću se informatikom i nemam živaca učiti o antenama i ostalim stvarima sa TK ..."
http://hernad.bring.out.ba/25-godina-hardware-a-i-software-a
Gotovo 20 godina nakon, sudbina me je dovela na FIT. "Učenje o antenama" bi u odnosu na većinu predmeta bila razonoda. Problem FIT-a je što je preplavljen antiznanjem.
Sada više nije problem u tome da li mi treba ili ne. Antiznanje "truje" mozak, tjera te unazad. Frustrira.
Nakon 20 godina fakultetska diploma za mene ima još manju vrijednost. Što poslovno, što praktično.
Ovaj put sam ipak odlučan završiti barem ove tri godine. One će prije svega, aBd, obezbjediti mojim roditeljima smiraj u srcu.
Ona bi trebala i mojoj djeci pomoći da babu napokon smjeste na za njih jasnije mjesto. Sadašnje stanje je da je mama psiholog, doktor nauka, a babo samoproglašeni informatičar.
Kada me je zatekao ovaj događaj http://hernad.bring.out.ba/fit-i-narodna-republika-kina prokomentarisao sam:
"
Da mi se sada vratiti u '96. Sam bih sebe toljagom udar'o dok ona blentovina od mene ne bi rekla: "U redu u redu završiću fakultet ako vam je do toga tako stalo".
"Evo sada kada pišem, čitava moja priča meni samom zvuči nadrealno. Ali želim da ti je ispričam. Da nakon 10 godna ne dođeš do spoznaje da si ipak pogriješio.
Ja jesam.
-
Dec 8 2011, 2:15 AMErnad Husremović responded:... kao pripadnik => ... kao pripadnik ARBiH
-
Dec 8 2011, 2:15 AMErnad Husremović responded:Sada više nije problem u tome da li mi treba ili ne.
=>
Sada više nije problem u tome da li mi *određeno znanje* treba ili ne.
-
Dec 8 2011, 2:33 AMErnad Husremović responded:Po svim temama na ovu temu treba prije svega misliti na svoju djecu.
Ako se poklopimo "ušima" naši problemi biće sitnice.
Šutnja i prihvatanje ovog koncepta vodi ka stanju u kojem će se današnji vakat zvati "prošlim lijepim vremenima".
Da li će naši pojedinačni postupci nešto promijeniti ? Ostavimo se tih pitanja. Ne smijemo, ako ništa drugo, biti saučesnici.
Saučesnici nečemu što se po meni bez ikakvih problema može zvati obrazovni zločin.
-
Dec 13 2011, 2:10 AMErnad Husremović responded:
-
Jan 23 2012, 1:07 AMnedim responded:E! ja sam cijeli život birao teži put. Kad sam mogao nisam htio sad kad ne mogu hoću po svaku cijenu. Meni dosta toga na FIT-u ije jasno. Svako malo mijenjaju pravila igre i to svaki put u korsit štete studenata a samim tim i te ustanove koja se voli nazivati obrazovnom. Ja lično imam problem da jednostavno NE ZNAM učiti na pamet. Nešto ima u mojoj glavi da mi to jednostavno predstavlja ogroman problem pogotovo ako je to nešto logički ne povezivo kao recimo Marksizam koji smo imali na ETF-u. Ja sam to položio kao i ti malo prepisivanjem malo prijetnjama Musliji Muhoviću ali sam položio. Za razliku od tebe meni to nisu priznali pa sam se prislio i učio i učio tzv Sociologijju. Sam sebe iznenadio ali sam to nekako polozio. E sad imam drugi puno veći problem, nikako ne mogu da položim PR1 (iz UPR dobio 10). Iza sebe imam hiljade linija koda koji se još uvijek koristi u različitim aplikacijama u zemlji i inostranstvu, ali nikako ne mogu da položim predmet koji bi mi po definiciji trebao biti šala. Zašto, mislim da je zbog toga što se polože na "suho" što opet podrazumjeva bubanje, sintakse, definicija i sličnih stvari koje ja jednostavno ne pamtim. Valjda sam se ulijenio koristeći različite alate koje koje mi ne daju pogrišiti u nećem što ja smatram trivijalnim kao što je sintaksa na tom ispitu je zanemarena inventivnost i sam ispit je doveden do apsurda. Likovi na ispitu koji bi trebao biti uvod u c++ daju komplicirane poslovne modele u cilju provjere znanja, pokazivača, struct-ura i višedimenzionalnih redova tako većina nas ne uspije shvatiti što je cilj programa kojeg pišemo na suho a ako ne mogu shvatiti cilj đaba mi i sitaksa i logika.
Možda sam profulao temu ali mene ovo žulja