Obiektywna ocena: Dbanie o uczciwość ocen dzięki e-learningowi

Przeprowadzanie szkoleń to wymagający proces, którego skuteczność zależy od odpowiedniego wdrożenia każdego z elementów. Aby szkolenie zakończyło się sukcesem nie wystarczy skupienie się nie tylko na aspekcie edukacyjnym. Zależy także zadbać o to, aby pracownicy czuli, że ocena końcowa jest obiektywna i sprawiedliwa. Jeśli tego zabraknie, pracownicy nie będą zaangażowani w naukę, a poczucie niesprawiedliwości może negatywnie wpłynąć na relacje z pracodawcą. Dlatego przyjrzyjmy się temu, czym jest obiektywna ocena, z czego się składa oraz jak można ją osiągnąć za pomocą e-learningu.

iSpring Learn LMS

iSpring Learn: sposób na obiektywną ocenę w e-learningu.

Darmowy okres próbny Dowiedz się więcej→

Czym jest obiektywna ocena?

Obiektywna ocena ma na celu ocenę wiedzy w jak najdokładniejszy i niepodlegający wątpliwości sposób. Jest to ocena oparta na mierzalnych kryteriach i wolna od subiektywnych uprzedzeń. Aby ocena była w pełni obiektywna, zadania muszą mieć jedną możliwą odpowiedź – nie mogą być interpretowane na wiele sposobów. Jej przeciwieństwem jest ocena subiektywna, czyli taka, która jest otwarta na interpretację i pozwala na krótkie, możliwe do odgadnięcia odpowiedzi.

Dążenie do obiektywności jest ważne, ponieważ tylko w ten sposób można zapewnić sprawiedliwość oraz spójność oceny wiedzy. Eliminacja subiektywność zwiększa motywację wśród pracowników, a także ułatwia przekazywanie informacji zwrotnych i nie tworzy przestrzeni do kwestionowania ich.

Kluczowe typy ocen

Stały rozwój narzędzi edukacyjnych oznacza, że wspomnienie o wszystkich rodzajach oceny nie jest możliwe. Można jednak wyróżnić cztery najważniejsze, które najlepiej sprawdzają się podczas szkolenia pracowników.

Obiektywna ocena

Jest to najbardziej pożądany rodzaj oceny, który ma na celu zmierzenie wydajności w oparciu o wcześniej ustalone, bezstronne kryteria. Wyróżnia się unstandaryzowanymi procedurami i punktacją. Z tego względu szkolenia dążące do obiektywnej oceny mogą wykorzystać automatyzację oceniania za pomocą takich narzędzi, jak iSpring QuizMaker z darmowego okresu próbnego. Do przykładów obiektywnej oceny uczniów można zaliczyć np. egzaminy certyfikacyjne oraz testy w zakresie zgodności z przepisami.

Subiektywna ocena

Ocena subiektywna to ocena, w której możliwych jest wiele odpowiedzi. Stosowana jest więc w przypadku zadań, których wykonanie wiąże się z osobistą oceną i interpretacją. W związku z tym jest to ocena praktycznie niemożliwa do zautomatyzowania pod względem jej sprawdzania. Najczęściej jest wykorzystywana do oceny wypracowań lub rozmów kwalifikacyjnych.

Ocena kształtująca

Celem oceny kształtującej jest pomoc i monitorowanie procesu nauki. W przeciwieństwie do pozostałych ocen jest procesem ciągłym; nie jest związana z konkretnym szkoleniem. Informacje zwrotne są przekazywane zarówno przez nauczycieli, jak i uczniów. Dzięki ocenie kształtującej uczniowie poznają swoje mocne i słabe strony. Tymczasem nauczyciele dowiadują się, z czym uczniowie mają trudności i mogą natychmiast im pomóc. W ocenie tej często wykorzystywane są krótkie quizy, dyskusje grupowe czy bilety na wyjście. Niektóre narzędzia, na przykład iSpring Suite, umożliwiają tworzenie interaktywnych quizów z darmowego 14‑dniowego okresu próbnego, które nie tylko angażują uczniów, ale też oferują opcję automatycznej oceny. Oznacza to natychmiastowy feedback, który pomaga zapobiec utrwaleniu złych nawyków.

Ocena 360 stopni 

To, co wyróżnia ocenę 360 stopni na tle innych, to działanie w oparciu o opinie z wielu źródeł. W przypadku pracowników, informacje zwrotne mogą być zbierane od współpracowników, podwładnych, przełożonych oraz samych pracowników (samoocena). Opinie zazwyczaj są anonimowe, dzięki czemu są też bardziej szczere i dają kompleksowy obraz umiejętności pracownika. Ocena 360 stopni najczęściej przyjmuje postać kwestionariuszy i ankiet, które można szybko przygotować w programie do e-learningu iSpring Learn z darmowego 30‑dniowego okresu próbnego. Po zebraniu odpowiedzi program może sam wygenerować raporty w oparciu o otrzymane informacje.

Wdrażanie obiektywnej oceny: pięcioetapowa struktura

Wdrożenie obiektywnej oceny można podzielić na pięć najważniejszych etapów:

1. Zdefiniowanie kompetencji

Na pierwszym etapie należy określić, jakie kompetencje będą rozwijane i mierzone. Można tutaj zastosować metodę SMART. Cel musi być konkretny (specific) i musi określać, co dokładnie należy poprawić. Ma być również mierzalny (measurable), aby możliwe było sprawdzenie stopnia realizacji. Oprócz tego cel musi być przypisany do konkretnej osoby (assignable) oraz realistyczny (realistic). Ostatnią cechą dobrego celu jest to, że jest terminowy (time-related), co oznacza istnienie chociaż przybliżonego czasu jego realizacji.

2. Wybór typu oceny

Wiemy już, że ocena musi być obiektywna, ale należy wybrać jeszcze rodzaje zadań, które zostaną wykorzystane do jej przeprowadzenia. Obiektywna ocena może więc przyjąć formę testu z pytaniami wielokrotnego wyboru, wypełnianiem pustych miejsc lub dopasowywaniem odpowiedzi. Przydatne są również symulacje i portfolio, które pokazuje rozwój pracownika i pozwala zrozumieć, na jakim poziomie aktualnie się znajduje. Podczas wyboru zadań należy zastanowić się, czy uczeń będzie mógł udzielić innej odpowiedzi niż ta z klucza – i mieć rację. Jeśli tak, zadanie nie jest odpowiednie do tego typu oceny.

3. Wybór narzędzi

Wybranie odpowiednich narzędzi jest niezbędne do wdrożenia jakiejkolwiek oceny, nie tylko obiektywnej, ponieważ pozwala zaoszczędzić zarówno czas, jak i pieniądze. Narzędzia pozwalają przygotować szkolenie i przypisać je do odpowiednich pracowników bez angażowania stron trzecich. Wybierając narzędzia należy wziąć pod uwagę budżet oraz skalę przedsięwzięcia. Średnie i większe firmy prawdopodobnie będą potrzebowały płatnych rozwiązań, takich jak iSpring Suite. Płatne narzędzia oferują szeroki zakres funkcji tworzenia, dają dostęp do biblioteki zawartości oraz pozwalają automatyzować powtarzalne zadania. Małe firmy, z mniejszą liczbą pracowników i ograniczonym budżetem, mogą zdecydować się na darmowe opcje. Funkcjonalność darmowych programów jest ograniczona, ale wystarczająca dla mniejszych przedsiębiorstw.

4. Szkolenie osób przeprowadzających ocenę

Chociaż niektóre programy mogą wygenerować raporty ze szkoleń, wciąż potrzebne są osoby, które je przeanalizują, wyciągną wnioski i omówią wyniki z pracownikami. Aby mogły to zrobić, muszą odbyć odpowiednie szkolenie, podczas którego poznają kryteria. Szkolenie zapewni spójność i sprawiedliwość oceny. Najskuteczniejszą metodą są tak zwana kalibracja.

Kalibracja rozpoczyna się od szkolenia na temat ustalonych wcześniej standardów i wytycznych. Następnie przeprowadzane są przykładowe oceny, podczas których oceniający analizują te same zadania i wystawiają ocenę. Po wystawieniu ocen nadchodzi pora na ich porównanie i dyskusję. Oceniający mają okazję zobaczyć, jak ich współpracownicy ocenili te same zadania. Dyskusja przyjmuje postać spotkania kalibracyjnego – oceniający omawiają swoje decyzje i zastanawiają się nad potencjalnymi rozbieżnościami. Prowadzi to do lepszego zrozumienia kryteriów i ustandaryzowania ocen. Ostatnim krokiem jest monitorowanie oceniających. Kalibracja nie jest więc jednorazowym zdarzeniem, musi być regularnie powtarzana, aby utrzymać zgodność wytycznych.

5. Potwierdzenie wyników

Ostatnim krokiem jest walidacja wyników, która ma na celu sprawdzenie, czy ocena jest wiarygodna, dokładna oraz istotna dla celu. Narzędziami, które są najczęściej do tego wykorzystywane, są analiza zadań testowych oraz sprawdzanie niezawodności.

Analiza zadań testowych polega na analizie odpowiedzi udzielonych przez uczniów na poszczególne pytania. Sprawdzane są m.in. różnice między odpowiedziami, czynniki rozpraszające i częstotliwość udzielanych odpowiedzi oraz powtarzalność błędów. Otrzymane dane pozwalają sprawdzić skuteczność testu i zlokalizować miejsca, które wymagają poprawy.

Tymczasem sprawdzanie niezawodności oceny ma na celu ustalenie, czy narzędzie daje jednakowe wyniki w takim samym otoczeniu i grupie. Zdobyte informacje pozwalają porównać wyniki osiągane w różnych okresach i pomagają ocenić spójność narzędzi oceny. Sprawdzanie niezawodności oceny przeprowadzane jest na przykład poprzez sprawdzanie wyników podobnych do siebie, ale nie identycznych, testów. Inną częstą metodą jest powtarzanie ocen w tej samej grupie w krótkim odstępie czasu. Znaczące różnice w osiąganych wynikach wskazują na nieprawidłowości w działaniu narzędzia oceny.

Obiektywna ocena: Częste problemy i jak ich uniknąć

Skuteczne wdrożenie obiektywnej oceny to trudne zadanie, które wiąże się z wieloma wyzwaniami. Oto trzy najczęściej występujące problemy:

• Stronniczość w projektowaniu ocen

Stronniczość w projektowaniu ocen to określenie stosowane do elementów w ocenie, które mogą faworyzować lub dyskryminować niektóre grupy. Stronniczość może przejawiać się w użytym języku, konstrukcji oceny, a nawet w sposobie jej dostarczania. Stronniczość może mieć różnorodne źródła, mogą to być między innymi stereotypy dotyczące płci, seksualności, różnice kulturowe czy uprzedzenia rasowe. Jak jej zapobiec? Jednym z najskuteczniejszych rozwiązań jest anonimizacja oceny. Oznacza to, że osoby odpowiedzialne za przygotowanie oceny nie wiedzą, kto będzie brał w niej udział. W ten sposób będą w stanie stworzyć bardziej sprawiedliwą i obiektywną ocenę.

• Nadmierne poleganie na automatyzacji

Jak już wspomniano wcześniej, automatyzacja zadań może być doskonałym wsparciem podczas tworzenia szkoleń i oceny. Nie tylko przyspiesza cały proces, ale pozwala skupić się na tym, co wymaga zastosowania ludzkiej inteligencji. Jednak zbytnie poleganie na automatyzacji daje złudne poczucie bezpieczeństwa. Zakładając, że maszyna nie może się pomylić, można z łatwością przeoczyć nieprzewidywalne dla niej i subtelne błędy. Choć małe, mogą mieć katastrofalny wpływ na ocenę. Zbytnie uzależnienie od nowoczesnych rozwiązań może również wiązać się ze zmniejszaniem wiedzy i umiejętności specjalistów, którzy tracą zainteresowanie własnym rozwojem.

Na szczęście rozwiązanie tego problemu jest dosyć proste – należy zatrudnić specjalistę, który będzie monitorował pracę maszyny. Wszystkie treści i informacje powinny zostać sprawdzone i zatwierdzone przed przekazaniem ich uczniom. Tylko łącząc automatyzację z ludzką inteligencją można zagwarantować rzetelną i spójną ocenę.

• Ryzyko ściągania

Oszukiwanie i ściąganie podczas testów to problem, z którym nauczyciele borykają się od lat. Przeniesienie nauki do internetu doprowadziło do nasilenia tego problemu – zwłaszcza w przypadku nauki całkowicie zdalnej. Oszukiwanie podczas oceny, która ma być obiektywna, jest nie tylko nieetyczne, ale też uniemożliwia rzeczywistą ewaluację wiedzy i umiejętności pracownika. Prowadzi również do zmniejszenia zaangażowania wśród pracowników, którzy czują się zniechęceni, widząc, że pomimo większej wiedzy osiągają gorsze wyniki. Zbyt dobre wyniki będące efektem ściągania wiążą się również z niemożnością ustalenia, czy ocena faktycznie spełnia swoją rolę.

Aby temu zaradzić można wykorzystać narzędzia nadzorujące. W zależności od wybranego narzędzia, monitorują one aktywność uczniów, ograniczają dostęp do źródeł internetowych oraz uniemożliwiają korzystanie z AI. Na przykład w iSpring Learn dostępna jest integracja ProctorEdu, która monitoruje, nagrywa oraz ocenia zachowanie użytkownika w trakcie wykonywania zadań. Pozwala również zweryfikować jego tożsamość, zapewniając prawdziwość i sprawiedliwość oceny. Drugim przydatnym rozwiązaniem jest losowy dobór pytań. Każda z osób biorących udział w ocenie otrzymuje test, w którym pytania są rozłożone losowo. Można również przygotować różne wersje testów z jednej puli pytań. Losowy dobór pytań utrudnia i spowalnia ściąganie od pozostałych uczniów.Narzędzia i metody zapobiegające ściąganiu skutecznie zniechęcają uczniów do oszukiwania, ponieważ sprawiają, że wymaga większego wysiłku niż samodzielne przyswojenie materiału.