Eliminating instructor bias in grading: a comparison of manual and automatic grading

Abstract

Аріельскій університетський центр застосовує систему автоматизованого оцінювання для єдиного державного іспиту, який проводиться в багатьох університетах Ізраїлю. Цей екзаменаційний метод відомий у всьому світі, але Аріельскій університетський центр застосовує інноваційну програму, яка дозволяє оптимізувати якість оцінювання та перевірки знань студентів. У статті викладені результати дослідження якості роботи цієї програми в порівнянні з традиційним оцінюванням знань студентів. Зокрема, автори статті досліджували різницю між кінцевими оцінками робіт студентів, виробленими програмою і людиною. Дослідження, виконане на матеріалі результатів іспиту з предмету «Введення в електричну інженерію» в Аріельскому університетському центрі, дозволило зробити висновок про те, що результати автоматизованого оцінювання близькі до об'єктивних. The Ariel University Center operates an automated grading system for multiple-choice exams, which are used in many university departments in Israel. This exam method is well-known all over the world, but its innovation at Ariel University Center is the software that is used to optimize test quality and improve the professional standards of writing tests and grading students. This study examines the performance of the grading software when compared to results of manual grading. Specifically we sought to examine whether any differences would emerge in grades awarded by the software and by manual grading by instructors who also take into account the reasoning underlying students’ final answers. We examined this question on a test case of an exam in the Introduction to Electrical Engineering Course at the Ariel University Center. We conclude that automated grading generates results that are closely tied to reality.