The longer we watch, the better we predictQuanto mais tempo observamos, melhor prevemos
Times in 100 that the model ranks a student who won't complete above one who will (50 is a coin toss), by week of the course. Background alone scores 63 all the way through. What students do online and in their assignments makes the difference.Vezes em 100 que o modelo põe um aluno que não vai concluir acima de um que vai (50 é atirar uma moeda ao ar), por semana do curso. Só com o perfil, a pontuação fica nos 63 do princípio ao fim. O que faz a diferença é o que os alunos fazem online e nos trabalhos.
What a tutor would seeO que um tutor veria
If tutors call the 1 in 5 students the model rates as most at risk, this is the share of those students who really don't complete, compared with the average student. Earlier calls catch students sooner but include more false alarms.Se os tutores contactarem o quinto de alunos que o modelo considera de maior risco, esta é a percentagem desses alunos que realmente não conclui, comparada com a média dos alunos. Contactar mais cedo apanha os alunos a tempo, mas com mais falsos alarmes.
Checking fairness revealed a hidden problem, and a simple fixVerificar a equidade revelou um problema escondido, e uma solução simples
With one ranking for the whole university, flags looked much less accurate for women. The cause was the course mix, not gender. Women are 80–88% of two social-science courses where a single ranking over-flagged students in one course and never flagged anyone in the other. Ranking students within each course, as a tutor would, closed most of the gap and made the model better for everyone.Com uma única ordenação para toda a universidade, os alertas pareciam muito menos certeiros para as mulheres. A causa era a mistura de cursos, não o género. As mulheres são 80–88% dos alunos de dois cursos de ciências sociais onde uma ordenação única sinalizava demais num curso e nunca sinalizava ninguém no outro. Ordenar os alunos dentro de cada curso, como faria um tutor, fechou a maior parte da diferença e melhorou o modelo para todos.