Er beleidigte in Hagrids Gegenwart Dumbledore und Harrys Eltern, wobei afaik Letzteres dann der endgültige Auslöser war.