Ich hatte Teil 1-3 damals auch noch nicht gezockt und fand mich bestens zurecht. Gibt zwar sicher ein paar Anspielungen auf die ersten Teile, aber gespielt haben musst du sie nicht. Sprich, die Story verstehst du auch so, allerdings solltest du mit Tools of Destruction anfangen, danach Quest for Booty und danach A Crack in Time.
Du Geschichte der ersten drei Teile kannst du dir ja bei wikipedia durchlesen.