Deine Vermutung ist schon richtig. ばあさん (bā-san) ist eine informellere Version von おばあさん (o-bā-san) und kann je nach Kontext beleidigend als "alte Frau/Schachtel/Hexe" aufgefasst werden.

Ich weiß nicht, woher du die Schreibweise mit dem Katakana-バ herhast, aber meistens weisen Katakana-Schreibweisen in solche Fällen auf Umgangssprache oder einen schärferen Ton hin.