No estás equivocada, ni yo tampoco. La palabra "payo" tiene varias acepciones, pero la más común es de índole despectiva. Es sinónimo de "palurdo":
payo, ya
Del n. p. Payo 'Pelayo'.
1. adj. aldeano. Apl. a pers., u. t. c. s.
2. adj. Ignorante y rudo. Apl. a pers., u. t. c. s.
3. adj. Entre gitanos, que no pertenece al pueblo gitano. Apl. a pers., u. t. c. s.
palurdo, da
Del fr. balourd.
1. adj. despect. Dicho de una persona: Rústica e ignorante. U. t. c. s.
2. adj. despect. Propio o característico de la persona palurda.