De geschiedenis van Vrouwenpolder wordt beheerst door de ligging.
Voor de uitvoering van de Deltawerken lag het dorp op het kruispunt van twee vaarwegen en was het daardoor een strategisch belangrijk punt in de geschiedenis. Sinds het Veerse Gat dicht is en het toerisme op gang kwam, trekt het dorp vakantiegangers en dagjesmensen. Vrouwenpolder dankt zijn huidige bekendheid aan de brede, vijf kilometers lange stranden en het Veerse Meer. Per jaar overnachten er 412.000 mensen in het dorp, ruim 300 keer zoveel als het aantal inwoners.
Van geschiedenis tot heden: ‘Vanbedevaartsoordtottoeristischetrekpleister’
In de middeleeuwen trok het dorp om een andere reden vreemd bezoek. Vrouwenpolder was een druk bezocht bedevaartsoord. De bedevaarten kwamen op gang nadat de parochiekerk in 1340 in het bezit was gekomen van een wonderbaarlijk schilderij van Maria, de moeder van Jezus. Het paneel was het middelpunt van een jaarlijkse processie, op 15 augustus, door de polder.
Het verhaal gaat, dat een Middelburgse schilder de opdracht had gekregen een paneel van Maria te maken voor de kerk. Een jonge gezel kwam even later bij de schilder om werk te vragen en de schilder gaf hem het lege paneel. De gezel trok naar de zolder, maar toen de schilder hem naar beneden riep voor het eten, was de jongeman verdwenen. Het paneel had hij achtergelaten en het was zo meesterlijk geschilderd, dat de schilder en zijn gezin er verbaasd van stonden. De schilder was ervan overtuigd dat het schilderij door een engel gemaakt moest zijn. De Vrouwe in den Polder werd een beroemdheid in haar tijd.
In 1461 bracht Keizer Sigismund samen met graaf Willem IV een bezoek aan het schilderij en in 1437 was Philips de Goede te gast in het dorp. Verder werd Onze Lieve Vrouwe van den Polder vooral vereerd door Spaanse, Portugese, en Bretonse zeelui. Na de reformatie begon het paneel aan een zwerftocht. Het belandde in Brugge en kwam in 1931, na een schenking van Baron Caloen, terug op Walcheren, bij de rooms-katholieke kerk in Middelburg.