Aufgrund der Beschlüsse der Potsdamer Konferenz vom August 1945 kamen sehr viele Heimatvertriebene nach Schwaigern. Die meisten davon waren katholisch und sie suchten nach Räumlichkeiten, um ihren Glauben leben zu können. Das gräfliche Haus „von Neipperg“ hatte zwar 1514 – 1520 die Stadtkirche erbaut und wurde im Zuge der Reformation ebenfalls evangelisch. 1717 jedoch konvertierten sie zurück zum katholischen Glauben und erbauten 1850 die Schlosskapelle. Diese diente zusammen mit der Friedhofskapelle bis 1964 den Schwaigerner Katholiken als Gotteshaus. Mit der Zahl der Einwohner stieg in Schwaigern auch die Zahl der Katholiken und deshalb suchte die kath. Kirchengemeinde nach Möglichkeiten eine eigene Kirche zu bauen. 
Dank der großzügigen gräflichen Unterstützung, der Hilfe durch die Diözöse Rottenburg konnte man dann im Jahr 1964 die Martinskirche einweihen. 

Doch damit nicht genug. Als 1850 in Gemmingen die dortige Martinskirche abgerissen und dafür eine neue gebaut wurde, haben die Freiherren von Gemmingen doch so sakrale Dinge, wie Sakramentshaus, Martinsfigur, gotische Fenster und Taufstein für so wertvoll erachtet, dass sie diese in ihrem Schlossgarten aufbewahrten und sie so der Nutzung für den Straßen– und Wegebau in Gemmingen entzogen.  Jahre später hat dann Graf Neipperg diese Dinge  erworben und über Jahrzehnte unter den dem Schlosshof zugewandten Arkaden im Ostflügel des Schlosses in Schwaigern gelagert. Bei der Planung der neuen Kirche hat man dann versucht, eine Symbiose herzustellen zwischen den alten gotischen Sandstein-Elementen und  der modernen Bauweise mit viel Beton.

Am 05.07.1964 wurde die Kirche dann feierlich eingeweiht. Sie wurde dem heiligen Martin und dem heiligen Adalbert geweiht. Adalbert wirkte als Bischof vor allem in Osteuropa, von wo ja viele der Heimatvertriebenen kamen. Er soll aber auch an einen großen Sohn Schwaigerns erinnern, den Abt Adalbert aus dem Hause Neipperg, der am Weihnachtstag 1948 in Jugoslawien wegen seines Glaubens ermordet wurde.

Die Glasfenster sind das größte Werk von Joseph de Ponte (1922 – 2006). Der Künstler lebte ab 1964 in Schwaigern.