Zevergem is één van de oudste zogenaamde 'oeverdorpen' van het Scheldeveld, gelegen aan de rand van het heidegebied en uiterste grens van het Sint-Pietersdomein. De oudste vermelding dateert van 964 als 'Sewaringhem', afgeleid van Saiwiwaringa heim of 'woning van de lieden van Saiwirwar', een -heim toponiem dat teruggaat tot 6e-8e eeuw.
Zevergem is gelegen in de Vlaamse Zandstreek met typisch voor deze streek overwegend droge, matig droge tot matig natte zand-, lemig-zand en licht-zandbodems en natte gronden in de grachtenrijke alluviale Scheldevallei.
De dorpsheerlijkheid behoorde in de 12e eeuw aan de familie van Severghem. In 1232 werd ze door Rodolf van Rode geschonken aan de Gentse Sint-Pietersabdij in ruil voor goederen in Munte en Balegem. De belangrijkste heerlijkheid was echter deze van Welden, afhankelijk van het leenhof van de Oudburg in Gent, met uitgestrekte gronden of 'velden' ten zuiden en westen van het dorp en over de Schelde in Vurste en Semmerzake. In 1716 werd 'Welden' onder Fr. F. H. Volckaert tot graafschap verheven. Het 'kasteel van Welden' met omringend park en dreven bleef tot op vandaag bewaard.
Voormalig 'Hof te Seevergem', later 'Hof te Weldene', nu 'Kasteel van Welden'. Vermoedelijk een middeleeuwse site met walgracht met afzonderlijk omgracht opper- en neerhof, in het bezit van de familie van Zevergem, die de dorpsheerlijkheid behield tot in de 13e eeuw. In 1232 werd de heerlijkheid afgestaan aan de Gentse Sint-Pietersabdij, met uitzondering van een aantal gronden (velden of welden genoemd) en het neerhof bleef in het bezit van de dochter van de heer van Zevergem en behoorde tot het leenhof van de Oudburg van Gent. De zetel van de heerlijkheid, het oude 'Hof te Seevergem', bij Sanderus 'Praetorium de Weldene' genoemd, lag op grondgebied van Sint-Pieters en werd door de heren van Welden in cijns gehouden.
Eerst vermelde heren van Welden waren de Gentse patriciërs van der Zickele ca. 1400. Via huwelijk en verwantschap kwam het kasteel in handen van de Nederlandse familie van Reymerswaal en de Franse families de Perreau en l'Espinoy. Het werd verkocht in 1627 aan L. Volckaert, schepen van de Keure van Gent. Zijn zoon Philippe was eigenaar ten tijde van Sanderus. Van dit kasteel is enkel de cirkelvormige gracht met walmuur en een toren behouden.
Vermoedelijk werd ca. 1700, onder F.F. Volckaert en M. Vilain het huidige kasteel gebouwd in late barokstijl van traditionele bak- en zandsteen. Onder Fr. Volckaert werd het tot graafschap verheven in 1716 en is in de 18e eeuw overgegaan aan verwante families, Schockaert en Arconatie Visconti, baronnen van Gaasbeek.
Tijdens de Franse overheersing werd het eigendom van P.J. de Meulenaere, in 1810 'baron d'empire' benoemd. Het wapenschild, helm en ere-attributen op het uurwerktorentje van het kasteel en de empire verbouwingen zijn aan hem toe te schrijven. Laatste eigenaars zijn de familie de Pélichy en de Hemptinne.
Het huidig uitzicht dateert van 1927 door 'historiserende' restauratie van architect F. Van Hove.
Ook de heerlijkheid 's Graven Hazele met zetel in Deurle, afhankelijk van de graaf van Vlaanderen, bezat onder meer het intussen verdwenen zogenaamde 'Goed te Steenbrugge' in de noodwesthoek van Zevergem. Verder bleven verschillende lenen met omwalde pachthoven bewaard.
Bestuurlijk-fiscaal ressorteerde Zevergem onder de kasselrij van de Oudburg in Gent. Kerkelijk behoorde het tot 1559 tot het bisdom Doornik, nadien tot het bisdom Gent. Het patronaat kwam toe aan de Gentse Sint-Pietersabdij.
Het landelijke dorpscentrum bleef behouden evenals de oude 'dries' met verschillende als dorpsgezicht beschermde omwalde hoeven bij de oude Scheldebocht 'Blijpoel'. De verschillende Scheldemeanders, afgesneden door rechttrekkingen van de rivier in de 19e en 20e eeuw bleven bewaard als visvijvers evenals enkele ondergelopen kleiwinningsputten van de vroegere steenbakkerijen. Dit vrij gaaf bewaarde rivierlandschap met ecologisch merkwaardige biotopen is als landschap beschermd.