O Castelo de Soutomaior está situado nun lugar verdadeiramente privilexiado pola ampla paisaxe que dende alí se divisa, a uns 119 metros sobre o nivel do mar, dominando o territorio enmarcado polo val do río Verdugo, dende a súa confluencia co Oitavén ata a súa desembocadura na enseada de San Simón, en Arcade.
Colocado no centro xeográfico do municipio do mesmo nome, dista uns seis kilómetros por carretera da costa marítima e un kilómetro e medio en liña recta do río Verdugo.
Esta posición a pouca altura, ademais de señorear as terras do seu feudo e controlar as comunicacións de sur a norte da provincia, ofrécelle as ventaxas de atoparse agochado ante as invasións realizadas por mar (normandos, turcos, piratas, etc.) e dispoñer de abundancia de auga para desenrolar os seus propios cultivos e pastizais para a gandeiría.
A construcción orixinal data do século XII, si ben será con Pedro Álvarez de Sotomayor, coñecido polo alcume de Pedro Madruga co que alcance o seu máximo esplendor xa que chegou a ser o epicentro da actividade política do sur de Galicia durante o século XV.
Non é o clásico castelo inaccesible, construido no alto de rochas de difícil escalada. Si ben, polos lados oeste e norte existen algunhas rochas e pendentes, polo leste e polo sur, o terreo é liso e pódense alcanzar facilmente os muros defensivos.
Rematado o período feudal, o castelo co productivo chan do seu entorno poido adaptarse fácilmente, incluso conservando os seus vellos muros defensivos á nova producción agro-gandeira de tipo pacego da nobreza galega arraigada no campo. Foi derruído durante a Revolución Irmandiña e Pedro Madruga intervirá moi directamente na súa reconstrucción.
Unha das características do castelo de Soutomaior é a gran variedade de técnicas constructivas empregadas, o que proba as moitas reconstruccións levadas a cabo a medida que os tempos ían sendo mellores e según fosen sendo necesarios os perfeccionamentos nas fortificacións.
O cambio máis destacado foi no século XIX cando o castelo pasa a mans do marqués da Vega de Armijo coa construcción neogótica da “Galería de Damas”, este transfórmao nunha residencia de verán.
A súa inmediata sucesora é a súa sobriña, a marquesa de Ayerbe, coñecida popularmente como a “Marquesa Roja”. Foi unha das precursoras do movimento feminista en España. Precisamente foi tamén a autora dunha das mellores publicacións sobre o pasado do castelo. O seu segundo esposo, o doctor Lluria, construíu un sanatorio nos seus arredores. Sen embargo, debido ás súas actividades políticas, converteron a Soutomaior nun centro sospeitoso de conspiracións políticas e perderon a propiedade no ano 1917.
No 1982 o castelo pasou a mans da Diputación Provincial de Pontevedra quen encarga a un grupo de expertos a restauración do conxunto procedéndose a un estudo histórico e análise da súa evolución constructiva, replantexándose todo o conxunto ata chegar á solución de enfatizar o diálogo entre fortaleza militar medieval e palacio medieval decimonónico. O remate da rehabilitación lógrase cinco anos despois na que se repoñen entre otras cousas, elementos, teitos artesonados de madeira do palacio neogótico; sustitúense as carpinterías exteriores e reponse a cuberta do castelo por unha estructura metálica ofrecendo maior volumen utilizable. A nova modificación na Galería das Damas permite que esta sexa visitable, ofrecendo un novo mirador sobre o patio de armas.
Hoxe en día as vellas pedras da fortaleza, xuntamente co xardín que a envolve, destacan sobre as irregulares parcelas de cultivo que en suave pendente descenden ata o río. Constitúe unha paraxe para vivir plácidamente das comodidades que a natureza pode ofrecer coa abundancia de auga e bosques próximos con grandes posibilidades de caza, o deporte favorito na época das orixes desta casa, sen esquecernos tampouco da pesca que ofrecen os ríos do lugar.