Pierwotny zamek, założony przez braci Pawła i Voka z morawskiego rodu Hrutoviców w latach 1329–1332, składał się z cylindrycznej wieży – bergfritu oraz pałacu. Na przełomie XIV i XV wieku syn Voka, Pavlík z Sovinca, zbudował wokół centrum zamku wąskie międzymurze i ufortyfikowane podzamcze. Dalsza rozbudowa zamku miała miejsce na początku XVI wieku za panowania Pňovských z Sovinca – wybudowano dziedziniec zamku z dwoma pałacami połączonymi murami, w 3. kwartale XVI wieku przerobione w stylu renesansowym przez panów z Boskovic. W ostatnim kwartale XVI i w początkach XVI wieku, za czasów Wawrzyńca Edera ze Štiavnice i jego zięcia Jana starszego Kobylki z Kobylího zbudowano siedzibę burgrabiego i aktualną trzecią bramę zamkową, wzmocniono fortyfikacje zamku, budując wielokątną basztę armatnią (Remter), nowy mur obronny po stronie południowo-wschodniej, umocniono cypel nad doliną, zwany Głową Kota, a także dobudowano ośmioboczną wieżę armatnią (dolna część dzisiejszej wieży kościelnej). Wejścia do zamku strzegł potężny renesansowy barbakan z masywnym murem szczytowym z pierwszą bramą zamkową.
Od pierwszej połowy XVII w. Sovinec był główną twierdzą zakonu krzyżackiego w majątkach Bruntál i Sovinec. W latach 1627-1643 zbudowano potężne fortyfikację – bastiony Jiřský, Střední, Jánský, Vilémův i Klippelův plášť; nad Głową Kota znajdowała się tzw. Nová bašta. Fortyfikacje uzupełniały murowane rowy, zewnętrzne palisady oraz wysunięta do przodu baszta armatnia Lichtenštejnka. Jednak nawet te fortyfikacje nie były w stanie oprzeć się naporowi szwedzkich wojsk, które pod dowództwem Lennarta Torstenssona po zaciekłych walkach w dniach 16. 9. 1643 – 7. 10. 1643 zdobyły zamek i utrzymały go do roku 1650. Znaczenie militarne zamku stopniowo malało i w połowie XVIII w. został on rozbrojony. Wysiłek wkładany w utrzymanie zamku zmniejszył się potem do minimum. Po pożarze w 1784 r. wieżę zamkową i pałac południowy obniżono o jedno piętro. Stopniowy rozkład zamku, który w początkach XIX wieku rozprzedawano nawet na materiały budowlane, został zatrzymany dopiero w latach 40. XIX w. Przed zamkiem został wtedy zbudowany kościół św. Augustyna, którego dzwonnicą została podwyższona ośmioboczna wieża armatnia zamku, na szóstym dziedzińcu zamkowym stanął budynek służący początkowo seminarium zakonnemu, a w ostatnich trzydziestu latach XIX w. szkole leśniczych. Ostatnie modyfikacje budynku, zakończone w 1904 r., przekształciły zamek w letnią rezydencję wielkiego mistrza zakonu krzyżackiego. Podczas II wojny światowej na zamku przetrzymywano francuskich oficerów. Podczas przejścia frontu w pierwszych dniach maja 1945 r. zamek spłonął. Dach zachowały tylko dawne stajnie i budynki podzamcza. Już w roku 1951 rozpoczęto prace zabezpieczające, prace rekonstrukcyjne trwają z różną intensywnością do dziś.
Zamek Sovinec został znacjonalizowany w 1945 r., a w roku 1965 przekazano go w administrację muzeum w Bruntálu. W zrekonstruowanych pomieszczeniach zamku (Pałac Południowy, siedziba burgrabiego, stajnie, tzw. Remter, budynki bram) zainstalowano wystawy dotyczące historii budynku, główna wieża zamkowa zapewnia widok na piękny krajobraz sovineckiego parku przyrody.
W Sovincu odbywają się okazjonalne wystawy, urządzane są wydarzenia kulturalne, w szczególności występy grup szermierczych, grup teatralnych i muzyków oraz prezentacje tradycyjnych rzemiosł.