Замок Тоолсе был сооружен в Вируском уезде. В некоторых русских документах он встречается под названием Толщебор и Тольсбург. Примерно замок был возведен в начале 1471 года. Существует мнение, что данное сооружение по всей территории Эстонии среди замков Ливанского ордена был самым последним. Рассматриваемый замок является самой северной крепостью Эстонии.
Он был возведен на побережье Финского залива, практически рядом с водой. По указанию магистра Ливонского ордена замок был построен в четырех километров от существующего города Кунда. В самом начале крепость называли Фредебургом, в переводе – Мирный замок. Он был сооружен для защиты побережья и гавани от пиратов.
Существует не очень много информации, потому что в исторических хрониках его вспоминали не так часто, как хотелось бы. В начале замок состоял из трех этажей, но в конце шестнадцатого века в период перестроек появилось сооружение с внутренними двориками, это была резиденция Ливонского ордена. Данная постройка имела длину пятьдесят пять метров.
В исторической документации указано, что крепость пострадала в 1558 году в период Ливонской войны, в период попытки захвата войсками Ивана грозного. Но все же, согласно хроникам Тоолсе был сдан без боя.
В 1570 году по приказу Ивана Грозного в замке сооружались новые сооружения. В период с 1580 по 1581 года после многочисленных попыток захвата замка, шведским войскам все же удалось захватить крепость. В период Северной войны Тоолсе был разрушен, в то же время перестал существовать и город у стен замка. В двадцатом веке от дальнейшего разрушения было принято решение укрепить и законсервировать оставшиеся развалины крепости.