В долине реки Пиуза находится большое количество песчаных пещер. Сама река прославилась своими песчаными отложениями, в некоторых местах их высота может достигать сорока трех метров. Пиуза протягивается примерно на девяносто три километра, причем по территории Эстонии протекает восемьдесят километров реки, а оставшиеся тринадцать километров – по территории Псковской области. Жители России данную реку называют Пижмой.
Существует легенда, гласящая о том, что в одной из пещер реки уже много веков спит величественный король Сету. Конечно это только легенда, так как рукотворные пещеры образовались совсем недавно. Рассматриваемые пещеры разрабатывались в период с 1922 по 1966 года.
Сами пещеры можно прировнять к подземным галереям, с колонами из песчаника и сводчатыми потолками. В современном времени, в результате их исследования, появилась информация, что в заповеднике Пиуза существует шесть различных типов пещер. Общая площадь, которой составляет сорок шесть гектар, а длина всех ходов примерно десять километров.
Со времен прекращения добычи песка, пещеры были заселены тысячами летучих мышей. Данную территорию объявили заповедником в 1999 году. В наше время, из всей территории северной Европы, пещеры Пиуза являются самым большим местом зимовки летучих мышей. Практически единственную опасность для летучих мышей предоставляют люди. Данные млекопитающие довольно чуткие, даже тихий разговор в состоянии их разбудить, после чего они вынуждены будут искать новое место для зимовки. Так что в самих пещерах необходимо придерживаться всех правил, то есть не тревожить спящих летучих мышей, не шуметь, особенно в зимний период, который длиться с сентября месяца по апрель. Так же запрещается подходить к ним ближе, чем на один метр. По внешнему виду пещеры Пиуза чем-то похожи на храм: сводчатые стены подпирают шестиметровые колоны. На данный момент посетить пещеры можно лишь в сопровождении гида.