砂の神殿から出て町の万屋に行きたいのですが火の大地の迷路?みたいな所があって出られないんですが、砂の神殿って帰れないものなんですか?