Vá em  

Design > Editar HTML :

Clique em

Expandir modelos de widgets

Pressione, juntos, Ctrl+F  (via teclado)

e procure por :
</body>

Ao encontrar,

antes da ta tag </body> 

cole o seguinte código abaixo:

t<div style='float:right;'>

<a href='#'>

<img src='url da imagem da seta' style='display:scroll; position:fixed; bottom:5px; right:5px;' title='Voltar ao Topo da Página'/>

</a>

</div>

Onde esta Url da imagem da seta troque pela url da seta que você deseje!

Salve 

e

Pronto!