アップグレードするときは上書きインストールでいいのですか。

はい、上書きインストールして構いません。

ただし、万が一に備え、必ずサイト情報のバックアップを行ってください。