Menambah Dan Mengurangi Rakaat Shalat

Jika saya mengikuti salat berjamaah dari awal tanpa tertinggal sama sekali, namun setelah imam mengucapkan salam penutup saya berdiri menambah rakaat kelima karena lupa. Lalu, orang yang ada di samping saya mengingatkan bahwa saya menambahkan satu rakaat.

Jika demikian, apa yang harus saya lakukan? Haruskah saya mengulang salat, atau tidak? Bagaimana jika saya baru diingatkan setelah ada jeda waktu yang lama?