Hz Ali aldığı kılıç yarasının etkisiyle, üç gün sonra, H. 40 yılın Ramazan ayının 17. cuma günü şehit oldu. Hz Hasan ve Hz Hüseyin, babalarının cenazesini yıkayıp, üç parça kefen ile kefenlediler. Cenaze namazını, Hz Hasan kıldırdı ve Küfe’de Sultan Sarayı ile mescit arasında defnederek mezarının yerini belirsiz ettiler. Kabrini gizli tutmaktan gaye onu Harici’lerden korumak idi. Çünkü belli bir yerde defin etseydiler Hariciler kabrini kazıp cesedini çıkaracaklardı.
Hz Ali’nin defnedilmesinden bir gün sonra katili Abdurrahman b. Mülcem’i öldürüldü. Müslümanlar Abdurrahman b. Mülcem’in cesedini alarak hasırlara sarıp ateşe verdiler.
İkinci bir rivayete göre, Hz Ali Küfe civarında, bu şehri Fırat nehrinin taşımalarından koruyan setler yakınında bir yere gömülmüş idi ki, daha sonra burada Necef şehri inkişaf etti.
Üçüncü bir rivayete göre, Hz Ali Medine’de Fatıma’nın mezarı yanına yani bugünkü Cennet’ül Baki kabristanlığına defnedilmişti.
Dördüncü rivayet ise, Hz Ali’nin mezarı Kasr el-İmara civarında olduğu rivayet edilmektedir. Buna göre, Necef’teki mezar, gerçekte Hz Ali’nin mezarı değil de, İslam’dan önceki devirden kalma mukaddes bir mezar olabilir; zaten burada Adem ve Nuh’un mezarlarının bulunduğu da söyleniyordu.
