ফজরে সালাতের ইমামতি করার সময় মুগীরা ইবনু শু‘বাব পারসিক দাস আবু ফিরোয তাঁকে ছুরি দিয়ে আঘাত করে। তিনি মাটিতে লুটিয়ে পড়েন। আব্দুর রহমান ইবনু আউফ অবশিষ্ট সালাত দ্রুত শেষ করেন।

যে সময়টুকু তিনি বেঁচে ছিলেন, ছয়জন সাহাবীকে পরবর্তী খলিফা নির্বাচনের দায়িত্ব দিয়ে যান। তাঁরা উসমান রাদিয়াল্লাহু আনহুকে পরবর্তী খলিফা হিসাবে নিযুক্ত করেন।

আহত হওয়ার তৃতীয় দিনে তিনি শাহাদাত বরণ করন। নবী সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম ও আবু বকর রাদিয়াল্লাহু আনহু-এর পাশে তাঁকে দাফন করা হয়।