Ngày 4 tháng 11 năm 1995 Thủ tướng Rabin đã bị Yigal Amir, một người Do Thái Chính thống cực đoan cánh hữu phản đối việc ký kết Hiệp định Oslo ám sát, anh ta tin rằng mình đang phục vụ quốc gia với một số phận thảm khốc. Vụ ám sát diễn ra vào buổi tối khi Rabin đang rời một cuộc vận động quần chúng ở Tel Aviv kêu gọi ủng hộ Hiệp định Oslo. Rabin được nhanh chóng đưa tới Bệnh viện Ichilov ở gần đó, nơi ông đã chết trên bàn mổ vì mất máu và thủng phổi trong vòng 40 phút. Amir lập tức bị các vệ sĩ của Rabin bắt giữ. Anh ta bị đem ra xét xử và bị kết án chung thân.
Cảnh sát cho biết, ông Rabin bị bắn 3 phát đạn vào ngực và dạ dày trong cự ly gần.
Vụ ám sát Rabin là một chấn động lớn với công chúng Israel và hầu hết phần còn lại của thế giới. Hàng trăm nghìn người Israel buồn bã tụ tập tại quảng trường nơi Rabin bị ám sát để tưởng niệm ông. Rất đông thanh niên, thắp lên những ngọn nến tưởng niệm và hát những bài hát hoà bình. Lễ tang của Rabin có sự tham dự của nhiều nhà lãnh đạo trên thế giới, trong số đó có tổng thống Hoa Kỳ Bill Clinton, tổng thống Ai Cập Hosni Mubarak và Vua Hussein của Jordan. Bill Clinton đã đọc bài điếu văn với những lời đáng nhớ trong tiếng Hebrew — "Shalom, Haver" (tiếng Do Tháidịch nghĩa Tạm biệt, Bạn).
Sau vụ ám sát ông, Rabin được coi như một biểu tượng quốc gia và là người đại diện của phe hoà bình Israel, dù ông đã có một sự nghiệp quân sự và những quan điểm diều hâu trước đó. Ông được chôn cất tại Núi Herzl.
Yigal Amir, 27 tuổi, đã thú nhận việc ám sát thủ tướng và không hề hồi tiếc vì hành động của mình.
Như bất kỳ vụ ám sát chính trị nào, vụ ám sát ông Rabin cũng để lại rất nhiều dấu hỏi mà câu trả lời nằm ở phía cơ quan điều tra. Nhiều tài liệu cho rằng những viên đạn được nhắm từ những khẩu súng khác nhau, vì thế chắc hẳn không chỉ Yigal mới là người ám sát ông Rabin. Tất cả mọi người có cảm giác, Amir chỉ là một con tốt thí cho một âm mưu được chuẩn bị kỹ càng từ trước.
