Đền Otagi ban đầu không được xây dựng ở Arashiyama mà ở khu vực Higashiyama vào năm 770. Tuy nhiên, ngôi đền này đã bị cuốn trôi hoàn toàn khi nước của sông Kamo-gawa gần đó tràn vào bờ.
Trong những năm đầu của thời kỳ Heian (794-1192), ngôi đền được tái lập ở phía Đông Bắc của Kyoto. Theo thời gian, nó lại rơi vào tình trạng đổ nát, cho đến khi chỉ còn lại ba công trình kiến trúc là chính điện, Jizo Hall và cổng đền.
Năm 1922, để bảo tồn phần di tích còn sót lại, chính quyền quyết định tháo dỡ các cấu trúc còn lại của ngôi đền và lắp ráp lại ở vị trí hiện tại. Bất chấp việc di dời, ngôi đền tiếp tục bị hư hại khi một trận bão lớn đổ bộ vào địa phương, năm 1950.
Năm 1955, vận may của ngôi đền bắt đầu thay đổi khi một vị sư trụ trì mới được bổ nhiệm. Ông là Kocho Nishimura và khi tới đây, ông bắt đầu tu bổ lại ngôi đền. Sư trụ trì Kocho Nishimura không chỉ là một cao tăng mà còn là một nhà điêu khắc tài ba.
Ông nảy ra ý tưởng để du khách tự tay tạc tượng cho ngôi đền dưới sự hướng dẫn của ông. Những bức tượng này tượng trưng cho các đệ tử của Đức Phật, được thêm vào ngôi đền trong khoảng thời gian từ năm 1981-1991 nhưng hiện tại trông chúng đã cũ kỹ hơn nhiều vì bị rêu bao phủ. Do mỗi bức tượng được tạc bởi một người khác nhau nên các bức tượng hoàn toàn khác biệt với gương mặt và biểu cảm vô cùng ấn tượng.
Vì vị trí xa trung tâm nên ngôi đền không quá đông đúc. Khi vào cửa, du khách sẽ được phát một cuốn sách nhỏ bằng tiếng Anh với một số thông tin về bối cảnh của ngôi đền và các bức tượng khác nhau trong khuôn viên.
Những năm gần đây, nơi này trở thành một địa điểm hấp dẫn và rất thú vị đối với du khách thích khám phá những khung cảnh bình yên khi tới Kyoto, Nhật Bản.
