Rufi'i lahir di Surabaya, pendidikan Sekolah Menengah Atas di SMA Negeri 2 Surabaya (SMADA) lulus tahun 1982. Pendidikan selanjutnya menempuh studi S1 pada Jurusan Pendidikan Teknik Bangunan IKIP Negeri Surabaya dengan mendapatkan beasiswa Peningkatan Prestasi Akademik (PPA) hingga selesai tanggal 30 Januari 1987. Tahun 1992 berkesempatan melanjutkan pendidikan pada jenjang S2 pada program studi Penelitian dan Evaluasi Pendidikan (PEP) di IKIP Jakarta KPK IKIP Yogyakarta dengan beasiswa TMPD, dan gelar Magister Pendidikan diperoleh pada tahun 1995. Pendidikan S1 selanjutnya pada Jurusan Statistika di Unipa Surabaya lulus tahun 2000. Pendidikan Teknik Sipil S1 di Sekolah Tinggi Ilmu Teknik Widya Dharma Surabaya lulus tahun 2003. Pada tahun 2007 mendapat kesempatan untuk melanjutkan pendidikan pada jenjang Doktor pada program studi Teknologi Pembelajaran Pascasarjana Universitas Negeri Malang dengan beasiswa BPPS. Bulan Desember 2009 sampai dengan 2010 mendapatkan kesempatan mengikuti program Sandwichdi University of Queensland Brisbane Australia, dan gelar Doktor diperoleh pada tahun 2010.