Pada abad XIV Masehi, tepatnya sekitar tahun 1420 M, Sunan Kalijaga bersiar ke seluruh pelosok Pulau Jawa. Beliau didampingi oleh tiga orang pengikutnya: Syech Somadun, Nur Salim, dan Petik Penawangan. Mereka tiba di suatu wilayah yang dikuasai oleh seorang demang bernama Mangu Suropawiro. Setelah mengenalkan ajaran Islam kepada sang demang, ia masuk Islam dan mengganti namanya menjadi Ihsanul Ibrahim. Ia mengizinkan Sunan Kalijaga dan rombongannya untuk mendirikan masjid.
Saat bermusyawarah menentukan lokasi masjid, Sunan Kalijaga memukul batu hingga memunculkan mata air yang sekarang dikenal sebagai Sendang Kali Klewon. Saat berbincang-bincang di lokasi tersebut, ada warga yang mendengar suara percakapan atau dalam bahasa Jawa disebut "grunengan". Warga itu menjawab pertanyaan Sunan Kalijaga dengan gugup dan menyebut tanaman jagungnya sebagai "janggleng wali". Sunan Kalijaga mendoakan agar janggleng tersebut tumbuh subur, dan atas izin Allah, tanaman tersebut tumbuh menjadi pohon jati yang besar.
Pohon-pohon jati tersebut kemudian digunakan sebagai bahan pembangunan masjid yang diberi nama Masjid Agung Jati, kini bernama Masjid Baiturakhim. Sisa kayu dari pembangunan masjid ini disambung dan dijadikan sebagai tiang soko Masjid Demak.
Setelah berdirinya masjid dan berkembangnya ajaran Islam, wilayah tersebut menjadi ramai. Sunan Kalijaga kemudian menamai wilayah itu dengan sebutan Jatirejo — dari kata "jati" karena pohon jati, dan "rejo" yang berarti ramai.