Perpustakaan Pusat UII berdiri pada tahun 1950 dengan koleksi ± 3.000 eksemplar, berlokasi di Masjid Syuhada Kotabaru. Tidak lama kemudian pindah ke Balai Gadang di jalan Sagan, dan pada tahun 1966 pindah ke kampus Universitas Islam Indonesia Jln. Cik Di Tiro 1 Yogyakarta. Pada tahun 1982, dengan selesainya pembangunan kampus Jl. Cik Di Tiro 1 tahap kedua, Perpustakaan Pusat menempati ruang seluas 200 m² dengan SDM 14 orang. UII memiliki beberapa kampus yang tersebar dibeberapa lokasi yang digunakan untuk perkuliahan yaitu kampus Jl. Taman Siswa (Fakultas Hukum dan Teknik Tekstil), Kampus Jl. Demangan Baru (Fakultas Teknik Sipil), Kampus Jln. Lawu Kotabaru (Fakultas Ekonomi) dan Kampus Sorowajan Barat (Fakultas Agama Islam), Karena berbagai kendala, utamanya transportasi maka berdiri perpustakan di masing-masing Fakultas.

Pada tahun 1999 Perpustakaan Pusat pindah ke Kampus Terpadu Jl. Kaliurang Km 14,4 menempati ruang dengan luas ± 1300 m². Pada tahun 2001 luas ruangan bertambah menjadi 2.227 m². Pada tahun 2006 Perpustakaan Pusat berganti nama menjadi Direktorat Perpustakaan. Pada pertengahan tahun 2011 Direktorat Perpustakaan mulai pindah ke Gedung Baru disertai dengan 5 (lima) perpustakaan Fakultas yang berada di lingkungan Kampus Terpadu, yakni: perpustakaan Fakultas Teknik Sipil dan Perencanaan, perpustakaan Fakultas Teknologi Industri, perpustakaan Fakultas Ilmu Agama Islam, perpustakaan Fakultas MIPA, dan perpustakaan Fakultas Psikologi & Ilmu Sosial Budaya di integrasikan menjadi satu di Gedung Perpustakaan yang baru. Pada tanggal 17 Oktober 2011 Gedung Perpustakaan diresmikan oleh Menteri Kebudayaan dan Pariwisata Dr. Djero Watjik di dampingi oleh Ibu Dr. Meutia Hatta, putri Bung Hatta (alm) tokoh Pendiri UII dan Proklamator RI, dengan nama Gedung Mohammad Hatta, Perpustakaan dan Museum (Direktorat Perpustakaan) Universitas Islam Indonesia.