Keberadaan Dinas Perpustakaan dan Kearsipan Kota Yogyakarta sebagai salah satu Perangkat Daerah terbilang sangat penting guna membantu kelancaran pelaksanaan pemerintahan. Perangkat Daerah yang terdiri dari rumpun perpustakaan dan kearsipan ini awal mula berdirinya tidak lepas dari sejarah kelembagaan yang pernah ada di lingkungan Pemerintah Daerah Kotamadya Dati II Yogyakarta pada waktu itu. Perpustakaan pada mulanya berada dibawah Bagian Organisasi Setwilda Kota Yogyakarta hingga era otonomi daerah. Selanjutnya, pada tahun 2005 Perpustakaan menjadi UPT Perpustakaan Kota Yogyakarta yang berkedudukan di bawah Dinas Pendidikan Kota Yogyakarta. Masih teringat pada waktu itu, lokasi perpustakaan berada di Jalan Pekapalan Alun - Alun Lor Yogyakarta.

Rumpun kearsipan awal mula lahir berdasarkan Peraturan Daerah Kotamadya Daerah Tingkat II Yogyakarta Nomor 1 Tahun 1993 tentang Susunan Organisasi dan Tata Kerja Sekretariat Wilayah Daerah Kotamadya Daerah Tingkat II Yogyakarta dan Sekretariat Dewan Perwakilan Daerah Kotamadya Daerah Tingkat II Yogyakarta. Pada tahun 2000, sejalan dengan adanya otonomi daerah, lahirlah Kantor Arsip dan Pengolahan Data Elektronik (KAPDE) berdasarkan Peraturan Daerah Kotamadya Daerah Tingkat II Yogyakarta Nomor 38 tahun 2000. Adanya perubahan kelembagaan pada tahun 2006, Kantor Arsip dan Pengolahan Data Elektronik bergabung dengan Badan Informasi Daerah, yang mana rumpun atau urusan kearsipan menjadi Unit Pelaksana Teknis (UPT) Arsip. Dasar pembentukan Perangkat Daerah ini merujuk pada Peraturan Daerah Kota Yogyakarta Nomor 23 Tahun 2005 tentang Pembentukan Susunan, Organisasi, dan Tata Kerja Badan Informasi Daerah (BID) yang ditindaklanjuti dengan Peraturan Walikota Yogyakarta Nomor 28 Tahun 2005 tentang Pembentukan Unit Pelaksana Teknis Arsip pada Badan Informasi Daerah. Kantor UPT Arsip terletak diujung barat sisi selatan dari kompleks Balaikota Timoho pada waktu itu. Masih teringat, kontainer sampah menghiasi halaman samping UPT Arsip tersebut. 

Selanjutnya, pada tahun 2009 perpustakaan bergabung dengan arsip daerah menjadi Kantor Arsip dan Perpustakaan Kota Yogyakarta. Pembentukan ini didasarkan pada Peraturan Daerah Kota Yogyakarta Nomor 9 Tahun 2008 tentang Pembentukan, Susunan, Kedudukan, dan Tugas Pokok Lembaga Teknis Daerah yang tertuang dalam Lembaran Daerah Kota Yogyakarta tahun 2008 Nomor 66 Seri D. Kemudian ditindaklanjuti dengan Peraturan Walikota Nomor 68 Tahun 2008 tentang Fungsi, Rincian Tugas, dan Tata Kerja Kantor Arsip dan Perpustakaaan Daerah Kota Yogyakarta. Dalam Berita Daerah Kota Yogyakarta tahun 2008 Nomor 79 Seri D.

Lokasi kantor pada waktu itu dibagi menjadi dua tempat, pertama Sekretariat dan Urusan Perpustakaan berada di Jl. Suroto 9 Kotabaru Yogyakarta, kedua Urusan Kearsipan berada di Jalan Batikan Yogyakarta. Seiring dengan pembangunan gedung arsip, maka pada tahun 2010 Urusan Kearsipan pada Kantor Arsip dan Perpustakaan Daerah berpindah tempat di Jl. Letjen Soeprapto 33 A Ngampilan Yogyakarta yang dulunya dipergunakan untuk Rumah Pemotongan Hewan (RPH) Ngampilan. Dengan adanya Peraturan Pemerintah Nomor 18 Tahun 2016 tentang Perangkat Daerah, maka Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta berubah menjadi Dinas Perpustakaan dan Kearsipan Kota Yogyakarta mulai Bulan Januari Tahun 2017.  

Pada tahun 2020, Dinas Perpustakaan dan Kearsipan Kota Yogyakarta mengalami perubahan kelembagaan yang berdasarkan Pasal 3 nomor 15 pada Peraturan Daerah Nomor 4 Tahun 2020 tentang Perubahan atas Peraturan Daerah Nomor 5 Tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah Kota Yogyakarta yang berbunyi bahwa Dinas Perpustakaan dan Kearsipan Tipe A yang menyelenggarakan urusan pemerintah bidang perpustakaan dan bidang kearsipan. Hal ini diperkuat dengan Peraturan Walikota Yogyakarta Nomor 111 Tahun 2020 tentang Kedudukan, Susunan Organisasi, Tugas, Fungsi, dan Tata Kerja Dinas Perpustakaan dan Kearsipan. Selanjutnya, sehubungan dengan keberadaan sekretariat yang kurang representatif, maka pada tanggal 8 September 2021 Sekretariat Dinas Perpustakaan dan Kearsipan Kota Yogyakarta pindah lokasi di Jalan Letjen Soeprapto 33A Ngampilan Yogyakarta. Demikian sekilas sejarah berdirinya Dinas Perpustakaan dan Kearsipan Kota Yogyakarta dari masa ke masa.[ika]