Dinas Perpustakaan dan Kearsipan Kota Yogyakarta berdiri berdasarkan Peraturan Daerah Kota Yogyakarta Nomor 5 Tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah Kota Yogyakarta, dan ditindaklanjuti dengan Peraturan Walikota Nomor 86 Tahun 2016 tentang Susunan Organisasi, Kedudukan, Tugas, Fungsi dan Tata Kerja Dinas Perpustakaan dan Kearsipan Kota Yogyakarta. Dinas Perpustakaan dan Kearsipan Kota Yogyakarta terdiri dari dua sub urusan yaitu urusan perpustakaan dan urusan kearsipan. Perpustakaan pada mulanya berada dibawah Bagian Organisasi Setwilda Kota Yogyakarta hingga era otonomi daerah. Pada Tahun 2005 Perpustakaan menjadi UPT Perpustakaan Kota Yogyakarta yang berkedudukan di bawah Dinas Pendidikan Kota Yogyakarta. Sedangkan pada mulanya Urusan Kearsipan diatur berdasarkan Peraturan Daerah Kotamadya Daerah Tingkat II Yogyakarta Nomor 1 Tahun 1993 tentang Susunan Organisasi dan Tata Kerja Sekretariat Wilayah Daerah Kotamadya Daerah Tingkat II Yogyakarta dan Sekretariat Dewan Perwakilan Daerah Kotamadya Daerah Tingkat II Yogyakarta. Sejalan adanya otonomi daerah, berdasarkan Peraturan Daerah Kotamadya Daerah Tingkat II Yogyakarta Nomor 38 tahun 2000 lahir Kantor Arsip dan Pengolahan Data Elektronik yang disingkat KAPDE. Pada tahun 2006 terjadi perubahan kelembagaan, Kantor Arsip dan Pengolahan Data Elektronik bergabung dengan Badan Informasi Daerah, yang mana urusan kearsipan menjadi Unit Pelaksana Teknis (UPT) Arsip. Lembaga ini terbentuk berdasarkan Peraturan Daerah Kota Yogyakarta Nomor 23 Tahun 2005 tentang Pembentukan Susunan, Organisasi, dan Tata Kerja Badan Informasi Daerah (BID) yang ditindaklanjuti dengan Peraturan Walikota Yogyakarta Nomor 28 Tahun 2005 tentang Pembentukan Unit Pelaksana Teknis Arsip pada Badan Informasi Daerah, yang di dalamnya menyebutkan bahwa pengelolaan arsip dan pembinaan kearsipan berada di bawah Unit Pelaksana Teknis (UPT) Arsip. Pejabat Fungsional Arsiparis menempati struktur tersendiri dan bertanggungjawab langsung kepada Kepala Badan. UPT Arsip Kota Yogyakarta berjalan hingga tahun 2009. Selanjutnya pada tahun 2009 perpustakaan bergabung dengan arsip daerah menjadi Kantor Arsip dan Perpustakaan Kota Yogyakarta.

Pada tahun 2009 terbentuklah Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta. Pembentukan ini didasarkan Peraturan Daerah Kota Yogyakarta Nomor 9 Tahun 2008 tentang Pembentukan, Susunan, Kedudukan, dan Tugas Pokok Lembaga Teknis Daerah yang tertuang dalam Lembaran Daerah Kota Yogyakarta tahun 2008 Nomor 66 Seri D. Kemudian ditindaklanjuti dengan Peraturan Walikota Nomor 68 Tahun 2008 tentang Fungsi, Rincian Tugas, dan Tata Kerja Kantor Arsip dan Perpustakaaan Daerah Kota Yogyakarta. Dalam Berita Daerah Kota Yogyakarta tahun 2008 Nomor 79 Seri D, disebutkan bahwa Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta merupakan unsur pendukung tugas Walikota di bidang arsip dan perpustakaan daerah.

Dengan adanya PP 18 Tahun 2016 tentang Perangkat daerah, Peraturan Daerah Nomor 5 Tahun 2016, dan Peraturan Walikota Nomor 86 Tahun 2016 maka Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta berubah menjadi Dinas Perpustakaan dan Kearsipan Kota Yogyakarta. Dengan adanya Peraturan Pemerintah Nomor 18 Tahun 2016 tentang Perangkat Daerah maka Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta berubah menjadi Dinas Perpustakaan dan Kearsipan Kota Yogyakarta mulai Bulan Januari Tahun 2017.

Pada tahun 2020, Dinas Perpustakaan dan Kearsipan Kota Yogyakarta mengalami perubahan kelembagaan yang berdasarkan Pasal 3 nomor 15 pada Peraturan Daerah Nomor 4 Tahun 2020 tentang Perubahan atas Peraturan Daerah Nomor 5 Tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah Kota Yogyakarta yang berbunyi bahwa Dinas Perpustakaan dan Kearsipan Tipe A yang menyelenggarakan urusan pemerintah bidang perpustakaan dan bidang kearsipan. Hal ini di perkuat dengan Peraturan Walikota Yogyakarta Nomor 111 Tahun 2020 tentang Kedudukan, Susunan Organisasi, Tugas, Fungsi, dan Tata Kerja Dinas Perpustakaan dan Kearsipan.

Sehubungan dengan ditetapkannya Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi Nomor 25 Tahun 2021 Tentang Penyederhanaan Struktur Organisasi Pada Instansi Pemerintah Untuk Penyederhanaan Birokrasi, maka tugas dan fungsi Dinas Perpustakaan dan Kearsipan yang diatur dalam Peraturan Walikota Nomor 111 Tahun 2020 tentang Kedudukan, Susunan Organisasi, Tugas, Fungsi, dan Tata Kerja Dinas Perpustakaan dan Kearsipan, perlu dicabut dan diganti dengan Peraturan Walikota Yogyakarta Nomor 107 Tahun 2021 tentang Kedudukan, Susunan Organisasi, Tugas, Fungsi, dan Tata Kerja Dinas Perpustakaan dan Kearsipan.