Poltekkes Kemenkes Jambi resmi didirikan pada 16 April 2001, berdasarkan Surat Keputusan Menteri Kesehatan Republik Indonesia Nomor 298/Menkes-Kesos/SK/IV/2001 tentang Organisasi dan Tata Laksana Politeknik Kesehatan, tepatnya pada Pasal 4 yang mengatur pendirian Politeknik Kesehatan di berbagai wilayah Indonesia. Dengan adanya keputusan tersebut, Poltekkes Kemenkes Jambi memperoleh dasar hukum dan legitimasi kelembagaan sebagai institusi pendidikan tinggi di bidang kesehatan yang bertugas menyelenggarakan pendidikan, penelitian, dan pengabdian kepada masyarakat sesuai dengan visi dan misi Kementerian Kesehatan Republik Indonesia.
Berdirinya Perpustakaan Poltekkes Kemenkes Jambi tidak terlepas dari berdirinya Poltekkes Kemenkes Jambi itu sendiri. Pada awalnya, layanan perpustakaan berada secara terpisah di masing-masing jurusan, yaitu Jurusan Keperawatan, Kebidanan, Kesehatan Gigi, dan Kesehatan Lingkungan. Namun sejak bulan November 2018, pengelolaan perpustakaan di lingkungan Poltekkes Kemenkes Jambi mulai dilaksanakan secara terpadu. Kebijakan ini ditetapkan berdasarkan Surat Keputusan Direktur Poltekkes Kemenkes Jambi Nomor KM.06.02/1.1/2305/2018 tentang Penetapan Pendirian Perpustakaan Terpadu Poltekkes Kemenkes Jambi.
Saat ini, Perpustakaan Terpadu Poltekkes Kemenkes Jambi berlokasi di Jurusan Teknologi
Laboratorium Medis. Selain itu, layanan perpustakaan juga tersedia di beberapa jurusan lain, yaitu Perpustakaan Jurusan Keperawatan, Perpustakaan Jurusan Kebidanan, dan Perpustakaan Jurusan Kesehatan Gigi.