Disebut sebagai Mahakam Ulu bukan tanpa sejarah yang panjang. Mahakam Ulu pertama kalinya muncul pada saat penataan wilayah administratif oleh Hindia Belanda terhadap Kesultanan Kutai. Kesultanan Kutai membentuk dua wilayah administratif yaitu Hulu Mahakam sebagai pusat pemerintahan di Long Iram, dan daerah Vierkante Pall sebagai pusat pemerintahan di Samarinda, pembentukan wilayah administratif ini dilakukan pada tahun 1905.
Namun, pada tahun 1930 wilayah Kesultanan Kutai dimekarkan menjadi 4 Onderafdeeling yaitu Zuid Kutai yang terletak di Balikpapan, Oost Kutai yang terletak di Samarinda, West Kutai yang terletak di Tenggarong dan Boven Mahakam yang terletak di Long Iram.
Di masa kemerdekaan, wilayah Kesultanan Kutai terbagi dalam dua yaitu Kutai Barat dan Kutai Tengah. Kemudian Kutai dibentuk dalam tiga Dati II yaitu Kotapraja, Balikpapan, Dati II Kutai dan Kotapraja Samarinda.
Dati II Kutai Kartanegara kemudian dimekarkan menjadi empat wilayah administratif, di antaranya yaitu Kabupaten Kutai Kartanegara, Kutai Barat, Kota Bontang dan Kutai Timur di masa era reformasi.
Dalam wilayah eks-Onderafdeeling Boven, Mahakam Ulu menjadi bagian dari wilayah Kabupaten Kutai Barat. Yang sebelumnya terbagi dalam dua kecamatan, kemudian dimekarkan menjadi 5 kecamatan.