Pendudukan Jepang secara resmi terhitung mulai 8 Maret 1942 dengan ditandatanganinya Kapitulasi Kalijati. Berangsur-angsur Jepang menguasai dan mempertahankan kekuasaannya, untuk membuat pemerintahan yang terorganisir maka Jepang membutuhkan sistem pemerintahan di Indonesia yang efektif dan tentunya menguntungkan. Maka dengan itu Jepang membentuk pemerintahan militer dan diperkuat dengan pemerintahan sipil. Di seluruh Kepulauan Indonesia bekas Hindia Belanda itu wilayahnya dibagi menjadi tiga wilayah pemerintahan militer.
- Pemerintahan militer Angkatan Darat, yaitu Tentara Kedua Puluh Lima (Tomi Shudan) untuk Sumatra. Pusatnya di Bukittinggi.
- Pemerintahan militer Angkatan Darat, yaitu Tentara Keenam Belas (Asamu Shudan) untuk Jawa dan Madura. Pusatnya di Jakarta. Kekuatan pemerintah militer ini kemudian ditambah dengan Angkatan Laut (Dai Ni Nankenkantai).
- Pemerintahan militer Angkatan Laut, yaitu (Armada Selatan Kedua) untuk daerah Kalimantan, Sulawesi, dan Maluku. Pusatnya di Makassar
Selain itu dibentuk pula susunan pemerintahan Jepang yaitu, Gunshirekan (Panglima tentara), Gunseikan (Kepala pemerintahan militer), dan Gunseibu (Koordinator pemerintahan). Sementara untuk mendukung kelancaran pemerintahan pendudukan Jepang yang bersifat militer, Jepang juga mengembangkan pemerintahan sipil. Pada bulan Agustus 1942, pemerintahan militer berusaha meningkatkan sistem pemerintahan, antara lain dengan mengeluarkan UU No. 27 tentang aturan pemerintahan daerah dan dimantapkan dengan UU No. 28 tentang pemerintahan shu serta tokubetsushi. Dengan UU tersebut, pemerintahan akan dilengkapi dengan pemerintahan sipil. Menurut UU No. 28 ini, pemerintahan daerah yang tertinggi adalah shu (karesidenan), shi (kotapraja), ken (kabupaten), gun (kawedanan), son (kecamatan), dan ku (desa/kelurahan).
Dengan demikian, pembentukan pemerintahan militer Jepang adalah dengan membagi seluruh bekas jajahan Belanda (Hindia-Belanda) menjadi tiga bagian wilayah militer, sementara pemerintahan sipil membagi beberapa wilayah dari tingkat keresidenan setara provinsi (shu) sampai tingkat paling rendah, desa/kelurahan (ku).