自从明治维新以后，日本逐步发展成为帝国主义国家，为了强化国家机器，以便于对外侵略扩张的需要，日本在科学技术和工业逐步发展的基础上，建立起了一支比较强大的现代化军队。
1884年日本在旧式军队的基础上，首次组建了6个正规陆军师团，即第一至第六师团。甲午战争以后，日本又组建了6个正规陆军师团，即第七至第十二师团。日俄战争后的1907年，日本再次扩充6个正规陆军师团，即第十三至第十八师团。1915年，日本又在被其侵占的朝鲜组建了两个陆军师团，即第十九、第二十师团。再加上守卫日本东京皇宫的近卫师团，还有驻扎在各地的4个独立混成旅团，就构成了日本帝国主义陆军平时的基本框架。
日本在不断地对外侵略扩张中，开始在其控制的领土上驻扎军队。如：1901年在我国京津地区驻扎华北驻屯军；1915年在朝鲜组建日军朝鲜军；1919年在我国东北组建日本关东军。这几支部队有些由日军主力师团固定担任，如日军朝鲜军即长期由第十九、第二十师团组成；有些则由混成旅团或其它组建的部队担任，如日军华北驻屯军。
在建立现代陆军的过程中，日本初期曾崇拜学习法国的军事理论和体制，后来基本上改为以德国的军事理论和体制为蓝本，并向先进的西方制度学习，建立起地区义务兵役、军事预备役的征兵体制。
日军每个师团平时驻扎的地区，本身就是其征兵机构的师团管区，也就是征集补充兵员的地区，其全部士兵和中下级军官全部来自这一地区。所以，在日军部队的历史上，就曾出现过一家祖孙数代，在不同时期的同一支部队中参加历次战争的情况。同时，日本陆军主力师团也常以地名来表示。如：第一师团，因为长期驻守东京地区，其全部士兵和全部中下级军官来自东京地区，故又称为东京师团。
日本陆军各兵种的服装虽然基本一致，但是也可以从其佩戴的肩章和领章上加以区分，如日军陆军步兵领章底色为红色，炮兵为黄色，骑兵为绿色，工兵为茶色，辎重兵为深蓝色，宪兵为黑色，军医为深绿色，军法官为白色，财会官为银茶色等等。
在军衔设置方面，日本陆军共有6等16级，即大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长、军曹、伍长(曹、伍对应上、中、下士)、上等兵、一等兵、二等兵。日本陆军也有元帅军衔，但规定由天皇从战功显赫或资深的大将中选任，才能颁赐元帅封号，从明治维新至1945年日本帝国主义投降，共有17为陆军大将被颁赐元帅军衔。
日本陆军中，军司令官常是中将或大将军衔，师团长多是中将军衔，旅团长多是少将军衔{也有个别是中将军衔的，联队长多是大佐或中佐军衔，大队长多为少佐、大尉军衔，中队长多为中尉军衔，小队长多为少尉军衔。
在战役级作战情况下，师团就是最基本的战斗单位。日本陆军师团分甲乙丙三种，师团兵力其实相当于其它国家一个军，甲种师团有26000人，乙种师团有23000人，丙种师团有19000人。各种师团根据人员不同，装备相应的武器装备。火力配备方面，以一个日军骑兵旅团为例，下辖两个联队，共有兵员5600人，军马5668匹，装备各种枪支3805支，重机枪12挺，野炮36门等。这是20世纪早期的武器装备，到二战时，日本陆军的武器装备更是得到了改善，增加了大量轻机枪、掷弹筒等，火力不容小觑。
日本帝国主义的侵略野心，自中日甲午战争以来开始逐步实现，以后历经日俄战争、第一次世界大战、到侵华战争以及第二次世界大战时，日本陆军实力达到巅峰。后来经过各国人民的坚决打击，1945年日本投降，至此，日本帝国主义陆军最终灭亡。
