Ямагата Аримото был одним из организаторов японской армии по европейскому образцу.
В 1873 г. Ямагата был назначен военным министром.
В 1877 г. участвовал в подавлении вспыхнувшего против реформ Сацумского восстания. В следующем году был назначен командиром императорской гвардии и начальником генерального штаба. С 1885 по 1891 г. был министром внутренних дел и с 1889 г. также премьер-министром.
После министерского кризиса был назначен президентом тайного совета.
В 1894 г. во время войны с Китаем был назначен командующим 1-й армией.