1852年10月15日 出生于萨摩(现鹿儿岛县)。
鹿儿岛山本诞生纪念碑
鹿儿岛山本诞生纪念碑
1863年 参加萨英战争。
1868年参加戊辰战争，战争结束后由西乡隆盛介绍给了胜海舟，从此加入海军。
1869年以萨摩进贡生身份进行海军操演所学习。
17个人中倒数第二名毕业。
1874年任海军准尉，留学德国。归国后任高雄、高千穂舰长。
1891年在海军大臣西乡从道手下任职，宣扬日本是岛国，海军如果不是第一也该和陆军平行，结果终于建立了独立于陆军的海军军令部，从而飞黄腾达。
1895年任海军军务局长。
1898年任第二次山县内阁海军大臣，在第四次伊藤内阁、第一次桂内阁时留任。
1904年晋升海军大将。
1913年组阁，废除军部大臣现役武官制。次年因西门子事件被迫下台。
1923年再度组阁，在关东大地震时实施戒严令，颁行《治安维持法》，遭到普遍反对。后因虎门事件总辞职。退休后以萨摩派军阀巨头坐镇海军。
1928年受大勋位菊花勋章。
学生时代
和当时大多数日本海军军官一样，山本权兵卫是鹿儿岛人，萨摩藩的。十一岁时就参加了萨英战争，在弁天炮台帮着搬炮弹，在一起搬炮弹的还有东乡平八郎，炮手不是别人，就是后来日本最早的元帅大山岩(这个炮台可谓价值连城~~)。英国舰队旗舰尤里亚勒斯的舰长和副舰长就是被这个炮台送去见上帝的。山本权兵卫是海军兵学校第二期的，在海兵的时候是最让教官头疼的学生之一，最早几期海兵学生中和英国人打过仗的不少，除了对过去兵戎相见的敌人那种本能的抗拒以外，还有就是“老子来自战场”的自负，根本就没有把那些没有实战经验的大鼻子教官放在眼里，成天喝醉了酒打群架，火来了连英国人教官都敢打。
道格拉斯少校“做个绅士”的谆谆教诲对这帮近似于地痞流氓的学生没有任何用处，到后来只能采取最原始的“开除”方法。仅在1872年一年中被开除的学生就有158名之多，山本权兵卫是第二期中顽劣之首，但不知怎的逃脱了被开除的命运。
山本权兵卫的胡闹，还不仅限于酗酒打架。一次和别的士官们一起到品川的娼馆里去喝花酒的时候，看上了一个雏妓。当天晚上山本少尉就找了几个人做帮手在妓院后墙上架上梯子把那个雏妓从妓院里偷了出来，后来妓院找上门来，山本的一帮狐朋狗友帮他凑份子算是帮那雏妓赎了身。而那个雏妓就是后来的山本权兵卫夫人津泽登喜子。
知遇知音
山本权兵卫在进入海军中央担任海军省官房主事以后不像别人那样经常在舰队和中央衙门之间来来去去，而是一直在海军中央工作(不客气地说，就是没下基层“蹲点”)。但他又步步高升，几乎是日本海军中仅有的没有担任过舰队司令的海军大将。这种奇怪的经历，和海军大臣西乡从道的知遇有很大关系。
权臣之路
山本权兵卫大臣
日本政府在1892年第四届议会上削减了预算案，开始行政改革。当时山本权兵卫位居海军省官房主事，在他主导下成立了相对独立于海军省(军事行政机关)的海军军令部(参谋机构)，使落后于陆军的海军有了和陆军平等的地位。在同时进行的人员调过程中，他把同乡、前辈以及在明治维新中立过功的人也列为调整对象，解除了8个将军和89个校官的职务。山本大佐桌上放着一把短剑，挨个接见名单上的军官，向他们宣布下岗决定。不管是“僭上反乱”的怒吼还是苦苦哀求，山本都毫不为之所动，铁石心肠地完成了日本海军史上第一次“瘦身行动”。对有用的人材则毫无偏见地录用。象山东乡平八郎、斋藤实、冈田启介、山下源太郎等日后成为重要角色的人物都是在那时由山本权兵卫提拔起来的。他的政治手法得到出身陆军的山县有朋和井上馨的赏识。在山本权兵卫还当局长的时候，周围的人就称他为“权兵卫大臣”。身为萨摩人的山本权兵卫认识到了任人唯亲的弊害，所以就用军校学习成绩来定升降的办法，推行吊床号制度，保证了任人唯贤，从而解消了萨摩出身独霸海军的现象。
中日甲午战争
中日甲午战争谋划阶段，海军省官方主事(相当于办公室主任)山本权兵卫大佐和陆军参谋次长川上操六中将之间有一次激烈的交锋。当时能动员的日本陆军总共大约有24万人，而清军则有98万陆军。但日本陆军并不害怕那98万大清陆军，因为一来分得太散，不一定能动员的起来。二来清军的军事素养和作战能力确实不敢恭维。所以川上主持制定的《征清大作战构想》在一开始根本就没有考虑海军的作用，一开口就是发扬200米内硬功夫，刺刀见红，打到清国的直隶平原，在那里和清军决战什么的。但川上在发表这个构想时，冷不防被山本权兵卫将了一军：“陆军有没有优秀的工兵?”川上的回答是：“帝国陆军的工兵非常优秀。”“那好，现在开始就赶快在九州到釜山之间架一座桥起来，要不然陆军过不了海。”陆军这才注意到他们的作战计划理有根本的缺陷：没有考虑制海权。山本说了下去：“征清作战是渡海作战，没有海军的护送，陆军无法登陆。在海军夺得黄海的控制权以前，运兵运粮的所有船只都在北洋水师威胁下，如果北洋水师一旦切断陆军的兵员，军火，粮草补给线，不管在朝鲜登陆了多少人，也不管这些人如何善战，就只有失败这个唯一的结果。”山本继续又说：“所以这次作战，海军最大和最终的任务就只是自主行动，夺得并且确保制海权。其余的陆军部队运输以及护航活动，都不能对海军的自主夺得制海权行动构成障碍。”川上和在场的大山岩都还是第一次听到这种海权第一的论调。但是川上对于这种直截了当地反对自己的意见并不以为杵，听了进去。山本只是一个海军大佐，而川上是陆军中将(那个时候日本还没有元帅，大将只有几个(大山岩，小松宫彰仁亲王和山县有朋)，那时的中将就相当于后来的大将)。参谋次长川上可谓是陆军二号人物，山本的发问，应该说是有点犯上的。当然有一点很重要，川上操六也是萨摩藩出身。原来和山本权兵卫在鹿儿岛的健儿社是前后辈关系，要不然“陆军二号人物”也不一定会听得进一个海军省大佐主事的讽刺。这样在那个《征清大作战构想》中，才出现了根据制海权的变化而采取不同行动的方案。这是后来被称为“日本海军之父”的山本权兵卫首次露峥嵘。开战时只是一介大佐官方主事，并没有参加具体的战争策划和战争指挥的山本权兵卫，就这样以简洁的比喻给陆军头头们上了一堂海权课。1894年7月19日，根据军令部官房主事山本权兵卫大佐提出的方案，将已经改名为“西海舰队”的警备舰队和常备舰队整合成“联合舰队”。对于如何对付日本海军威胁最大的北洋舰队的定远级铁甲舰， 山本权兵卫大佐也有他的构想，作为曾经留学德国，日本海军首屈一指的克虏伯大炮专家，曾经担任过海兵的炮术教官的他，想的就是利用速射炮的数量优势，首发命中，然后像急风暴雨似的攻击，摧毁其上层建筑，杀伤人员，使其丧失作战能力。为此他在开战前就秘密组织人员对定远、镇远两舰进行精确测量。实战的结果事实证明他的做法非常正确。
“失败主义者”
黄海海战刚刚结束的时候，山本权兵卫就向首相伊藤博文报告过俄、德、法三国在频繁接触的消息。外务省没看出名堂，而山本权兵卫预计到了这三个国家会在媾和谈判的时候对日本施加压力：“总理，日本现在没有和这三国对抗的实力，
无论他们提出什么要求，我们都只能忍。”他的过人的预见力表现无疑。甲午战争刚刚结束的1895年6月，西乡从道就把刚刚晋升为少将军务局长的山本权兵卫找了去：“大家都要和俄国打仗，打仗没有船不行，你先算算需要多少船。”山本在年底交出了《第11回海军扩张案》，也就是所谓“六六舰队方案”，六艘战列舰，六艘一等巡洋舰的方案，分两期进行。但他还是没有把握对俄开战会胜利，因此在1903年6月的御前会议上认真地反对和俄国开仗 ，乃至整个日俄战争期间山本没有发表过一句“豪言壮语”。谨慎的举动使他被国会和传媒攻击为“失败主义者”。山本权兵卫是个官僚，长期在海军中央工作的经验让山本习惯了遇事先从组织上考虑解决方法，他起用了差点准备退休的舞鹤镇守府司令长官东乡平八郎担任联合舰队司令。山本就是看中了东乡平八郎的沉默寡言和听话。而当明治天皇都不解地问起来为什么把东乡换了日高壮之丞时，山本权兵卫的理由居然是：“东乡运气好”。为了保证东乡老老实实，山本权兵卫又找了两个人来给东乡当参谋长和先任参谋，岛村速雄是日本海军先发制人战略的制定者，而秋山真之则是海军战术的制定者。对马海战前，关于俄军将走那条路线，海军内部争论不休，但是海相山本权兵卫下了一道死命令：争论可以，不管什么结论都是正确——但是，谁也不准和联合舰队开展争论。让联合舰队内部自己争论，得出自己的结论，联合舰队的结论就是大本营的结论，任何人不得质疑。总之一句话，不准影响东乡平八郎司令长官的判断。管他是对是错，日本的命运就赌在这个矮个小老头上了。
中心人物
山本权兵卫在由萨摩派阀掌握主导权的海军中比同是萨摩藩出身的黑田清隆、西乡从道等人年轻10多岁，属于第二代领袖。由于他有着被称为“权兵卫大臣”的实力背景，所以从1898年11月至1906年1月连续担任三届内阁的海军大臣，成为海军的中心人物。
海军第二代
明治末期，日本政治进入由藩阀政治向政党政治转换的漫长阶段。在第三次桂太郎内阁成立之前，山本权兵卫被从第二次西园寺公望内阁接班人的候选者中淘汰，评论家鹈崎鹭认为“是山县有朋的反对使他没能主导政局”。相对于迄今一直是政治主流的“长州派陆军第一代”来说，山本权兵卫属于“萨摩派海军第二代”，这也是阻碍他成为首相的一个重要因素。
在山本权兵卫担任首相之前，萨摩藩出身的首相只有黑田清隆和松方正义两人，而且“理论上”出身于海军的首相只有松方正义一个人，更何况松方只是文官，没有军衔。长州藩出身且有陆军背景的首相在人数上虽然只有山县有朋和桂太郎两个人，但在任职时间上却大大超过了出身于萨摩藩的首相(桂太郎是到目前为止任职时间最长的日本首相)。如果把伊藤博文也算进去，那么长州藩的优势就更加明显。