しかし、奈良時代はとかく政争が多かったが、大伴氏もそれに関わる事が多く、長屋王の変では
長屋王と親しかった旅人は事件前後に一時的に
大宰府に左遷された程度で済んだが、
橘奈良麻呂(
橘諸兄の息子)の変では古麻呂は
拷問死、
大伴古慈悲は流罪(
称徳天皇崩御後に復帰。)に処された。この事件には家持は関与していなかったが、後に
藤原仲麻呂の暗殺計画に関わっていたとされ、左遷の憂き目を見る。その後、壬申の乱で擁立した
天武天皇の皇統が断絶し、その血を全く引かない
桓武天皇が即位すると、今度は
氷上川継の乱への関与を疑われて、また左遷されてしまう。それでも彼は
783年に中納言に昇進したが、翌年
長岡京への遷都を桓武天皇は実行する。大伴氏はこの政策に不満を持っており、指揮していた
藤原種継を暗殺する事件を起こしてしまう。結果、古麻呂の子で首謀者とされた
大伴継人は死刑、直前に死去していた家持は除名、それぞれ継人・家持の子である
伴国道・
大伴永主は流罪となる。