巴国于周慎靓王五年(公元前316年)为秦国所灭。《后汉书》记载：“秦惠王并巴中，以巴氏为蛮夷君长，世尚秦女，其巴氏爵比不更，有罪得以除爵。”这说明秦吞并巴国后仍然以巴氏为君长。秦王还对巴君、巴民的岁赋作了具体的规定。可见一部分巴人仍在这块土地上生活着，并且还有所发展。史书记载：“在峡中巴梁间者，康君之后也。”(《文献通考》)“巴中有大宗，康君之后也。”(《蛮书》)所谓廪君之后，泛指巴人之裔。

鄂西地区在秦代属巫郡，在三国、两晋、南北朝的三百余年间，均属建平郡。峡中先后在巫郡及建平郡范围内。故峡中巴梁间的巴人与鄂西地区的巴人是一个整体，同属廪君五姓之裔。一些专家认为，廪君蛮起源于东夷集团而流居鄂西长阳武落钟离山。曾经沿着清江流域生活了相当长一段时间，后来他们的主体部分虽然向以东迁徒，其中一部分支系居留下来，以清江流域为中心进行活动，成为廪君的直接遗裔--鄂巴诸蛮。鄂西诸蛮在历史上被侮称为“巴蛮”、“建平蛮”、“施州蛮”、“土蛮”、“酉水蛮”、“溇中蛮”等。这些蛮”的人中的田、曋、向等姓与廪君五姓有着渊源关系。最明显的是其中的相氏，“曋氏”，就演变成了今鄂西土家族的主要姓氏。《长阳县志》载称，“廪君世为巴人主，务相，其开国有功者……但士语之讹相为‘向耳”。“供廪君神像，世俗相沿，但呼为向王天子。”可见，“相”氏演变为“向”氏。

留居在鄂西清江流域一带的巴人，在繁衍生息的过程中，由于长期经历战乱和流徒的生存环境，逐渐形成自身特有的独立的群体生存奋斗意识和相应的心理索质；由于鄂西山区大山阻隔，交通闭塞，加上历代封建王朝尤其是宋元以前的民族隔离政策，以巴人为主源的土著民族与外界在相当长的历史阶段基本处于隔绝状态，巴人文化习俗在这里得到传承和演进，形成自身的语言、信仰和文化习俗；由于封建王朝对鄂西长期实行羁縻政策，地方统治者与士民大多是同一民族群体，使民族语言、风俗习惯以及民族心理索质得以长期保存；由于古代鄂西境内居住的其他族类(如獠族等)，以及以后迁入的少数汉人长期在共同的地域内过着共同的经济生活，巴人的统治地位使这些外族人逐渐与巴人融合。这种独特的融合体。自称为毕兹卡或贝京卡，他称为“土蛮”、“土人”，这种称谓自宋代起即开始，出现土即土著之意，可以适用于任何地区；但生活在湘鄂川激边境的“士人”，则逐渐成为民族的专称。如《朱批谕旨·迈柱奏》中“汉土不许买卖土地”，把“土”、“汉”同等对称。又如《苗防备览》“土蛮与苗种类有别”，又把“土”与“苗”同等对称。改土归流以后，迁入的汉人较多，他们称土人为“土家”，土人称迁入的汉族为“客家”，“土家”这一称呼，成为毕兹卡或贝京卡人的专有族称。综上所述，至唐宋时代。土家族体逐渐形成了相对稳定的局面，成为一个稳定的独立族体。