据曼努埃尔所知，加夫拉斯的家族名一开始似乎是“加布里埃尔”（gabriel）的变音。换言之，最早的加夫拉斯也就是他祖宗真正的姓名很可能并非加夫拉斯。
不过这都是马其顿王朝以前的事了。虽然不知道他这位“加布里埃尔”祖宗当年到底有何成就，但至少在马其顿王朝时，发迹于查尔迪亚的加夫拉斯家族就已经小有名气。而在君士坦丁·加夫拉斯，他们家族的首位家主创立了加夫拉斯家主后，有几位家族成员成功在中央和地方担任要职，或镇压或参与各种叛乱，算是给家族打下了根基。
到了曼奇刻尔特战役后，帝国的小亚细亚几乎尽数沦陷于乌古斯人之手时，他们加夫拉斯家最伟大的那位祖宗：西奥多罗·加夫拉斯，站了出来。彼时身为军区将领的西奥多罗凭一己之力在老家拉了万来人大军，在11世纪80年代时成功从突厥人手上收复查尔迪亚军区。而后续科穆宁王朝首帝阿莱克修斯虽然对于他在本都搞自治世袭统治很是不满，但迫于现状也最终承认并册封他为查尔迪亚总督。
可惜后来西奥多罗的幼子君士坦丁继承总督之位后，在与约翰二世·科穆宁的政治斗争中落于下风，外加这位“美男子”皇帝顺利打穿了黑海沿岸，使得查尔迪亚军区失去了自治的根基而重新收归直辖。在这之后，君士坦丁也拖家带口去君士坦丁堡定居，跟一直在那作人质的哥哥格里高利·加夫拉斯会合。而他们兄弟二人也正是现在所有加夫拉斯的前身。
顺带一提，这期间由于怨恨科穆宁夺去了家族领地，有的加夫拉斯先后叛逃到了罗姆苏丹国为塞尔柱家族效忠。比如亚尔斯兰二世后期的大维齐尔伊赫蒂亚尔·阿拉丁·哈桑·伊本·加夫拉斯（ikhtiyaral-dinhasanibnghafras）就是叛逃到罗姆的某位加夫拉斯的儿子。
再到后来，随着加夫拉斯家族的扩大发展，留在帝国境内的他们也产生了比以往都巨大的分歧。最后在安德罗尼卡一世·科穆宁篡位后并开始大步改革时，加夫拉斯家族的政治分歧更是极度分化。
提到加夫拉斯家族的分化就不得不提一下安德罗尼卡一世这位科穆宁王朝的末代皇帝了。从某种意义上，安德洛尼卡是最符合后世东方人幻想的皇帝。他风流倜傥，杀伐果敢，还很敏锐地看出了当时帝国的问题所在，推行了大刀阔斧的改革。这期间具体施行过程也很简单——