新羅三郎義光の子盛義が佐久郡平賀邑を有したことに始まり、子の平賀義信の代に、源氏御門葉として、また御家人筆頭として隆盛を誇った。

義信の子惟義は文治元年（1185年）に相模守となる。2代将軍頼家以降では京都守護として活躍し、幕府から伊勢・伊賀・越前・美濃・丹波・摂津という近畿6ヶ国の守護を任され、更に朝廷の後鳥羽上皇の近臣となり、大内冠者と呼ばれた。
最終官位は修理権大夫で四位に昇進したと考えられる。
惟義は、承久元年（1219年）正月27日、3代将軍実朝の右大臣昇進の鶴岡参宮行列に列したのを最後に記録上から姿を消す。

惟義の弟朝雅は、父義信に次いで武蔵守となり、北条時政の娘（牧の方所生）を妻とし、義父時政の寵愛が災いし、元久2年（1205年）牧の方が朝雅を将軍にしようとした陰謀（牧氏事件）が発覚、京都で誅された。

朝雅の死後（時政の失脚後）も惟義の権威は揺らがなかったが、鎌倉幕府内では執権北条氏の権威が確立し、当初は御家人筆頭であった席次も北条氏の下座に着くようになる。
また惟義の後を継いだ惟信は、承久3年（1221年）の承久の乱で京方に付き、平賀氏は没落した。