之前寫了不少關於安倍晴明的內容，說明了現實生活中的安倍晴明與其說是一位道行精進的陰陽師，不如說是一位人情達練的政治掮客。在晴明辭世之後的很長一段時間內，作為以陰陽道為家業的安倍一門，也沒有像現在網路上所傳的那樣，以陰陽寮為青氈舊物。
甚至可以說，在平安朝後期，作為陰陽世家的安倍一族，幾乎完全被賀茂一族壓倒。
這一時期安倍家的譜系是：在安倍晴明之後長子吉平先後擔任陰陽博士、陰陽助與主計頭之職，據《小右記》“長和五年（1016AD）正月八日”條記載，此時安倍吉平於乃翁晴明一樣‘’的敘從四位下‘’，這在當時的輿論中被視為：
‘’朝恩之至也。陰陽家為無比肩之者歟！”
吉平卒於萬壽三年（1026AD），享年七十三歲。也就是說，他和自己的父親一樣，一生沉淪下僚，直到垂暮之年才得以“風光”了一回。長和六年（1017AD），安倍晴明的次子吉昌擔任陰陽頭，而這次人事安排也完全是老朋友藤原道長的幫忙。
作為安倍家戶主的吉平有三個兒子：時親、章親、奉親三子。長子安倍時親活了五十一歲，最高官職為主計頭，沒有擔任過陰陽頭；次子安倍章親在叔父吉昌去世後擔任天文博士，後升任陰陽頭，但卻乏嗣無後；三子安倍奉親則子孫繁盛，開創了安倍一門的分家。
最早的一副安倍晴明畫像，式神手持火炬，暗示著陰陽師其實屬於黑暗的世界。
現代人想象的安倍晴明和源博雅。
之後，安倍時親的兒子有行、國隨二人也曾在陰陽寮供職——有行擔任陰陽權助兼陰陽博士兼主稅助，從這種工作搭配上看，作為技術官僚，有行的業務素養是相當好的；國隨先是擔任陰陽博士，在兄長去世後擔任陰陽頭。
但是，從整體形勢來看，在院政時代，安倍家族能夠擔任陰陽頭者也不過如此幾人而已，而大部分時間作為陰陽寮的堂官，陰陽頭這個職務都有賀茂家佔據。而且，安倍國隨擔任陰陽頭陰陽頭期間賀茂道言已經擔任了更高階的主計頭，而作為安倍一族的族長，有行之子泰長在日後雖然擔任陰陽頭，但上面還是有著主稅頭賀茂廣平這樣的前輩存在，可以說整個平安朝後期，或者說，院政時代，安倍家都被賀茂一門壓得死死的。
漏屋偏逢連陰雨，更不妙的是，安倍家內部也是鬥爭正激烈。比如永保四年（1084AD，也就是應德元年）安倍有行卒後，其子泰長只有十七歲，還只是一個天文擬得業生。次年泰長便開始受到了堂兄安倍兼吉（國隨之子）的威脅，後者意圖奪取本該屬於泰長的權陰陽博士之職。經過一番爭奪後泰長保住了差使，但是也沒有什麼前途。證據就是此後的六七年間他一直原地不動，沒有升遷。寬治七年（1093AD），權天文博士的職務空了下來，泰長想補上這個缺，於是提出申請，但是直接就被“無兩博士兼任的先例”為由給推了回去。
對此，安倍泰長沉下心，好好地研究了祖上發跡的歷程，最終明白，只有圈子對了，事情才能辦成。於是泰長開始向之前的恩主，藤原氏攝關家門下頻頻走動。這個時期，泰長只不過是個二十來歲的年輕人，但是卻要像劉姥姥一樣的曵裾朱門，其中的心酸恐怕也是不言而喻。不過有耕耘就有收穫，當時關白藤原師通的接班人忠實，比泰長年輕十歲，各方面都太年輕，太單純，所以也希望有泰長這麼個門客在給自己出些主意。
藤原忠實，在他這一代目睹了攝關家三百年天下的式微。
國村隼先生在《平清盛》中扮演的藤原忠實乃是一大看點。
機會終於來了——承德三年（1099AD），關白藤原師通薨，只有二十二歲的藤原忠實成為藤氏長者。此時忠實雖然擔任內覽（類似於同時期宋朝的銀臺司、大明朝的通政使），但官職卻只是權大納言，而不是關白，這意味著攝關家正在失去原有的權力。
這要講一個道理，在任何時代，任何一個社會。手中握有權力的統治者對於科學和藝術都是把玩或利用。而專業人即使是再優秀、再出色，放到統治者那裡也是“倡優蓄之”——唐明皇對李太白的詩歌是如此；盧德威克摩羅對達芬奇的藝術是如此；康熙大帝對傳教士帶來的科學也是如此······政治家們“禮賢下士”的時候，十有八九都是在人生低谷。藤原忠實和安倍泰長之間的關係也是一樣。
根據藤原忠實的日記《殿歷》中記載，從長治元年開始，安倍泰長便多次出現在攝關家的各種活動中。而忠實如此器重泰長的原因也在是年“十月三十日 泰山府君祭”條中說得很清楚：
“故御堂（藤原道長）御時，如此祭時必有御拜，晴明勤仕星祭時星下也。”
也就是說，之前藤原道長經常在這一天舉行由安倍晴明主持的祭祀活動。忠實這麼做，完全是為了模仿祖先，希望生命能夠保佑自己像御堂關白那樣再造攝關家的輝煌。既然道長要有晴明來輔佐，那我繼承了攝關家榮華的忠實就要有繼承了安倍家的泰長來輔佐。
這一招不知是泰長有意為之還是如何，反正從今後他和藤原忠實都撈到了不少實惠。泰長與康和三年（1101）兼任雅樂頭，並於四年後的長治二年，早早地將權陰陽博士的職務讓給了只有十六歲的長子安倍政文，以防再出現自己童年時的那一幕。而自己的恩主藤原忠實也在第二年如願以償的當上了關白。
安倍泰長卒後，長子政文接班，但誰料想三年之後年僅三十五歲的政文突然離世，安倍家的嫡系再次陷入困境——此時泰長尚有一子，名為泰親，但卻是個什麼都不懂的少年。只好由長自己二十四歲的權天文博士堂兄安倍兼時照看，《安倍氏系圖》的記載就是：
“（泰親）十二歲而喪父泰長，十五歲而喪兄文政，仍晴通（兼時）加首服教授當道事。”
不過，後來泰親和兼時的關係處得很糟糕，在長承元年（1132AD），兄弟二人為了祖宅歸屬問題打官司，結果泰親勝訴，不僅繼承了祖業，而且還從他這一代開始，將陰陽頭的職務牢牢的捏在了安倍一族手中。
松本洋一繪製的《安倍泰親圖》。
區域性放大。
在那個時代，日本最恐怖怪物，乾綱獨斷達五十六年的白河天皇以“我死後哪怕洪水滔天”的心態，不遺餘力的為亂世的到來創造條件。之後宮廷內亂不絕、武家開始崛起，世道日益動盪。在這個中下層貴族大量破產的時代，安倍泰親卻利用自己的人格魅力在諸多勢力之間長袖善舞，最終給自己的家族撈了個盆滿缽滿，甚至可以說，如果沒有泰親在這個時代的努力，那安倍家恐怕就會和賀茂家一樣隨著大時代的終結而走向沒落，最終徹底消失在歷史之中。
安倍泰親在亂世中活下去的秘訣是：第一，要站隊；第二，要會站隊。泰親第一次站隊的目標還是攝關家、在當時藤原忠實已老，攝關家的大權在幼子藤原賴長手中。被稱為“惡左府”的賴長留有自己的日記《臺記》存世，其中泰親的名字頻繁出現，內容全是命令泰親在自己的私宅，也就是安倍晴明的故居中舉行各種陰陽道的祭祀。其中流傳最廣的是“惡左府讀《易》”的傳說：
當時社會上流行著一種說法，認為人過五十之後才能學《周易》，但是賴長是有著“日本第一大學生”的天才，平日裡也對這些“封建迷信”不以為然，基本是想信就信，不相信時便向東洋大海里拋。早早就把《周易》看了不知道多少遍。但是在自己人生的最後幾年，賴長可以說是眾叛親離，連自己的父親都不再待見這個小兒子，尤其可怕的是年僅十七歲的近衛帝暴崩之後，素來看自賴長不順眼的鳥羽上皇和美福門院對外聲稱，皇兒託夢，說自己是讓惡左府藤原賴長魘了······背上弒君嫌疑的賴長十分驚恐，開始信神信鬼，於是就認為是自己讀《易經》太早，折損了福報。於是就讓安倍泰親替自己去作泰山府君祭。
日本歷史上最具爭議的人物，惡左府藤原賴長。
這個傳說，不是見得風就是雨，而是有一定的根據。據《臺記》記載，在久壽二年（1155AD）五月十四日，藤原賴長確實提到了在泰親家中舉行為期兩夜的泰山府君祭。但賴長的八字還是弱了點，第二年後白河帝登基，改年號為保元，賴長拉上另一位上皇崇德院發動政變，最終兵敗身死。
因為這個事件前前後後都有著美福門院的參與，所以這位鳥羽上皇的寵妻、近衛帝的孃親就被醜化為九尾狐狸——作為一個妖孽，她先後化身為斑足王的妻子華陽夫人、商紂王的寵妃蘇妲己、周幽王的豔妻褒姒······先後滅亡了天羅、商、周，後來東渡日本，潛入鳥羽院的宮中，繼續禍亂朝綱——當然，編造這個謠言的人不敢指名道姓的說“狐狸精就是美福門院”，於是就杜撰了一個“玉藻前”的名字，並且說最終鎮壓了玉藻前的大救星，就是安倍泰親。
安倍泰親降服玉藻前。
保元之亂以後，不知透過何種途徑，安倍泰親似乎很快就改換了門庭，成了後白河帝的近臣。最明顯的是，保元之亂的同年，泰親的長子季弘就擔任了權陰陽博士。兩年後次子業俊擔任權天文博士。此期間泰親本人也是不顯山不顯水的平步青雲從權陰陽助升任大舍人頭、大膳權大夫。永壽元年（1182AD），泰親終於以七十三歲的高齡兼任陰陽頭，可謂如願以償。
而後白河帝禪位後，又跟安倍泰親約定，每月在土御門町的家中舉辦為天皇家祈禱的泰山府君祭，也就是“每月公家泰山府君御祭”。這種與天皇家緊密捆綁的措施不僅為傳播各種安倍晴明傳說提供了了權威和便利，也為家族獲取了經濟上的實惠——而作為犒勞，泰親被賞賜了多個莊園，比如伊紀國鳴神社和近江國龍華莊。家中子孫則被分至各莊擔任領家，這可視為從今後安倍家有了經濟上安身立命的保障從而成為了“與國同休”的千年世家。