我個人觀點是東羅馬帝國（拜占庭帝國），因為這個是羅馬帝國最直接、合法且持續的繼承帝國。
東羅馬帝國是完整延續了羅馬帝國的法定國號的，也就是「元老院與羅馬人民」（Senatus Populusque Romanus, SPQR），並且也系統性的承襲了之前使用的羅馬法典、行政體系、希臘-羅馬文化傳統及東正教信仰等等，且帝國的統治時間超過千年，從公元395年到公元1453年，直到君士坦丁堡陷落，東羅馬帝國才從世界舞台之上落幕。
西羅馬帝國也是羅馬帝國的分裂產物，是西部正統的政權，但是它存在的時間和東羅馬帝國相比太短了，從公元395年到公元476年；加洛林帝國和神聖羅馬帝國雖然有著羅馬的名義，但是在法理和文化上面存在明顯差異，並且兩個帝國的定義大多是中世紀的教會賦予的，也是教權政治建構的體現，所以現在歷史學界往往將加洛林帝國和神聖羅馬帝國視為羅馬帝國的象徵性繼承並不是正統的那種延續性。
評判是不是真正「羅馬」的核心標準
我評判哪個帝國最符合「羅馬帝國」，有著三個維度的參照：
- 法理的連續性：就是帝國是否是直接繼承了羅馬帝國的政權+國號+法統；
- 文化制度：是否和羅馬帝國的法律、行政、語言、宗教體系一致；
- 國際承認度：在同時期的各個文明之間，是否承認了這個政權是羅馬帝國的延續。
這三個維度就能十分客觀的來分析西羅馬帝國、東羅馬帝國、加洛林帝國、神聖羅馬帝國，哪個最符合真正的羅馬帝國，避免了各種主觀臆斷。
對於羅馬帝國感興趣的可以看看：羅馬帝國的軍事制度有什麼特點？為什麼可以使得羅馬帝國霸權五個世紀之久？
四個帝國的詳細分析
（一）西羅馬帝國（395–476年）
本質上是羅馬帝國的正統分支，可惜的是法統中斷。
法理：在公元395年狄奧多西一世的遺囑出現之後，帝國被分割，西羅馬帝國用「元老院與羅馬人民」作為自己的國號，定都於米蘭，後面遷都到拉文納，確實是屬於羅馬帝國的合法西部政權。
局限性：疆域僅僅是原來羅馬帝國的西部版圖，在公元476年被日耳曼將領奧多亞塞打敗，奧多亞塞廢黜了西羅馬帝國的帝王羅慕路斯·奧古斯都，標誌了西羅馬帝國的終結，法統也消失了。
歷史定位：作為羅馬帝國分裂初期的產物，雖然確實具備一定的正統性，但是帝國存在時間太短，不能算作是「羅馬帝國」的最終繼承帝國。
（二）東羅馬帝國（395–1453年）
本質上是無可爭議的羅馬帝國正統的延續。
法理：從公元395年開始，東羅馬帝國就用SPQR作為自己的國號，首都君士坦丁堡（「新羅馬」），之後的歷代皇帝都是稱自己是「羅馬人的皇帝」，從來沒有改變過自己的國體。
文化制度：東羅馬帝國不同於西羅馬帝國，它完整保留了之前的《羅馬民法大全》、元老院制度雛形、希臘化行政體系；官方語言雖然從拉丁語慢慢變為希臘語，但是在法律和典章制度上面根植於羅馬傳統；東正教成為東羅馬帝國的國教，也是延續了帝國宗教框架。
國際認可度：獲得了同一時期阿拉伯帝國、斯拉夫諸國、早期西歐政權的承認和認可，被認為是羅馬帝國，在公元1453年被鄂圖曼征服之後，東羅馬帝國的法統、文化遺產都被東正教世界和後世學術研究明確界定為羅馬。
學界觀點：東羅馬帝國雖然叫做拜占庭帝國，但是這個稱謂是公元16世紀後史學給的稱呼，但是東羅馬帝國一直把自己視作是羅馬帝國，現在史學界，比如《劍橋古代史》裡面就明確的寫了東羅馬帝國的定位就是羅馬帝國的直接延續。
（三）加洛林帝國（800–888年）
本質上是教權加持的象徵性宣稱。
宣稱：在公元800年的時候，查理曼通過教皇三世的加冕，自稱為「羅馬人的皇帝」，想要通過神聖合法性來復興西羅馬帝國的權威，鞏固自己的統治穩定。
法理：在查理曼宣稱自己是「羅馬人的皇帝」的時候，東羅馬帝國還在世界舞台之上，並且對此強烈反對，這次加冕也被東羅馬帝國視作是僭越；並且加洛林帝國沒有採用SPQR國號，其內部運行的行政、法律體系皆是日耳曼習慣法為核心驅動，拉丁文化影響小。
歷史評價：加洛林帝國的「羅馬性」不高，主要是依賴教皇單方面的神聖合法性授權，但是對於帝國的法統和制度方面，都沒有曾經羅馬帝國的樣子，其實更像是金國和南宋的關係，雖然疆域是曾經羅馬帝國的，但是正統性肯定不高。現在史學界更傾向於加洛林帝國是法蘭克王國的升級，不是羅馬正統繼承。
對於加洛林帝國感興趣的可以看看：加洛林王朝為什麼和羅馬教廷的關係這麼親密和緊密？
（四）神聖羅馬帝國（962–1806年）
本質上是名實分離的政治建構。
名稱演變：從公元962年奧托一世被教皇加冕開始，公元1157年的時候腓特烈一世始稱「神聖羅馬帝國」，強調神聖兩字，表明自己是合法繼承的。
本質問題：
地理文化：神聖羅馬帝國的疆域主要是日耳曼尼亞，但這地方從來沒有給羅馬帝國制度化過，也就是從沒做過羅馬帝國行省，羅馬含量低。
政體結構：神聖羅馬帝國的政治格局長期處於諸侯割據混戰，沒有統一的法律體系、貨幣體系、常備軍，伏爾泰評價它是「既不神聖，也不羅馬，更非帝國」。
法理問題：神聖羅馬帝國的皇帝是選帝侯推舉的，和之前羅馬帝國世襲/元老院推選制度完全相反了，並且東羅馬帝國當時還在，直到東羅馬帝國被滅之前，都沒有承認過神聖羅馬帝國的正統性。
歷史定位：神聖羅馬帝國本質上就是一個中歐封建邦聯，「羅馬」這個由頭是教權和王權博弈的結果，現在的《牛津歐洲史》之中明確講了，神聖羅馬帝國並不是羅馬帝國的繼承者。
總結
所以說，我個人覺得東羅馬帝國才算是羅馬帝國的真正延續，因為它的法統、制度、國際承認度都是無可爭議的，A.H.M. Jones《羅馬帝國晚期》、Warren Treadgold《拜占庭簡史》都將拜占庭帝國（東羅馬帝國）認作是羅馬文明的直接載體。
再接下來才是西羅馬帝國，可惜的就是法統中斷了，略有瑕疵。
再再接下來則是加洛林帝國，和「羅馬」沾邊的就是版圖曾經是羅馬帝國的一部分，並且有著教會的授權，但是其它都和羅馬帝國相差甚遠，瑕疵略多。
神聖羅馬帝國就是個樂子了。
對於羅馬感興趣的可以看看：