1874年3月，日本藉口「牡丹社事件」出兵侵犯台灣，這是近代中日關係上發生台灣問題的濫觴。1895年4月，日本經由甲午戰爭，逼迫清廷簽訂《馬關條約》，割讓台灣及澎湖列嶼，日本隨後在台灣開始50年的殖民統治。

1945年8月，中國抗日戰爭勝利，根據《開羅宣言》、《波茨坦公告》的相關規定，日本必須放棄對台灣、澎湖的一切權利。

由於國共內戰，1949年國民政府遷台，從此海峽兩岸分治。1951年9月，美國刻意排除海峽兩岸當局參與，主導絕大多數出席舊金山會議的國家跟日本簽訂《舊金山和約》。該和約僅規定日本放棄對台灣、澎湖列嶼的一切權利，卻隻字不提將台、澎歸還給中國，明顯違反《開羅宣言》、《波茨坦公告》等協議。1952年4月，中華民國與日本簽訂「中日和約」。

1971年10月，大陸取代台灣在聯合國的席位。1972年2月美國總統尼克森訪問大陸後，日本政府希望盡快與中華人民共和國建交；同年9月29日雙方發表《中日聯合聲明》，宣布邦交正常化，日本政府明確承認「中華人民共和國政府是中國唯一合法政府」；「台灣是中華人民共和國領土不可分割的一部分，日本政府充分理解和尊重中國政府的這一立場」。1978年8月，中日兩國簽署《中日和平友好條約》，再次確認《中日聯合聲明》的各項原則。1998年11月，雙方發表《中日聯合宣言》，日方「重申中國只有一個。日本將繼續只同台灣維持民間和地區性往來」。這三份文件，從政治上、法律上及歷史事實上，解決了中日關係中的台灣問題。

然而，日本外交政策追隨美國，奉行「以台制中」戰略，一再修正「美日安保同盟」的定義，矛頭針對中國大陸。又由於台灣位於日本進口中東石油及各類資源的航線上，日本擔心台灣如與大陸融合，會威脅其「海上生命線」，遂希望兩岸保持分裂狀態；同時，日本社會存在「台灣情結」，因此，中日台關係始終存有以下問題。

一是將台灣列入美日安保範圍。1999年5月，日本國會通過《周邊事態措施法》等相關法案，企圖以向美國提供「後方支援」的形式，建構美日聯合干預台海局勢的戰略架構。2005年2月，美日安保2加2會議將「台灣海峽的問題」列入美日在亞太地區的「共同戰略目標」，這意味一旦「台海有事」，日本即可配合美國武力介入。

二是提升交往層級，加強政治關係。2001年4月、2004年12月，日本允許李登輝以「治病」、「觀光」名義赴日活動，創下台灣卸任領導人赴日的先例。2003年，森喜朗訪台，成為首位訪台的日本前首相。

三是開啟戰略對話，開展軍事互動。2001年起，台日加強了軍事指揮、通訊和情報合作；2002年，日本允許自衛隊退休將領以個人身分參加台灣的軍事演習；2003年日本派自衛隊少將以「提前退役」形式駐台，台灣也首次派將軍級軍官常駐日本。 

近年來，日本對中國大陸快速崛起的疑慮加重，右翼保守勢力抬頭，安倍政府乃進一步強化美日同盟的力度，繼續利用台灣牽制中國。