四谷門は現在のJR四ツ谷駅の駅前のあたりにありました。高麗門をくぐって右に曲がると渡櫓門がある枡形門でしたが、門と石垣のほとんどは明治時代に撤去されて、現在は北側の石垣の一部が残っています。