稻葉山城所在的稻葉山，在同時代的史料中又被稱為井之口山或金華山。井之口是形象的形容稻葉山的地勢，山下的城下町就叫做井之口町。正如井口一樣，山上的平坦面積很小，本來不方便建城。從十三世紀直到十五世紀中期的兩百多年間，山上只有一座城呰，建造城呰的是鎌倉幕府與北條時政、大江廣元同格的合議制十三人之一，幕府政所令、政所別當二階堂行政。其伊賀光宗、其弟稻葉光資曾先後擔任呰主，而伊賀光宗、稻葉光資就分別是安藤家、稻葉家的直系祖先。安藤家至今仍然可以被稱為伊賀家，安藤守就在歷史上還有另外一個稱呼，叫做伊賀伊賀守。其後在其五世孫二階堂行藤死後，稻葉山呰被廢棄，直到十五世紀中期，由美濃守護代齋藤利永作為居城而重建，遂成為京都以東扼守東山道的天下名城。