中小農民の経済的成長や組織的抵抗によって、隅田一族は在地領主としての力を失っていきます。天正18年(1590)の溜池築造に関する書状には、「隅田名乗中」に続いて「同地下人中」が書かれています。「地下人中」は中世後半に成長してきた中小農民の結合の姿であり、一族にとって隅田八幡宮の役割も微妙な変化を見せ始めます。村落ごとの堂座の成立が進み、在地領主の隅田一族にとって地域的な連合よりも村支配の重要性が増していくに伴い、隅田八幡宮の役割が徐々に低下していきます。永禄3年(1560)兵火によって隅田八幡宮が焼失しましたが、しばらく再建ができなかったことは一族の力が低下していったことが伺えます。