Es geht zurück auf eine Stiftung der Grafenfamilie von Isenburg-Limburg, die wenig vor 1223 erfolgt sein muss. Die ersten Schwestern kamen aus dem Kloster Scheda, das auch den leitenden Propst stellte. Eine Lösung vom Orden von Prémontré und die Umwandlung in ein freiweltliches Damenstift geschahen schon vor dem Jahr 1500, als sich etwa privates Eigentum unter den adeligen Konventualinnen eingebürgert hatte. 1628 versuchten die Prämonstratenser vergeblich, Elsey zurückzugewinnen, in dessen Stiftsgemeinschaft inzwischen drei Konfessionen koexistierten.
Die Kirche dient heute als evangelisch-lutherische Pfarrkirche. Der Westturm der spätromanischen Halle mit Querhaus wurde allerdings erst 1751 errichtet, der Altarraum 1881/82 angefügt. Auch ein Teil der ehemaligen Wohn- und Wirtschaftsgebäude, die im 17. Jahrhundert neu erbaut wurden, hat sich erhalten, darunter fünf Kurienhäuser der Stiftsdamen.