Am 4. Juli 1340 wird erstmals ein Pfarrer von St. Stefan-Finkenstein urkundlich erwähnt. Wenn es also um 1340 einen Pfarrer von St. Stefan-Finkenstein gab, dann gab es zu diesem Zeitpunkt auch eine Kirche in St. Stefan.
Die erste Kirche entspricht ziemlich genau dem heutigen Mittelschiff, der Kirchenraum war mit einer flachen Holzdecke versehen. Ob der Altarraum annähernd die heutige Form hatte oder er nur aus einer halbrunden Apsis bestand, das kann heute nicht mehr beurteilt werden. 1472/1480 In der Notzeit des Landes als die türkischen Horden das Land plünderten, wurde die Kirche rasch zu einer Wehrkirche ausgebaut und mit einer hohen Mauer umgeben. Die Kirche wurde erhöht und mit Schießscharten versehen, heute sind noch drei Schießscharten im Chorbereich und eine über dem Mittelschiff zu sehen.
Nach dem großen Dorfbrand von 1764 unter dem auch die Kirche arg gelitten hat, wurde zuerst die südliche Seitenkapelle angebaut und der Turm erhielt den damals der neuesten Mode entsprechenden Zwiebelhelmabschluss.
1774 bekam sie ihr heutiges Aussehen als noch die nordseitige Kapelle angeführt wurde. Innen wurde die Kirche eingewölbt und mit neuen Altären ausgestattet.
Der Hochaltar:
Der Hochaltar zeigt als Herzstück den Pfarrpatron, den heiligen Stephanus, ihm zur Seite stehen die Apostel links Petrus und rechts Paulus und ganz außen links Johannes der Täufer und rechts der hl. Josef mit Kind.
Die heiligste Dreifaltigkeit bildet den krönenden Abschluss des Altares.
Rechter Seitenaltar:
Mariensiebenschmerzenaltar
Dieser Altar dürfte noch vor 1750 entstanden sein und den Brand überlebt haben. Im Mittelpunkt steht die Pieta (Maria mit dem Leichnam Jesu). Die kleinen Bildchen stellen die Sieben Schmerzen Mariens dar. Die beiden weiblichen Figuren sind wohl die hl. Anna und hl. Elisabeth.
Das Aufsatzbild zeigt das Heilig-Haupt-Bild.
Linker Seitenaltar:
Dieser Altar stammt mit großer Wahrscheinlichkeit aus der Burgkapelle Finkenstein, mehr als dreihundert Jahre stand er in der Filialkirche St. Gregor in Goritschach.
Angefertigt wurde er in der Villacher Werkstatt des Meisters Heinrich, er ist mit 1517 datiert und zeigt im geöffneten Zustand die Schutzmantelmadonna flankiert von der hl. Margarethe rechts und links von der hl. Katharina. Im Kaiser, der sich mit den anderen Gläubigen unter den Schutz der Gottesmutter stellt, sehen die Kunsthistoriker Kaiser Maximilian.
Bei geschlossenem Zustand in der Fastenzeit und in der Adventzeit sieht man von links die vier hl. Frauen, die hl. Ursula mit dem Pfeil, die hl. Barbara mit dem Turm, die hl. Agnes mit dem Schaft und die hl. Dorothea mit dem Blumenkorb.
Die Predella:
Die Predella zeigt die Vorfahren Jesu und ist schon im Renaissancestil gemalt. Wer es gemalt hat ist nicht klar, wenngleich manche dies als Werk des Urban Görtscher sehen wollen.
Der Taufstein stammt aus der Gotik. Statue Johannes der Täufer mit Jesus aus dem Jahr 2006 von Goričkič.
In der Turmhalle steht heute das so genannte „Finkensteiner Relief“, (um 1380) möglicherweise war es eine Altarabschrankung.
Es zeigt auf der einen Seite das Martyrium des hl. Stephanus in vier Bildern, während die andere Seite die Verkündigung und den Erzengel Michael als Seelenwäger darstellt.
In der äußeren Vorhalle stehen heute das alte Friedhofskreuz und ein alter Grabstein von 1547 einer Witwe des Wolfgang von Moshaim zu Landschach, eine geb. Erolzheim (eine weitschichtige Verwandte des Siegismunds von Dietrichstein).
Neben der nördlichen Eingangstür stehen zwei gusseiserne Grabsteine, so genannte Mariazellerarbeiten, Grabsteine der Müllnerner Hammerwerke. Ein letzter Hinweis, dass Müllnern im späten Mittelalter und bis herauf ins 19. Jahr ein bedeutender Industrieort war.