इस शिव मंदिर को सीताराम सिंह ने 1880 में बनवाया था। उन्होंने यह मंदिर अपने पुत्र शिव कुमार सिंह के जन्म के अवसर पर बनवाया। इस मंदिर में शिवलिंग के अतिरिक्त भगवान गणेश एवं देवी पार्वती स्वरूपा एक मूर्ति स्थापित है। परिसर की सबसे नई मूर्ति भगवान बुद्ध की है जिसे परिसर के प्रवेश द्वार के पास स्थापित किया गया है।

यह मंदिर नागर स्थापत्य शैली की याद दिलाता है। इसमें अनेक मेहराबें हैं और इसका शिखर अति विशिष्ट है। शिखर के ऊपर दो शेर बने हुए हैं जो एक दूसरे को देख रहे हैं। ऐसा अनुमान है कि यह दृश्य परिवार से जुड़ी किसी किंवदंती को दर्शाता है। महाशिवरात्री पर्व, श्रावण पूजा एवं मलमास अनुष्ठान यहाँ निष्ठा से मनाया जाता है।

मंदिर के पास एक सुंदर पोखर और एक पत्थर की स्मारक है। नरेंद्रपुर बनने की तीन-सौंवीं वर्षगांठ पर इस स्मारक का निर्माण किया गया। इस स्थान पर पिछले सौ वर्षों से बड़हुलिया गाँव के पुजारी पूजा अनुष्ठान करते आयें हैं।