Nach § 40 Verwaltungsverfahrensgesetz (VwVfG) und entsprechenden Vorschriften in den Landesverwaltungsverfahrensgesetzen ist die Behörde verpflichtet, „ihr Ermessen entsprechend dem Zweck der Ermächtigung auszuüben und die gesetzlichen Grenzen des Ermessens einzuhalten“. Beachtet dies die Behörde bei ihrer Entscheidung nicht, handelt sie ermessensfehlerhaft und damit rechtswidrig. Ihre Maßnahme kann dann nach Klageerhebung von dem zuständigen Verwaltungsgericht aufgehoben werden (§§ 113, 114 Verwaltungsgerichtsordnung). Die Behörde ist allerdings berechtigt, Ermessenerwägungen noch bis im verwaltungsgerichtlichen Verfahren nachzuliefern und damit gegebenenfalls einen ursprünglich rechtswidrigen Verwaltungsakt zu heilen. Die Behörde kann ihr Ermessen also nicht „frei“, sondern nur „pflichtgemäß“ ausüben, das heisst in einer dem Sinn und Zweck der Ermächtigung entsprechenden Weise. Die Ermessensfehler sind im einzelnen:

Ermessensüberschreitung: Wenn die Behörde im Rahmen ihrer Ermessensausübung eine Maßnahme trifft, die von der Ermächtigungsgrundlage nicht gedeckt ist. So darf nach § 12 Bundes-Immissionschutzgesetz (BImSchG) die Genehmigung einer immissionsschutzrechtliche Anlage generell mit Bedingungen, Auflagen und Befristungen verbunden werden; ein Widerrufsvorbehalt ist aber lediglich bei Anlagen zu Erprobungszwecken (§ 12 Abs. 2 BImSchG) sowie bei Teilgenehmigungen (§ 12 Abs. 3 BImSchG) zulässig. Versieht die Behörde die Genehmigung auch in anderen Fällen mit einem Widerrufsvorbehalt, begeht sie eine Ermessensüberschreitung und handelt rechtswidrig. Denn sie hat die Genehmigung mit einer Nebenbestimmung verbunden, die das Gesetz nicht erlaubt.

Ermessensfehlgebrauch: Wenn die Behörde sich nicht ausschließlich vom Zweck der Ermessensvorschrift (der ratio legis) leiten lässt, also die gesetzlichen Zielvorstellungen außer acht lässt oder die verschiedenen öffentlichen und privaten Interessen, die nach den einschlägigen gesetzlichen Bestimmungen zu berücksichtigen sind, nicht in ihre Erwägungen aufnimmt. Ermessenfehlgebrauch liegt beispielsweise vor, wenn eine Behörde bei der Untersagung des Betriebs einer Anlage, die ohne die erforderliche Genehmigung betrieben wird, nicht ermittelt, ob von der Anlage überhaupt Gefahren ausgehen.

Ermessensunterschreitung: Wenn die Behörde bei ihrer Entscheidung überhaupt keine Ermessenserwägungen anstellt, weil sie sich irrig für gebunden hält. Eine solche Ermessensunterschreitung liegt zum Beipiel vor, wenn die Gentechnikaufsichtsbehörde bei der Anwendung des § 26 Gentechnikgesetz (GenTG) irrig von einem Fall der Pflichtuntersagung nach Absatz 4 der Vorschrift ausgeht, obwohl nur ein Fall fakultativer Untersagung nach Absatz 1 vorliegt.

Sonstige Ermessenfehler: Weitere gesetzliche Grenzen des Ermessens, bei deren Überschreitung die von der Behörde getroffene Entscheidung fehlerhaft ist, ergeben sich insbesondere aus dem Prinzip der Verhältnismäßigkeit und den Grundrechten. Bei den Grundrechten wiederum ist vor allem der Gleichheitssatz (Art. 3 Abs. 1 Grundgesetz) zu beachten. Das Gleichbehandlungsgebot verpflichtet die Verwaltung zu gleichmäßiger Ermessensausübung. Wenn sich eine feste Verwaltungsausübung gebildet hat, so ist die Behörde an ihre bisherige Praxis gebunden und darf von ihr nicht ohne zureichenden sachlichen Grund abweichen (sogenannte Selbstbindung der Verwaltung). Daher darf die Behörde nicht von einem Eigentümer den Abbruch eines baurechtswidrig errichteten Gebäudes verlangen, wenn sie gegen andere Eigentümer unter den gleichen Voraussetzungen untätig bleibt. Häufig wird sich eine solche Selbstbindung der Verwaltung auf der Grundlage von ermessensbindenden Verwaltungsvorschriften bilden. Nach allgemeiner Auffassung kann sich eine Selbstbindung der Verwaltung nur aus einer rechtmäßigen, nicht aber aus einer rechtswidrigen Verwaltungspraxis ergeben. Es gibt keine Gleichheit im Unrecht. Darüber hinaus ist jeder Verstoß gegen zwingende gesetzliche Bestimmungen des gesamten deutschen wie auch des europäischen Rechts ein Ermessenfehler. Auch ein Verstoß gegen Verfahrensvorschriften kann zu einem Ermessensfehler führen, etwa wenn die Ermessensentscheidung ergeht, ohne dass eine erforderliche Anhörung (vgl. § 28 VwVfG) durchgeführt wurde. Nach § 46 VwVfG führen Verfahrensfehler bei Ermessensvorschriften im Gegensatz zu Verfahrensfehlern bei gebundenen Entscheidungen eher zu einer gerichtlichlichen Aufhebung.