Was sind Hidden Layers (Verborgene Schichten) in neuronalen Netzen?

Ein neuronales Netz besteht aus Schichten: einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht. Die verborgenen Schichten, auf Englisch Hidden Layers, stehen in der Mitte. Sie nehmen die Daten der vorherigen Schicht entgegen, verarbeiten sie, und geben das Ergebnis an die nächste Schicht weiter.

Der Name “verborgen” rührt daher, dass diese Schichten weder den direkten Input noch den direkten Output repräsentieren. Man sieht nur, was reingeht und was rauskommt. Was in der Mitte passiert, ist schwer nachzuvollziehen. Das ist das Herzstück des “Black-Box”-Problems bei neuronalen Netzen.

Was passiert in einer Hidden Layer?

Jeder Neuron in einer Schicht berechnet eine gewichtete Summe seiner Eingaben und wendet eine Aktivierungsfunktion an. ReLU ist die gebräuchlichste: sie gibt den Eingangswert zurück, wenn er positiv ist, und Null sonst. Das klingt simpel, ermöglicht aber durch Kombination der Neuronen die Repräsentation beliebig komplexer Funktionen.

Frühe Schichten lernen einfache Muster: bei Bildern Kanten und Kontraste. Mittlere Schichten kombinieren diese zu Strukturen: Augen, Ohren, Winkel. Tiefe Schichten repräsentieren abstrakte Konzepte: “Hund” oder “Auto”. Das ist der Grund, warum tiefe Netze so leistungsfähig sind.

Wie viele Hidden Layers braucht man?

Das hängt von der Aufgabe ab. Für einfache Probleme reicht oft eine Schicht. Für komplexe Bild- oder Sprachaufgaben braucht man dutzende oder hunderte. Moderne Transformer-Modelle haben typischerweise 12 bis 96 Schichten.

Mehr Schichten sind nicht immer besser: Sie brauchen mehr Daten, mehr Rechenleistung und sind schwerer zu trainieren. In der Praxis wählt man die Architektur, die für die Aufgabe etabliert ist, und passt sie an. Die meisten Unternehmens-KI-Projekte bauen auf vorhandenen Architekturen auf. In einer KI-Beratung helfen wir, den richtigen Ansatz zu wählen.