Was ist eine TPU (Tensor Processing Unit) und wozu dient sie?

Eine TPU, kurz für Tensor Processing Unit, ist ein spezialisierter KI-Chip, der von Google entwickelt und ab 2016 intern eingesetzt wurde. Er wurde spezifisch für die Art von Matrizenoperationen (Tensor-Operationen) entwickelt, die beim Training und der Inferenz von Machine-Learning-Modellen anfallen.

Google entwickelte TPUs, weil der wachsende Bedarf an Rechenleistung für eigene KI-Workloads (Suche, Spracherkennung, Übersetzung) mit kommerziellen GPUs nicht wirtschaftlich skalierbar war. Eine maßgefertigte Lösung, optimiert für den eigenen Workload, war effizienter.

TPU vs. GPU: die Unterschiede

GPUs sind flexibel: Sie wurden für Grafik entwickelt und haben sich für ML als gut geeignet erwiesen. TPUs sind spezialisierter: Sie können weniger Aufgaben, aber die Aufgaben, für die sie gemacht wurden, führen sie schneller und energieeffizienter aus.

Konkret: TPUs sind besonders gut für große Matrix-Multiplikationen, wie sie bei Transformer-Modellen anfallen. Für Training und Inferenz von Sprachmodellen kann eine TPU-Pod einem GPU-Cluster erheblich überlegen sein. Für unregelmäßigere Berechnungen oder Forschungsarbeiten, die flexible Hardware brauchen, sind GPUs oft besser.

Verfügbarkeit

Google stellt TPUs über Google Cloud (Google Cloud TPUs) und Kaggle (kostenlos für Wettbewerbe) zur Verfügung. Apple nutzt eine eigene Variante in seinen Neural Engines in iPhone- und Mac-Chips. Andere Unternehmen wie Groq, Cerebras oder SambaNova entwickeln eigene, vergleichbare Chips.

Relevanz für Unternehmen

Für die meisten Unternehmensanwendungen ist die Hardware-Entscheidung nicht relevant, da KI über Cloud-APIs genutzt wird. Wer sehr große Trainingsworkloads in der Cloud betreibt, sollte aber TPUs als Option prüfen. Bei der Kostenoptimierung von KI-Infrastrukturen helfen wir weiter.