Was bedeutet "TF-IDF"?
Inhaltsverzeichnis
TF-IDF steht für Term Frequency-Inverse Document Frequency. Es ist eine Methode, um herauszufinden, wie wichtig ein Wort in einem Text im Vergleich zu einer größeren Sammlung von Texten, oft als Korpus bezeichnet, ist.
Wie TF-IDF funktioniert
TF-IDF besteht aus zwei Hauptteilen:
-
Term Frequency (TF): Das misst, wie oft ein Wort in einem bestimmten Dokument vorkommt. Wenn ein Wort häufiger vorkommt, wird es als wichtiger im Dokument angesehen.
-
Inverse Document Frequency (IDF): Das prüft, wie häufig oder selten ein Wort in allen Dokumenten ist. Wörter, die in vielen Dokumenten häufig vorkommen, bekommen einen niedrigeren Wert, während seltene Wörter einen höheren Wert bekommen.
Warum TF-IDF verwenden?
TF-IDF hilft dabei, die relevantesten Wörter in Dokumenten zu identifizieren. Das kann nützlich sein für Aufgaben wie:
- Schlüsselwörter für Zusammenfassungen finden
- Suchergebnisse verbessern
- Inhalte klassifizieren
Durch die Kombination beider Teile bietet TF-IDF ein klares Bild davon, welche Wörter in einem Dokument im Vergleich zu einer größeren Sammlung von Texten hervorstechen.