TF-IDF-Termgewichtung

Die Beziehung w_t,d=tf(t,d)\cdot\log\frac{N}{df(t)} fasst TF-IDF gewichtet einen Term nach seiner Häufigkeit in einem Dokument und seiner Seltenheit im Korpus. zusammen. Lies sie als Modell für klar definierte Größen, nicht als automatische Aussage über jede reale Situation. Im Beispiel Bei N=1000 Dokumenten und df=10 ist idf=ln(100)=4,605. Für tf=3 ergibt die unnormalisierte Gewichtung 3·4,605≈13,82. werden die Symbole mit konkreten Werten verbunden und das Ergebnis wird fachlich interpretiert. Gültigkeitsgrenze: Die Grundform multipliziert lokale Termhäufigkeit mit inverser Dokumenthäufigkeit. Häufige Terme innerhalb eines Dokuments erhalten Gewicht, während Terme, die in fast allen Dokumenten vorkommen, abgewertet werden. Praktische Implementierungen verwenden oft Glättung, Quelle: scikit-learn User Guide, TfidfTransformer and TfidfVectorizer.

Schreibe zuerst die gesuchte Größe und alle gegebenen Werte mit ihren Bezeichnungen auf. Setze sie in w_t,d=tf(t,d)\cdot\log\frac{N}{df(t)} ein und prüfe, ob die Einheiten zusammenpassen. Das Beispiel Bei N=1000 Dokumenten und df=10 ist idf=ln(100)=4,605. Für tf=3 ergibt die unnormalisierte Gewichtung 3·4,605≈13,82. liefert eine Rechenprobe: Werte Formel und Ergebnis müssen dieselbe Größenordnung und Bedeutung ergeben; runde erst am Ende. Gültigkeitsgrenze: Die Grundform multipliziert lokale Termhäufigkeit mit inverser Dokumenthäufigkeit. Häufige Terme innerhalb eines Dokuments erhalten Gewicht, während Terme, die in fast allen Dokumenten vorkommen, abgewertet werden. Praktische Implementierungen verwenden oft Glättung, Quelle: scikit-learn User Guide, TfidfTransformer and TfidfVectorizer.

Die Formel gilt nur, wenn die Größen so definiert sind wie in der Quelle und im Hintergrundtext. Prüfe insbesondere Randfälle, Messbedingungen und ob ein Näherungszeichen statt Gleichheit gemeint ist. Ein formal korrektes Einsetzen kann trotzdem fachlich falsch sein, wenn diese Voraussetzungen verletzt werden oder die betrachtete Population beziehungsweise Systemgrenze wechselt. Gültigkeitsgrenze: Die Grundform multipliziert lokale Termhäufigkeit mit inverser Dokumenthäufigkeit. Häufige Terme innerhalb eines Dokuments erhalten Gewicht, während Terme, die in fast allen Dokumenten vorkommen, abgewertet werden. Praktische Implementierungen verwenden oft Glättung, Quelle: scikit-learn User Guide, TfidfTransformer and TfidfVectorizer.

Die angegebene Einheit lautet: dimensionsloses Gewicht; N und df Anzahlen; Logarithmusbasis dokumentieren. Vor dem Einsetzen müssen alle Werte auf ein konsistentes Einheitensystem gebracht werden; Anzahlen, Prozentangaben und dimensionslose Verhältnisse sind dabei nicht austauschbar. Die Variablenliste benennt die Rolle jedes Symbols. Einheitenkontrolle erkennt viele Fehler, ersetzt aber nicht die Prüfung, ob die Formelannahmen erfüllt sind. Gültigkeitsgrenze: Die Grundform multipliziert lokale Termhäufigkeit mit inverser Dokumenthäufigkeit. Häufige Terme innerhalb eines Dokuments erhalten Gewicht, während Terme, die in fast allen Dokumenten vorkommen, abgewertet werden. Praktische Implementierungen verwenden oft Glättung, Quelle: scikit-learn User Guide, TfidfTransformer and TfidfVectorizer.

Ein Vergleich hilft, wenn beide Größen dieselbe Aufgabe beantworten, aber unterschiedliche Eigenschaften betonen. Berichte Definition, Eingabedaten, Schwelle oder Aggregation zusammen mit dem Zahlenwert. Die Quelle scikit-learn User Guide, TfidfTransformer and TfidfVectorizer. stützt die hier verwendete Definition; bei anderen Konventionen können Ergebnisse abweichen. Verwende die Kennzahl deshalb passend zum konkreten Lern- oder Analyseziel. Gültigkeitsgrenze: Die Grundform multipliziert lokale Termhäufigkeit mit inverser Dokumenthäufigkeit. Häufige Terme innerhalb eines Dokuments erhalten Gewicht, während Terme, die in fast allen Dokumenten vorkommen, abgewertet werden. Praktische Implementierungen verwenden oft Glättung, Quelle: scikit-learn User Guide, TfidfTransformer and TfidfVectorizer.