Lihat sumber Tf–idf

{{lowercase title|title=tf–idf}}
Dalam [[temu balik informasi]], '''tf–idf''', '''TF*IDF''', atau '''TFIDF''' (singkatan dari {{lang-en|'''term frequency–inverse document frequency'''}}, {{lang-id|'''frekuensi istilah–inversi frekuensi dokumen'''}}) adalah ukuran statistik yang menggambarkan pentingnya suatu istilah terhadap sebuah [[dokumen]] dalam sebuah kumpulan atau [[korpus]].<ref>{{cite book |last1=Rajaraman |first1=A. |last2=Ullman |first2=J. D. |year=2011 |title=Mining of Massive Datasets |chapter=Data Mining |pp=1–17 |isbn=978-1-1390-5845-2 |doi=10.1017/CBO9781139058452.002 |chapter-url=http://i.stanford.edu/~ullman/mmds/ch1.pdf}}</ref> Ukuran ini sering dipakai sebagai [[Pembobotan|faktor pembobot]] dalam pencarian temu balik informasi, [[penambangan teks]], dan [[pemodelan pengguna]]. Nilai tf–idf bertambah [[Kesebandingan (matematika)|sebanding]] dengan jumlah kemunculan istilah dalam dan bergantung pada jumlah dokumen dalam korpus yang memiliki istilah tersebut.

== Latar belakang ==
{{empty section}}

== Definisi ==
=== Frekuensi istilah ===
Frekuensi istilah, {{math|tf(''t'', ''d'')}}, adalah frekuensi istilah {{mvar|t}},
: <math>\mathrm{tf}(t, d) = \frac{f_{t,d}}{\sum_{t' \in d} f_{t'\!,d}}</math>
dengan {{math|''f''<sub>''t'',''d''</sub>}} adalah ''pencacahan mentah'' istilah dalam dokumen, yaitu jumlah kemunculan istilah {{mvar|t}} dalam dokumen {{mvar|d}}. Semakin sering suatu istilah muncul, semakin besar nilai tf-nya. Terdapat beberapa cara untuk mendefinisikan frekuensi istilah.<ref>{{cite book |last1=Manning |first1=C. D. |last2=Raghavan |first2=P. |last3=Schutze |first3=H. |year=2008 |title=Introduction to Information Retrieval |chapter=Scoring, term weighting, and the vector space model |pages=100 |isbn=978-0-5118-0907-1 |doi=10.1017/CBO9780511809071.007 |chapter-url=http://nlp.stanford.edu/IR-book/pdf/06vect.pdf}}</ref>{{rp|128}}

{| class="wikitable"
|+ Ragam bobot frekuensi istilah (tf)
! skema !! bobot tf
|-
| biner || {{math|0, 1}}
|-
| pencacahan mentah || {{math|''f''<sub>''t'',''d''</sub>}}
|-
| frekuensi istilah || <math>\frac{f_{t,d}}{\sum_{t' \in d} f_{t'\!,d}}</math>
|-
| penormalan log || {{math|log(1 + ''f''<sub>''t'',''d''</sub>)}}
|-
| penormalan ganda 0,5 || <math>0,\!5 + 0,\!5 \times \frac {f_{t,d}}{\max_{\{t' \in d\}} {f_{t'\!,d}}}</math>
|-
| penormalan ganda {{mvar|K}} || <math>K + (1 - K) \frac {f_{t,d}}{\max_{\{t' \in d\}} {f_{t'\!,d}}}</math>
|}

=== Inversi frekuensi dokumen ===
Inversi frekuensi dokumen, {{math|idf(''t'', ''D'')}}, adalah ukuran informasi yang diberikan oleh istilah {{mvar|t}}, yaitu seberapa sering atau jarang sebuah istilah muncul dalam seluruh dokumen. Semakin jarang suatu istilah di antara dokumen, semakin besar nilai idf-nya. Nilainya adalah logaritma dari kebalikan dari jumlah dokumen yang memiliki istilah {{mvar|t}} yang dibagi jumlah seluruh dokumen ({{mvar|N}}),
: <math>\mathrm{idf}(t, D) = \log \frac{N}{|\{d \in D: t \in d\}|}</math>
dengan himpunan {{math|{''d'' ∈ ''D'': ''t'' ∈ ''d''{{)}}}} adalah himpunan dokumen {{mvar|d}} dalam {{mvar|D}} yang memiliki istilah {{mvar|t}}.

[[Berkas:Plot IDF functions.png|thumb|400px|Grafik berbagai fungsi inversi frekuensi dokumen: baku, halus, probabilistik]]
{| class="wikitable"
|+ Ragam bobot inversi frekuensi dokumen (idf)
! skema !! bobot idf
|-
| basis satu || {{math|1}}
|-
| inversi frekuensi dokumen || <math>\log \frac{N}{n_t} = - \log \frac{n_t}{N}</math>
|-
| halus || <math>\log \left(\frac{N}{1 + n_t}\right) + 1</math>
|-
| maks. || <math>\log \left(\frac{\max_{\{t' \in d\}} n_{t'}} {1 + n_t}\right)</math>
|-
| probabilistik || <math>\log \frac{N - n_t}{n_t}</math>
|-
| colspan="2" style="font-size: 90%;" | Keterangan: {{math|1=''n''<sub>''t''</sub> = {{!}}{''d'' ∈ ''D'': ''t'' ∈ ''d''{{)}}{{!}}}}
|}

=== Frekuensi istilah–inversi frekuensi dokumen ===
Nilai frekuensi istilah–inversi frekuensi dokumen (tf–idf) dapat dihitung dengan
: {{math|1=tfidf(''t'', ''d'', ''D'') = tf(''t'', ''d'') × idf(''t'', ''D'').}}

Nilai ini akan besar ketika istilah tersebut sering muncul (tf besar), tetapi hanya dalam sedikit dokumen (idf besar atau df kecil). Nilai ini biasanya membuang istilah-istilah umum.

{| class="wikitable"
|+ Skema tf-idf yang disarankan
! skema
! bobot istilah dokumen ({{mvar|d}})
! bobot istilah kueri ({{mvar|q}})
|-
| 1
| <math>f_{t,d} \cdot \log \frac{N}{n_t}</math>
| <math>\left(0,\!5 + 0,\!5 \times \frac{f_{t,q}}{\max_t f_{t,q}}\right) \times \log \frac{N}{n_t}</math>
|-
| 2
| {{math|log(1 + ''f''<sub>''t'',''d''</sub>)}}
| <math>\log \left(1 + \frac{N}{n_t}\right)</math>
|-
| 3
| <math>(1 + \log f_{t,d}) \times \log \frac{N}{n_t}</math>
| <math>(1 + \log f_{t,q}) \times \log \frac{N}{n_t}</math>
|}

== Peran idf ==
Nilai idf dikenalkan sebagai "kekhasan istilah" oleh [[Karen Spärck Jones]] dalam sebuah makalah tahun 1972. Meski ia bekerja dengan baik sebagai [[heuristik]], dasar-dasar teoretisnya telah menjadi masalah setidaknya selama tiga puluh tahun. Para peneliti mencoba untuk mencari alasannya secara [[teori informasi|teoretis informasi]].<ref name="Robertson2004">{{cite journal |last=Robertson |first=S. |year=2004 |title=Understanding inverse document frequency: On theoretical arguments for IDF |journal=Journal of Documentation |volume=60 |issue=5 |pp=503–520 |doi=10.1108/00220410410560582}}</ref>

Penjelasan dari Spärck Jones sendiri tidak terlalu mengajukan banyak teori selain hubungannya dengan [[hukum Zipf]].<ref name="Robertson2004" /> Beberapa upaya telah dilakukan untuk menempatkan idf dalam bidang [[Peluang (matematika)|probabilistik]] dengan memperkirakan probabilitas<ref>Lihat pula [http://nlp.stanford.edu/IR-book/html/htmledition/probability-estimates-in-practice-1.html#p:justificationofidf "Probability estimates in practice"] dalam ''Introduction to Information Retrieval''.</ref> bahwa dokumen {{mvar|d}} memiliki istilah {{mvar|t}} sebagai frekuensi relatif dokumen,

: <math>P(t|D) = \frac{|\{d \in D: t \in d\}|}{N},</math>

sehingga kita bisa mendefinisikan idf sebagai berikut.

: <math>
\begin{align}
\mathrm{idf} &= -\log P(t|D) \\
             &= \log \frac{1}{P(t|D)} \\
             &= \log \frac{N}{|\{d \in D: t \in d\}|}
\end{align}
</math>

Dengan kata lain, inversi frekuensi dokumen adalah logaritma dari "inversi" frekuensi dokumen relatif.

Penafsiran probabilistik ini memakai bentuk yang sama dengan [[isi informasi]]. Namun, penerapan cara pandang informasi-teoretis ke permasalahan dalam temu balik informasi menyebabkan masalah ketika mencoba untuk mendefinisikan [[ruang sampel]] untuk [[sebaran probabilitas]]: tidak hanya dokumen yang harus diperhatikan, tetapi juga kueri dan istilah.<ref name="Robertson2004" />

== Kaitan dengan teori informasi ==
{{empty section}}

== Contoh tf–idf ==
Misalkan terdapat tabel jumlah istilah dalam korpus yang berisi dua dokumen seperti tabel-tabel di samping.

{| class="wikitable" style="float: right; margin-left: 1.5em;"
|+ Dokumen 2
|-
! Istilah !! Jumlah
|-
| ini || 1
|-
| adalah || 1
|-
| contoh || 3
|-
| lainnya || 2
|}

{| class="wikitable" style="float: right; margin-left: 1.5em;"
|+ Dokumen 1
|-
! Istilah !! Jumlah
|-
| ini || 1
|-
| adalah || 1
|-
| sebuah || 2
|-
| sampel || 1
|}

Untuk menghitung tf–idf istilah ''ini'', dapat dilakukan langkah-langkah berikut.

Dalam bentuk frekuensi mentahnya, tf hanyalah frekuensi istilah ''ini'' dalam tiap dokumen. Dalam tiap dokumen, istilah ''ini'' sama-sama muncul sekali. Namun, karena dokumen 2 punya lebih banyak kata, frekuensi relatifnya lebih kecil.

: <math>\mathrm{tf}(\mathsf{''ini''}, d_1) = \frac{1}{5} = 0,\!2</math>
: <math>\mathrm{tf}(\mathsf{''ini''}, d_2) = \frac{1}{7} \approx 0,\!14</math>

Nilai idf bersifat tetap per korpus dan bergantung pada jumlah dokumen yang memiliki istilah ''ini''. Dalam kasus ini, kita memiliki korpus yang semua dokumennya memiliki istilah ''ini''.

: <math>\mathrm{idf}(\mathsf{''ini''}, D) = \log \left(\frac{2}{2}\right) = 0</math>

Jadi, nilai tf–idf istilah ''ini'' adalah nol yang berarti bahwa istilah ini tidak terlalu bermakna karena muncul dalam seluruh dokumen.

: <math>\mathrm{tfidf}(\mathsf{''ini''}, d_1, D) = 0,\!2 \times 0 = 0</math>
: <math>\mathrm{tfidf}(\mathsf{''ini''}, d_2, D) = 0,\!14 \times 0 = 0</math>

Contoh lainnya, istilah ''contoh'' muncul tiga kali, tetapi hanya dalam dokumen 2.

: <math>\mathrm{tf}(\mathsf{''contoh''}, d_1) = \frac{0}{5} = 0</math>
: <math>\mathrm{tf}(\mathsf{''contoh''}, d_2) = \frac{3}{7} \approx 0,\!429</math>
: <math>\mathrm{idf}(\mathsf{''contoh''}, D) = \log \left(\frac{2}{1}\right) = 0,\!301</math>

Terakhir,

: <math>\mathrm{tfidf}(\mathsf{''contoh''}, d_1, D) = \mathrm{tf}(\mathsf{''contoh''}, d_1) \times \mathrm{idf}(\mathsf{''contoh''}, D) = 0 \times 0,\!301 = 0</math>
: <math>\mathrm{tfidf}(\mathsf{''contoh''}, d_2, D) = \mathrm{tf}(\mathsf{''contoh''}, d_2) \times \mathrm{idf}(\mathsf{''contoh''}, D) = 0,\!429 \times 0,\!301 \approx 0,\!129</math>

== Penggunaan lain ==
Konsep tf–idf juga dipakai untuk hal selain istilah. Pada tahun 1998, konsep idf dipakai untuk sitasi.<ref>{{cite book |last1=Bollacker |first1=Kurt D. |last2=Lawrence |first2=Steve |last3=Giles |first3=C. Lee |date=1 Januari 1998 |title=CiteSeer: An Autonomous Web Agent for Automatic Retrieval and Identification of Interesting Publications |journal=Proceedings of the Second International Conference on Autonomous Agents |series=AGENTS '98 |pp=116–123 |isbn=978-0-8979-1983-8 |s2cid=3526393 |doi=10.1145/280765.280786 |url=https://www.semanticscholar.org/paper/b23a5a62b7cb5278ceb5a6cc021c28a92041d792}}</ref> Peneliti tersebut mengusulkan bahwa, bila sitasi yang jarang dipakai itu dipakai oleh dua dokumen berbeda, ia harus berbobot lebih tinggi daripada sitasi yang dipakai oleh banyak dokumen. Selain itu, tf–idf juga diterapkan untuk "kata visual" dengan tujuan untuk mencocokan objek dalam video<ref>{{cite book |last1=Sivic |first1=Josef |last2=Zisserman |first2=Andrew |date=1 Januari 2003 |title=Video Google: A Text Retrieval Approach to Object Matching in Videos |url=http://dl.acm.org/citation.cfm?id=946247.946751 |journal=Proceedings of the Ninth IEEE International Conference on Computer Vision – Volume 2 |series=ICCV '03 |pp=1470– |isbn=978-0-7695-1950-0 |s2cid=14457153 |doi=10.1109/ICCV.2003.1238663}}</ref> dan kalimat lengkap.<ref>{{cite web |last=Seki |first=Yohei |title=Sentence Extraction by tf/idf and Position Weighting from Newspaper Articles |publisher=National Institute of Informatics |url=http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings3/NTCIR3-TSC-SekiY.pdf}}</ref>

Namun, konsep tf–idf tidak terbukti lebih efektif daripada hanya tf (tanpa idf) untuk semua kasus. Ketika tf–idf diterapkan untuk sitasi, para peneliti tidak menemukan peningkatan kinerja dibanding pencacahan-sitasi sederhana yang tidak memakai komponen idf.<ref>{{cite journal |last1=Beel |first1=Joeran |last2=Breitinger |first2=Corinna |year=2017 |title=Evaluating the CC-IDF citation-weighting scheme – How effectively can 'Inverse Document Frequency' (IDF) be applied to references? |journal=Proceedings of the 12th IConference |url=http://beel.org/publications/2017%20iConference%20--%20Evaluating%20the%20CC-IDF%20citation-weighting%20scheme%20--%20preprint.pdf |access-date=2021-05-10 |archive-date=2020-09-22 |archive-url=https://web.archive.org/web/20200922150304/http://beel.org/publications/2017%20iConference%20--%20Evaluating%20the%20CC-IDF%20citation-weighting%20scheme%20--%20preprint.pdf |dead-url=yes }}</ref>

== Turunan ==
Ada beberapa skema pembobotan istilah yang dikembangkan dari tf–idf. Salah satunya adalah TF–PDF (frekuensi istilah–frekuensi dokumen seimbang).<ref>{{cite book |last1=Bun |first1=Khoo Khyou |last2=Ishizuka |first2=M. |year=2001 |title=Emerging Topic Tracking System |journal=Proceedings Third International Workshop on Advanced Issues of E-Commerce and Web-Based Information Systems. WECWIS 2001 |pp=2 |isbn=978-0-7695-1224-2 |citeseerx=10.1.1.16.7986 |s2cid=1049263 |doi=10.1109/wecwis.2001.933900 |language=en-US}}</ref> TF–PDF dikenalkan pada tahun 2001 dalam konteks pengidentifikasi topik baru di media. Komponen PDF mengukur perbedaan jumlah kemunculan sebuah istilah dalam berbagai bidang.

Skema lainnya adalah TF–IDuF. Dalam TF–IDuF, nilai idf tidak dihitung berdasarkan korpus yang akan dicari, tetapi dihitung dari kumpulan dokumen pribadi pengguna.<ref>{{cite journal |last1=Langer |first1=Stefan |last2=Gipp |first2=Bela |year=2017 |title=TF-IDuF: A Novel Term-Weighting Scheme for User Modeling based on Users' Personal Document Collections |journal=IConference |url=https://www.gipp.com/wp-content/papercite-data/pdf/beel17.pdf}}</ref> Penulis tersebut melaporkan bahwa TF–IDuF hampir seefektif tf–idf, tetapi juga bisa dipakai dalam keadaan semisal tiada akses ke korpus dokumen global.

== Lihat pula ==
{{div col|colwidth=25em}}
* [[Alokasi laten Dirichlet]]
* [[Analisis semantik laten]]
* [[Informasi bersama]]
* [[Jumlah kata]]
* [[Kelompok kata benda]]
* [[Model ruang vektor]]
* [[Okapi BM25]]
* [[PageRank]]
* [[Penyematan kata]]
* [[Penyimpangan Kullback–Leibler]]
* [[SMART Information Retrieval System]]
{{div col end}}

== Daftar pustaka ==
* {{cite journal |last1=Salton |first1=G. |last2=Fox |first2=E. A. |last3=Wu |first3=H. |year=1983 |title=Extended Boolean information retrieval |journal=Communications of the ACM |volume=26 |issue=11 |pp=1022–1036 |hdl=1813/6351 |hdl-access=free |s2cid=207180535 |doi=10.1145/182.358466}}
* {{cite journal |last1=Salton |first1=G. |last2=Buckley |first2=C. |year=1988 |title=Term-weighting approaches in automatic text retrieval |journal=Information Processing & Management |volume=24 |issue=5 |pp=513–523 |hdl=1813/6721 |doi=10.1016/0306-4573(88)90021-0 |url=https://ecommons.cornell.edu/bitstream/1813/6721/1/87-881.pdf}}
* {{cite journal |last1=Wu |first1=H. C. |last2=Luk |first2=R. W. P. |last3=Wong |first3=K. F. |last4=Kwok |first4=K. L. |year=2008 |title=Interpreting TF-IDF term weights as making relevance decisions |journal=ACM Transactions on Information Systems |volume=26 |issue=3 |pages=1 |hdl=10397/10130 |hdl-access=free |s2cid=18303048 |doi=10.1145/1361684.1361686 |url=https://www.semanticscholar.org/paper/f6bbbf2cc785cf96019dcd9c41ab1801aad962dd}}

== Referensi ==
{{reflist}}

{{DEFAULTSORT:Tf-idf}}
[[Kategori:Statistika]]
[[Kategori:Pengolahan bahasa alami]]
[[Kategori:Pemelajaran mesin]]
[[Kategori:Ilmu informasi]]
[[Kategori:Model ruang vektor]]