Tf–idf

Templat:Lowercase title Dalam temu balik informasi, tf–idf, TF*IDF, atau TFIDF (singkatan dari Templat:Lang-en, Templat:Lang-id) adalah ukuran statistik yang menggambarkan pentingnya suatu istilah terhadap sebuah dokumen dalam sebuah kumpulan atau korpus. Ukuran ini sering dipakai sebagai faktor pembobot dalam pencarian temu balik informasi, penambangan teks, dan pemodelan pengguna. Nilai tf–idf bertambah sebanding dengan jumlah kemunculan istilah dalam dan bergantung pada jumlah dokumen dalam korpus yang memiliki istilah tersebut.

Definisi

Frekuensi istilah

Frekuensi istilah, Templat:Math, adalah frekuensi istilah Templat:Mvar,

$\mathrm{t}\mathrm{f}(t,d)=\frac{f_{t,d}}{\sum _{t^{\prime }\in d}{f}_{t^{\prime },d}}$

dengan Templat:Math adalah pencacahan mentah istilah dalam dokumen, yaitu jumlah kemunculan istilah Templat:Mvar dalam dokumen Templat:Mvar. Semakin sering suatu istilah muncul, semakin besar nilai tf-nya. Terdapat beberapa cara untuk mendefinisikan frekuensi istilah.Templat:Rp

Ragam bobot frekuensi istilah (tf)

skema	bobot tf
biner	Templat:Math
pencacahan mentah	Templat:Math
frekuensi istilah	$\frac{f_{t,d}}{\sum _{t^{\prime }\in d}{f}_{t^{\prime },d}}$
penormalan log	Templat:Math
penormalan ganda 0,5	$0,5+0,5\times \frac{f_{t,d}}{\underset{\{t^{\prime }\in d\}}{\max }{f}_{t^{\prime },d}}$
penormalan ganda Templat:Mvar	$K+(1-K)\frac{f_{t,d}}{\underset{\{t^{\prime }\in d\}}{\max }{f}_{t^{\prime },d}}$

Inversi frekuensi dokumen

Inversi frekuensi dokumen, Templat:Math, adalah ukuran informasi yang diberikan oleh istilah Templat:Mvar, yaitu seberapa sering atau jarang sebuah istilah muncul dalam seluruh dokumen. Semakin jarang suatu istilah di antara dokumen, semakin besar nilai idf-nya. Nilainya adalah logaritma dari kebalikan dari jumlah dokumen yang memiliki istilah Templat:Mvar yang dibagi jumlah seluruh dokumen (Templat:Mvar),

$\mathrm{i}\mathrm{d}\mathrm{f}(t,D)=\log \frac{N}{|\{d\in D:t\in d\}|}$

dengan himpunan Templat:Math adalah himpunan dokumen Templat:Mvar dalam Templat:Mvar yang memiliki istilah Templat:Mvar.

Grafik berbagai fungsi inversi frekuensi dokumen: baku, halus, probabilistik

Ragam bobot inversi frekuensi dokumen (idf)

skema	bobot idf
basis satu	Templat:Math
inversi frekuensi dokumen	$\log \frac{N}{n_t}=-\log \frac{n_t}{N}$
halus	$\log \left(\frac{N}{1+n_t}\right)+1$
maks.	$\log \left(\frac{\underset{\{t^{\prime }\in d\}}{\max }{n}_{t^{\prime }}}{1+n_t}\right)$
probabilistik	$\log \frac{N-n_t}{n_t}$
Keterangan: Templat:Math

Frekuensi istilah–inversi frekuensi dokumen

Nilai frekuensi istilah–inversi frekuensi dokumen (tf–idf) dapat dihitung dengan

Templat:Math

Nilai ini akan besar ketika istilah tersebut sering muncul (tf besar), tetapi hanya dalam sedikit dokumen (idf besar atau df kecil). Nilai ini biasanya membuang istilah-istilah umum.

Skema tf-idf yang disarankan

skema	bobot istilah dokumen (Templat:Mvar)	bobot istilah kueri (Templat:Mvar)
1	$f_{t,d}\cdot \log \frac{N}{n_t}$	$(0,5+0,5\times \frac{f_{t,q}}{\underset{t}{\max }{f}_{t,q}})\times \log \frac{N}{n_t}$
2	Templat:Math	$\log (1+\frac{N}{n_t})$
3	$(1+\log f_{t,d})\times \log \frac{N}{n_t}$	$(1+\log f_{t,q})\times \log \frac{N}{n_t}$

Peran idf

Nilai idf dikenalkan sebagai "kekhasan istilah" oleh Karen Spärck Jones dalam sebuah makalah tahun 1972. Meski ia bekerja dengan baik sebagai heuristik, dasar-dasar teoretisnya telah menjadi masalah setidaknya selama tiga puluh tahun. Para peneliti mencoba untuk mencari alasannya secara teoretis informasi.

Penjelasan dari Spärck Jones sendiri tidak terlalu mengajukan banyak teori selain hubungannya dengan hukum Zipf. Beberapa upaya telah dilakukan untuk menempatkan idf dalam bidang probabilistik dengan memperkirakan probabilitas bahwa dokumen Templat:Mvar memiliki istilah Templat:Mvar sebagai frekuensi relatif dokumen,

$P(t|D)=\frac{|\{d\in D:t\in d\}|}{N},$

sehingga kita bisa mendefinisikan idf sebagai berikut.

$\begin{array}{cc}\mathrm{i}\mathrm{d}\mathrm{f}& =-\log P(t|D)\\ & =\log \frac{1}{P(t|D)}\\ & =\log \frac{N}{|\{d\in D:t\in d\}|}\end{array}$

Dengan kata lain, inversi frekuensi dokumen adalah logaritma dari "inversi" frekuensi dokumen relatif.

Penafsiran probabilistik ini memakai bentuk yang sama dengan isi informasi. Namun, penerapan cara pandang informasi-teoretis ke permasalahan dalam temu balik informasi menyebabkan masalah ketika mencoba untuk mendefinisikan ruang sampel untuk sebaran probabilitas: tidak hanya dokumen yang harus diperhatikan, tetapi juga kueri dan istilah.

Contoh tf–idf

Misalkan terdapat tabel jumlah istilah dalam korpus yang berisi dua dokumen seperti tabel-tabel di samping.

Dokumen 2

Istilah	Jumlah
ini	1
adalah	1
contoh	3
lainnya	2

Dokumen 1

Istilah	Jumlah
ini	1
adalah	1
sebuah	2
sampel	1

Untuk menghitung tf–idf istilah ini, dapat dilakukan langkah-langkah berikut.

Dalam bentuk frekuensi mentahnya, tf hanyalah frekuensi istilah ini dalam tiap dokumen. Dalam tiap dokumen, istilah ini sama-sama muncul sekali. Namun, karena dokumen 2 punya lebih banyak kata, frekuensi relatifnya lebih kecil.

$\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝗂𝗇{𝗂}^{″},d_1)=\frac{1}{5}=0,2$

$\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝗂𝗇{𝗂}^{″},d_2)=\frac{1}{7}\approx 0,14$

Nilai idf bersifat tetap per korpus dan bergantung pada jumlah dokumen yang memiliki istilah ini. Dalam kasus ini, kita memiliki korpus yang semua dokumennya memiliki istilah ini.

$\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝗂𝗇{𝗂}^{″},D)=\log \left(\frac{2}{2}\right)=0$

Jadi, nilai tf–idf istilah ini adalah nol yang berarti bahwa istilah ini tidak terlalu bermakna karena muncul dalam seluruh dokumen.

$\mathrm{t}\mathrm{f}\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝗂𝗇{𝗂}^{″},d_1,D)=0,2\times 0=0$

$\mathrm{t}\mathrm{f}\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝗂𝗇{𝗂}^{″},d_2,D)=0,14\times 0=0$

Contoh lainnya, istilah contoh muncul tiga kali, tetapi hanya dalam dokumen 2.

$\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_1)=\frac{0}{5}=0$

$\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_2)=\frac{3}{7}\approx 0,429$

$\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},D)=\log \left(\frac{2}{1}\right)=0,301$

Terakhir,

$\mathrm{t}\mathrm{f}\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_1,D)=\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_1)\times \mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},D)=0\times 0,301=0$

$\mathrm{t}\mathrm{f}\mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_2,D)=\mathrm{t}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},d_2)\times \mathrm{i}\mathrm{d}\mathrm{f}({\text{'}}^{\prime }𝖼𝗈𝗇𝗍𝗈{𝗁}^{″},D)=0,429\times 0,301\approx 0,129$

Penggunaan lain

Konsep tf–idf juga dipakai untuk hal selain istilah. Pada tahun 1998, konsep idf dipakai untuk sitasi. Peneliti tersebut mengusulkan bahwa, bila sitasi yang jarang dipakai itu dipakai oleh dua dokumen berbeda, ia harus berbobot lebih tinggi daripada sitasi yang dipakai oleh banyak dokumen. Selain itu, tf–idf juga diterapkan untuk "kata visual" dengan tujuan untuk mencocokan objek dalam video dan kalimat lengkap.

Namun, konsep tf–idf tidak terbukti lebih efektif daripada hanya tf (tanpa idf) untuk semua kasus. Ketika tf–idf diterapkan untuk sitasi, para peneliti tidak menemukan peningkatan kinerja dibanding pencacahan-sitasi sederhana yang tidak memakai komponen idf.

Turunan

Ada beberapa skema pembobotan istilah yang dikembangkan dari tf–idf. Salah satunya adalah TF–PDF (frekuensi istilah–frekuensi dokumen seimbang). TF–PDF dikenalkan pada tahun 2001 dalam konteks pengidentifikasi topik baru di media. Komponen PDF mengukur perbedaan jumlah kemunculan sebuah istilah dalam berbagai bidang.

Skema lainnya adalah TF–IDuF. Dalam TF–IDuF, nilai idf tidak dihitung berdasarkan korpus yang akan dicari, tetapi dihitung dari kumpulan dokumen pribadi pengguna. Penulis tersebut melaporkan bahwa TF–IDuF hampir seefektif tf–idf, tetapi juga bisa dipakai dalam keadaan semisal tiada akses ke korpus dokumen global.

Lihat pula

• Alokasi laten Dirichlet
• Analisis semantik laten
• Informasi bersama
• Jumlah kata
• Kelompok kata benda
• Model ruang vektor
• Okapi BM25
• PageRank
• Penyematan kata
• Penyimpangan Kullback–Leibler
• SMART Information Retrieval System

Daftar pustaka

• Templat:Cite journal
• Templat:Cite journal
• Templat:Cite journal