UNU Kalbar • Algeo 05
Bagian 4 referensi: dari vektor sebagai objek geometri menuju vektor sebagai representasi makna — dasar sistem temu balik informasi dan embedding AI.
Howard Anton, Elementary Linear Algebra — bab ruang Euclidean. Rinaldi Munir, materi Aljabar Linier STEI ITB — bagian aplikasi Information Retrieval.
‖v‖ = √(v₁² + v₂² + … + vₙ²)
Disebut juga norm Euclidean atau L2. Selalu ≥ 0, dan nol hanya untuk vektor nol.
u = (1, 2, 3) → ‖u‖ = √14 ≈ 3,7417
v = (4, 0, −1) → ‖v‖ = √17 ≈ 4,1231
Dokumen panjang dan dokumen pendek tidak bisa dibandingkan mentah-mentah. Norm dipakai untuk menormalkan — itu inti dari cosine similarity nanti.
u · v = u₁v₁ + u₂v₂ + … + uₙvₙ
Hasilnya skalar, bukan vektor. Ini yang membedakannya dari perkalian elemen-per-elemen.
u = (1, 2, 3), v = (4, 0, −1)
u · v = 4 + 0 − 3 = 1
cos θ = (u · v) / (‖u‖ · ‖v‖)
Dari sini lahir dua konsep sekaligus: kemiripan arah (nilai cosinus) dan sudut yang bisa dihitung dengan arccos.
cos θ = 1 / (3,7417 · 4,1231) ≈ 0,0648
θ ≈ 86,28°
Hampir tegak lurus — kedua vektor nyaris tidak berbagi arah.
Pada data teks, nilai hampir selalu 0 sampai 1 karena komponennya tidak negatif.
projₐv = ((v · u) / (u · u)) · u
Hasilnya vektor — bayangan v pada arah u. Sisanya, v − proj, selalu tegak lurus terhadap u.
u = (3, 4), v = (5, 1)
proj = (19/25)(3,4) = (2,28; 3,04)
sisa = (2,72; −2,04)
(sisa) · u = 0
Kalau hasilnya bukan nol, ada kesalahan hitung. Ini cara memeriksa proyeksi tanpa mengulang dari awal.
Cara paling sederhana mengubah teks menjadi vektor: hitung kemunculan kata (term frequency).
[aljabar, matriks, vektor, ai]
D1 "aljabar matriks determinan" -> (3, 2, 1, 0) D2 "vektor embedding ai" -> (0, 1, 3, 2) Q "aljabar matriks" -> (2, 1, 0, 0)
Setiap kata menjadi satu dimensi. Dengan 10.000 kata, setiap dokumen adalah vektor di R10.000 — tidak bisa digambar, tapi semua rumus di pertemuan ini tetap berlaku.
sim(q, d) = (q · d) / (‖q‖ · ‖d‖)
Persis rumus cosinus tadi, hanya diberi nama sesuai konteksnya: mengukur kemiripan dokumen dengan kueri.
q · D1 = 2(3) + 1(2) = 8 ‖q‖ = √5, ‖D1‖ = √14
sim(q, D1) = 8 / (2,2361 · 3,7417) ≈ 0,9562
q · D2 = 2(0) + 1(1) = 1 ‖D2‖ = √14
sim(q, D2) = 1 / (2,2361 · 3,7417) ≈ 0,1195
D1 jauh lebih relevan (0,96 vs 0,12). Urutan hasil pencarian ditentukan angka ini — inilah cara kerja dasar mesin pencari.
Dokumen panjang otomatis berjarak jauh dari kueri pendek — meski isinya sangat relevan. Jarak mengukur besaran, bukan arah.
Dokumen 1.000 kata tentang topik yang sama akan kalah dari dokumen 20 kata yang kebetulan dekat.
Karena dibagi hasil kali norm, panjang dokumen dinormalkan. Yang tersisa hanya arah — kemiripan topik.
Dokumen panjang dan pendek dengan proporsi kata sama akan mendapat nilai identik.
Embedding model (termasuk yang dipakai chatbot) menghasilkan vektor yang dibandingkan dengan cara yang sama: cosine similarity. Bedanya, dimensinya ratusan sampai ribuan dan nilainya bisa negatif.
Gunakan TF-IDF alih-alih frekuensi mentah, lalu normalkan vektor sebelum dihitung. Cosine tetap sama; hanya bahan masuknya yang lebih baik.
import numpy as np
def cosine(q, d):
q, d = np.array(q, float), np.array(d, float)
nq, nd = np.linalg.norm(q), np.linalg.norm(d)
if nq == 0 or nd == 0:
return 0.0
return float(q @ d / (nq * nd))
D1, D2, Q = [3,2,1,0], [0,1,3,2], [2,1,0,0]
print(cosine(Q, D1)) # 0.9562
print(cosine(Q, D2)) # 0.1195
SciPy menyediakan scipy.spatial.distance.cosine, tapi nilainya adalah jarak (1 − similarity). Jangan tertukar saat mengurutkan hasil pencarian — urutkan dari jarak terkecil, atau konversi dulu.
Ambil 5 abstrak jurnal (boleh dari paper Anda sendiri). Bangun kamus 30 kata, hitung vektor TF, lalu urutkan kelima dokumen terhadap satu kueri. Laporkan skor cosine dan jelaskan mengapa peringkatnya begitu.