UNU Kalbar UNU Kalbar • Algeo 05
Algeo 05 • Slide 1 / 11

Vektor di Ruang Euclidean & Cosine Similarity

Bagian 4 referensi: dari vektor sebagai objek geometri menuju vektor sebagai representasi makna — dasar sistem temu balik informasi dan embedding AI.

🎯 Tujuan Pembelajaran

  • Menghitung norm, dot product, dan sudut antar vektor di Rⁿ.
  • Menghitung proyeksi ortogonal dan memahami sisa yang tegak lurus.
  • Menerapkan cosine similarity untuk mengurutkan dokumen terhadap kueri.

📚 Rujukan

Howard Anton, Elementary Linear Algebra — bab ruang Euclidean. Rinaldi Munir, materi Aljabar Linier STEI ITB — bagian aplikasi Information Retrieval.

Algeo 05 • Slide 2 / 11

Vektor di Rⁿ dan Panjangnya

Norm (panjang)

‖v‖ = √(v₁² + v₂² + … + vₙ²)

Disebut juga norm Euclidean atau L2. Selalu ≥ 0, dan nol hanya untuk vektor nol.

Contoh

u = (1, 2, 3) → ‖u‖ = √14 ≈ 3,7417

v = (4, 0, −1) → ‖v‖ = √17 ≈ 4,1231

Mengapa panjang penting

Dokumen panjang dan dokumen pendek tidak bisa dibandingkan mentah-mentah. Norm dipakai untuk menormalkan — itu inti dari cosine similarity nanti.

Algeo 05 • Slide 3 / 11

Dot Product

Definisi

u · v = u₁v₁ + u₂v₂ + … + uₙvₙ

Hasilnya skalar, bukan vektor. Ini yang membedakannya dari perkalian elemen-per-elemen.

Contoh

u = (1, 2, 3), v = (4, 0, −1)

u · v = 4 + 0 − 3 = 1

Sifat

  • Komutatif: u·v = v·u
  • Distributif terhadap penjumlahan
  • u·u = ‖u‖²
  • u·v = 0 ⇔ saling tegak lurus (ortogonal)
Algeo 05 • Slide 4 / 11

Sudut Antar Vektor

Rumus

cos θ = (u · v) / (‖u‖ · ‖v‖)

Dari sini lahir dua konsep sekaligus: kemiripan arah (nilai cosinus) dan sudut yang bisa dihitung dengan arccos.

Contoh

cos θ = 1 / (3,7417 · 4,1231) ≈ 0,0648

θ ≈ 86,28°

Hampir tegak lurus — kedua vektor nyaris tidak berbagi arah.

Bacaan nilai

  • 1 → searah sempurna
  • 0 → tegak lurus, tidak berkaitan
  • −1 → berlawanan arah

Pada data teks, nilai hampir selalu 0 sampai 1 karena komponennya tidak negatif.

Algeo 05 • Slide 5 / 11

Proyeksi Ortogonal

Rumus

projₐv = ((v · u) / (u · u)) · u

Hasilnya vektor — bayangan v pada arah u. Sisanya, v − proj, selalu tegak lurus terhadap u.

Contoh

u = (3, 4), v = (5, 1)

proj = (19/25)(3,4) = (2,28; 3,04)

sisa = (2,72; −2,04)

Uji

(sisa) · u = 0

Kalau hasilnya bukan nol, ada kesalahan hitung. Ini cara memeriksa proyeksi tanpa mengulang dari awal.

Algeo 05 • Slide 6 / 11

Dari Vektor ke Dokumen

Cara paling sederhana mengubah teks menjadi vektor: hitung kemunculan kata (term frequency).

Kamus

[aljabar, matriks, vektor, ai]

D1  "aljabar matriks determinan"   -> (3, 2, 1, 0)
D2  "vektor embedding ai"           -> (0, 1, 3, 2)
Q   "aljabar matriks"               -> (2, 1, 0, 0)

Yang perlu disadari

Setiap kata menjadi satu dimensi. Dengan 10.000 kata, setiap dokumen adalah vektor di R10.000 — tidak bisa digambar, tapi semua rumus di pertemuan ini tetap berlaku.

Algeo 05 • Slide 7 / 11

Cosine Similarity

Rumus

sim(q, d) = (q · d) / (‖q‖ · ‖d‖)

Persis rumus cosinus tadi, hanya diberi nama sesuai konteksnya: mengukur kemiripan dokumen dengan kueri.

Perhitungan pada contoh

q · D1 = 2(3) + 1(2) = 8    ‖q‖ = √5, ‖D1‖ = √14

sim(q, D1) = 8 / (2,2361 · 3,7417) ≈ 0,9562

q · D2 = 2(0) + 1(1) = 1    ‖D2‖ = √14

sim(q, D2) = 1 / (2,2361 · 3,7417) ≈ 0,1195

Kesimpulan sistem

D1 jauh lebih relevan (0,96 vs 0,12). Urutan hasil pencarian ditentukan angka ini — inilah cara kerja dasar mesin pencari.

Algeo 05 • Slide 8 / 11

Kenapa Cosine, Bukan Jarak Biasa

Masalah jarak Euclidean

Dokumen panjang otomatis berjarak jauh dari kueri pendek — meski isinya sangat relevan. Jarak mengukur besaran, bukan arah.

Dokumen 1.000 kata tentang topik yang sama akan kalah dari dokumen 20 kata yang kebetulan dekat.

Keunggulan cosine

Karena dibagi hasil kali norm, panjang dokumen dinormalkan. Yang tersisa hanya arah — kemiripan topik.

Dokumen panjang dan pendek dengan proporsi kata sama akan mendapat nilai identik.

Kaitannya dengan AI modern

Embedding model (termasuk yang dipakai chatbot) menghasilkan vektor yang dibandingkan dengan cara yang sama: cosine similarity. Bedanya, dimensinya ratusan sampai ribuan dan nilainya bisa negatif.

Algeo 05 • Slide 9 / 11

Jebakan saat Menerapkan

Kesalahan teknis

  • Vektor nol — jika kueri tidak memuat satu pun kata dari kamus, norm = 0 dan pembagian gagal. Tangani sebagai "tidak ada hasil".
  • Lupa menyamakan kamus antara dokumen dan kueri — urutan kata harus identik.
  • Membandingkan sebelum normalisasi lalu bingung hasilnya aneh.

Kesalahan konsep

  • Menganggap cosine = probabilitas. Bukan; ia hanya ukuran arah.
  • Mengira skor 0,5 berarti "setengah relevan" — tidak ada skala absolut seperti itu.
  • Lupa bahwa kata umum (dan, yang) mendominasi tanpa pembobotan IDF.

Perbaikan standar

Gunakan TF-IDF alih-alih frekuensi mentah, lalu normalkan vektor sebelum dihitung. Cosine tetap sama; hanya bahan masuknya yang lebih baik.

Algeo 05 • Slide 10 / 11

Implementasi

import numpy as np

def cosine(q, d):
    q, d = np.array(q, float), np.array(d, float)
    nq, nd = np.linalg.norm(q), np.linalg.norm(d)
    if nq == 0 or nd == 0:
        return 0.0
    return float(q @ d / (nq * nd))

D1, D2, Q = [3,2,1,0], [0,1,3,2], [2,1,0,0]
print(cosine(Q, D1))   # 0.9562
print(cosine(Q, D2))   # 0.1195

Catatan pustaka

SciPy menyediakan scipy.spatial.distance.cosine, tapi nilainya adalah jarak (1 − similarity). Jangan tertukar saat mengurutkan hasil pencarian — urutkan dari jarak terkecil, atau konversi dulu.

Algeo 05 • Slide 11 / 11

Tugas & Rangkuman

In-Lab

  1. Hitung manual cos(Q, D1) dan cos(Q, D2) pada contoh slide 7, lalu cocokkan dengan kode.
  2. Tambah dokumen D3 = (1, 3, 0, 1). Tentukan peringkat relevansinya terhadap Q.
  3. Hitung proyeksi D1 pada arah Q, lalu periksa sisa orthogonal-nya.

Take-Home

Ambil 5 abstrak jurnal (boleh dari paper Anda sendiri). Bangun kamus 30 kata, hitung vektor TF, lalu urutkan kelima dokumen terhadap satu kueri. Laporkan skor cosine dan jelaskan mengapa peringkatnya begitu.

Rangkuman

  • Norm = panjang; dipakai untuk menormalkan.
  • Dot product = ukuran kesamaan arah sebelum dinormalkan.
  • Cosine similarity = dot product yang dibagi hasil kali norm; rentang −1 sampai 1.
  • Proyeksi = komponen v pada arah lain; sisanya selalu tegak lurus.
Slide 1 dari 12