OpenAI Embedding – Part 1

Embedding adalah proses mengubah input text menjadi vector agar computer mudah dalam memahami relasi antar vector.

OpenAI memiliki embedding model text-embedding-ada-002. Model akan mengembalikan 1536 dimension vector. Embedding yang dihasilkan dapat kita simpan untuk melakukan searchs, recomendations dan lainnya.

Contoh melakukan embedding

import openai
from dotenv import dotenv_values

config = dotenv_values(".env")
openai.api_key = config["OPENAI_KEY"]

res = openai.Embedding.create(
    input="Indomie Goreng",
    model="text-embedding-ada-002"
)

print(res)

Model akan mengembalikan result hasil embedding berupa 1536 dimension vector seperti berikut.

{
  "data": [
    {
      "embedding": [
        0.020220426842570305,
        -0.022824961692094803,
        -0.02029740810394287,
        0.002208401681855321,
        -0.00667812954634428,
        -0.011399650946259499,
        -0.02186269499361515,
        -0.015986453741788864,
        -0.024031002074480057,
        -0.032717060297727585,
        0.020643824711441994,
        0.0280468612909317,
        -0.0065273744985461235,
        -0.008904173038899899,
        -0.020220426842570305,
        0.03061290644109249,
        0.041185006499290466,
        -0.0015187773387879133,
        0.047548796981573105,
        -0.015434755012392998,
        -0.00855775736272335,
...
    "prompt_tokens": 5,
    "total_tokens": 5
  }
}

Sampai disini kita telah membahas bagaimana membuat embeding. Pada modul selanjutnya kita akan bahas bagaimana mengimplementasikan embedding untuk melakukan rekomendasi.

Untuk dokumentasi lengkap lihat di OpenAI Embedding.