Token, ต้นทุน และ context window

LLM ไม่ได้อ่านตัวอักษร แต่อ่าน “token”

โมเดลภาษาตัดข้อความเป็น token (ชิ้นย่อยของคำ) ก่อนเสมอ และทุกอย่างที่เราจ่ายเงินหรือถูกจำกัด — ราคา ความเร็ว ขนาด context window — นับเป็น token ไม่ใช่ตัวอักษรหรือคำ ภาษาอังกฤษหนึ่ง token โดยประมาณคือราว 4 ตัวอักษร ส่วนภาษาไทยมักใช้ token ต่อข้อความยาวเท่ากันมากกว่า (ต้นทุนและ context จึงหมดเร็วกว่า)

ในเบราว์เซอร์ตัวนี้เราไม่มี tokenizer จริง จึงใช้ตัวประมาณสองแบบเพื่อฝึกคิดเชิงต้นทุน:

import math, re

def est_tokens(text):                # กฎประมาณ: 4 ตัวอักษร ≈ 1 token
    return math.ceil(len(text) / 4)

def toy_tokens(text):                # tokenizer ของเล่น: คำ + เครื่องหมายแต่ละตัว
    return re.findall(r"\w+|[^\w\s]", text)

ทั้งสองแบบให้ผลไม่ตรงกับ tokenizer จริง (เช่นเอกสาร d01 ในฐานความรู้ของเราได้ 64 กับ 54 ตามลำดับ) — ตอนใช้งานจริงให้อ่านค่าที่ API รายงานกลับมา (response.usage.input_tokens / output_tokens) แล้วใช้ตัวประมาณเฉพาะตอนวางแผนงบก่อนเรียก

ต้นทุนของหนึ่งครั้งที่เรียก

ผู้ให้บริการคิดราคา input และ output แยกกัน (output แพงกว่า) ต่อหนึ่งล้าน token:

PRICE_IN = 3.0    # สมมติ USD ต่อ 1M input token
PRICE_OUT = 15.0  # สมมติ USD ต่อ 1M output token

cost = input_tokens * PRICE_IN / 1e6 + output_tokens * PRICE_OUT / 1e6
# 1,200 token เข้า + 300 token ออก = 0.0081 USD

ราคาข้างต้นเป็นตัวเลขสมมติสำหรับฝึกคำนวณ — ตรวจราคาจริงจากหน้าราคาของผู้ให้บริการเสมอ

Context window = งบ token ต่อหนึ่งคำขอ

Prompt + ประวัติสนทนา + เอกสารที่ดึงมา + คำตอบ ต้องรวมกันไม่เกินขนาด context window การยัดทุกอย่างเข้าไปจึงทั้งแพงและช้า: ฐานความรู้ 24 เอกสารของเรามีรวม ≈ 1,398 token ถ้ายัดทั้งหมดในทุกคำถามจะได้ ≈ 1,405 token ต่อคำขอ (≈ 0.0042 USD ที่ราคาสมมติ) แต่ถ้าดึงมาเฉพาะ 3 เอกสารที่เกี่ยวข้อง (แนวคิดของ RAG ใน module ถัดไป) จะเหลือราว 198 token (≈ 0.0006 USD) — ประหยัดประมาณ 7 เท่าและยังลดสิ่งรบกวนโมเดล

Subword: ทำไมคำแปลกๆ ยังอ่านได้

Tokenizer สมัยใหม่ใช้ subword (เช่น BPE): เริ่มจากตัวอักษร แล้ววนรวมคู่ที่อยู่ติดกันบ่อยที่สุดเป็นหนึ่ง token ใหม่ ทีละรอบ

from collections import Counter

corpus = [list(w) for w in ['low', 'low', 'lower', 'newest', 'newest', 'widest']]
pairs = Counter((a, b) for word in corpus for a, b in zip(word, word[1:]))
top = min(pairs, key=lambda p: (-pairs[p], p))   # นับมากสุด; เสมอให้เรียงตามตัวอักษร

คำที่พบบ่อยจะกลายเป็น token เดียว คำหายากถูกแตกเป็นชิ้นเล็กๆ — จึงไม่มีคำที่ “ไม่รู้จัก” แต่คำหายาก/ภาษาที่ข้อมูลเทรนน้อยจะมี token ต่อข้อความมากขึ้น