Token ของ AI คืออะไร นับอย่างไร ทำไมจำนวนคำถึงใช้แทนไม่ได้
พิมพ์หา AI หนึ่งประโยค เท่ากับใช้กี่ Token? คำตอบขึ้นอยู่กับวิธีแบ่งข้อความของโมเดล การนับคำหรือจำนวนตัวอักษรอย่างเดียวจึงยังบอกจำนวนที่แน่นอนไม่ได้ แม้เป็นข้อความเดียวกัน เมื่อเปลี่ยนโมเดล ผลการนับก็อาจต่างกัน

Token คือหน่วยย่อยที่โมเดลใช้ประมวลผล
Token หรือโทเค็น คือหน่วยย่อยที่ระบบใช้แทนข้อความเพื่อให้โมเดลภาษาประมวลผล หนึ่ง Token อาจเป็นคำเต็ม ส่วนหนึ่งของคำ เครื่องหมายวรรคตอน หรือหน่วยที่รวมช่องว่างอยู่ด้วย ขอบเขตของมันจึงไม่จำเป็นต้องตรงกับคำที่เราอ่าน
ส่วนที่แบ่งข้อความเรียกว่า Tokenizer และกระบวนการแบ่งเรียกว่า Tokenization หลังแบ่งแล้ว ระบบจะแปลงแต่ละหน่วยเป็นรหัสตัวเลขหรือ Token ID ตามชุดคำศัพท์ของ Tokenizer เพื่อเตรียมข้อมูลให้โมเดล เอกสาร Hugging Face เรื่อง Encoding แยกสองขั้นตอนนี้ไว้ชัดเจน
Token ID เป็นรหัสระบุหน่วย ไม่ใช่จำนวนหน่วย เช่น การเห็นรหัสตัวเลขค่ามากไม่ได้หมายความว่าข้อความนั้นใช้ Token มากตามค่าของรหัส เวลาตรวจจำนวนต้องดูว่ามีกี่หน่วย และเครื่องมือรวมส่วนพิเศษใดไว้บ้าง
คำว่า Token ในบทความนี้หมายถึงหน่วยประมวลผลของ AI ส่วน Token ที่ใช้เรียกสินทรัพย์ดิจิทัลเป็นอีกความหมายหนึ่ง การซื้อแพ็กเกจ AI หรือใช้โควตาของบริการจึงต้องดูเงื่อนไขของบริการนั้นโดยตรง
ทำไมหนึ่งคำถึงมีได้หลาย Token
Tokenizer แต่ละแบบมีกติกาและชุดคำศัพท์ต่างกัน วิธีที่เรียกว่า Subword Tokenization แบ่งข้อความได้ถึงระดับส่วนของคำ จึงใช้ชิ้นส่วนที่มีอยู่ประกอบแทนคำหลายรูปแบบได้ โดยไม่จำเป็นต้องเก็บทุกคำเป็นหน่วยเดียว
ดูตัวอย่างจากบทเรียน Hugging Face เรื่อง Subword Tokenization ด้านล่าง คำว่า tokenization ถูกแยกเป็นส่วน token กับ ization ทำให้คำเดียวกินพื้นที่มากกว่าหนึ่ง Token ในตัวอย่างนี้
อย่านำภาพนี้ไปสรุปว่า Tokenizer ทุกตัวจะแบ่งประโยคนี้เหมือนกัน หรือว่าคำยาวจะต้องใช้ Token มากกว่าคำสั้นเสมอ ผลขึ้นอยู่กับวิธีแบ่งและชุดคำศัพท์ที่ใช้ เอกสารอัลกอริทึมของ Hugging Face อธิบายหลายแนวทาง เช่น BPE, Unigram และ WordPiece ซึ่งไม่ได้ใช้กติกาเดียวกันทั้งหมด
ภาษาไทยนับจากคำหรือจำนวนตัวอักษรได้ไหม
ภาษาไทยไม่ได้เว้นวรรคระหว่างทุกคำ การแบ่งข้อความตามช่องว่างจึงยังไม่บอกจำนวนคำไทย และยิ่งใช้แทนจำนวน Token ของโมเดลไม่ได้ หากอยากรู้ว่าข้อความ วันนี้อยากเรียนรู้เรื่อง AI ใช้กี่ Token ต้องตรวจด้วยเครื่องมือที่รองรับโมเดลนั้น
การนับคำ การนับตัวอักษร และการนับ Token ตอบคนละคำถาม เครื่องมือนับคำเหมาะกับการตรวจความยาวงานเขียน ส่วน Tokenizer ใช้ตรวจว่าข้อความถูกแบ่งตามกติกาของโมเดลอย่างไร จำนวนหนึ่งจึงใช้แทนอีกจำนวนโดยตรงไม่ได้
สูตรประมาณจากภาษาอังกฤษ เช่น จำนวนตัวอักษรเฉลี่ยต่อ Token อาจช่วยกะขนาดงานบางประเภท แต่ไม่ใช่อัตราตายตัวสำหรับข้อความไทยทุกแบบ จึงไม่ควรใช้คูณเป็นค่าใช้จ่ายจริง หรือสรุปว่าภาษาไทยใช้ Token มากกว่าภาษาอังกฤษเสมอโดยไม่ตรวจโมเดลและข้อความที่นำมาเทียบ
Token ขาเข้า ขาออก และ Context Window
เมื่อคุยกับ AI มีทั้งข้อมูลที่ส่งให้โมเดลและข้อมูลที่โมเดลสร้างกลับมา คำว่า Input Tokens หมายถึงหน่วยของข้อมูลขาเข้า ส่วน Output Tokens หมายถึงหน่วยของข้อมูลขาออก ขอบเขตการรายงานส่วนเพิ่มเติม เช่น การคิดภายในหรือเครื่องมือ ขึ้นอยู่กับบริการและโมเดล
ข้อมูลขาเข้าอาจรวมคำสั่งระบบ เอกสาร และประวัติสนทนาที่ระบบส่งเข้าไปด้วย ตัวอย่างเช่น เอกสาร Gemini แยกการนับข้อความ ประวัติสนทนา คำสั่งระบบ และเครื่องมือไว้ การถามใหม่สั้น ๆ หลังคุยกันมานานจึงไม่ได้แปลว่าคำขอนั้นมีเฉพาะข้อความล่าสุดเสมอไป
Context Window คือขอบเขตปริมาณข้อมูลที่โมเดลประมวลผลร่วมกันได้ โดยมักระบุเป็น Token แต่กติกาแบ่งพื้นที่อินพุต คำตอบ และส่วนอื่นอาจต่างตามรุ่น ถ้าจะใช้เอกสารยาว ควรตรวจข้อจำกัดของรุ่นนั้นเพิ่มเติมใน คู่มือ Context Window และเอกสารยาว การรองรับข้อความได้มากไม่ได้รับประกันว่าจะตอบถูกทุกส่วน
สำหรับบริการ API จำนวน Token อาจเป็นส่วนหนึ่งของการคิดค่าใช้จ่าย โดยอินพุตกับเอาต์พุตอาจมีคนละอัตรา และยังมีเงื่อนไขอื่น ส่วนแพ็กเกจแอปแชตสำหรับผู้ใช้ทั่วไปต้องดูโควตาและข้อกำหนดของแพ็กเกจนั้น ไม่ควรนำสูตรราคา API ไปใช้แทนโดยอัตโนมัติ
ลองนับ Token เมื่อเปลี่ยนช่องว่างหรือเครื่องหมาย
แบบฝึกต่อไปนี้เป็นวิธีสังเกตที่ KrobClick เสนอ ไม่ใช่ผลทดลองหรือจำนวน Token ที่วัดไว้แล้ว ใช้ข้อความทั่วไปที่ไม่มีข้อมูลส่วนตัว เลือกเครื่องมือนับที่ระบุโมเดลได้ และจดชื่อโมเดลหรือรุ่น Tokenizer ที่ใช้ก่อนเริ่ม
- นับข้อความตั้งต้น
วันนี้อยากเรียนรู้เรื่อง AIแล้วบันทึกจำนวนที่เครื่องมือแสดง หากดูการแบ่งหน่วยได้ ให้เก็บผลการแบ่งไว้ด้วย - เปลี่ยนเฉพาะการเติมเครื่องหมายเป็น
วันนี้อยากเรียนรู้เรื่อง AI!แล้วนับใหม่ด้วยโมเดลเดิม - กลับไปใช้ข้อความตั้งต้น แล้วเปลี่ยนเฉพาะคำท้ายเป็น
วันนี้อยากเรียนรู้เรื่องปัญญาประดิษฐ์จดผลแยกจากรอบก่อน - หากจะเปรียบเทียบต่างโมเดล ให้ใช้ข้อความตั้งต้นเดิมทุกตัวอักษร แล้วระบุชื่อโมเดลกำกับแต่ละผล
สิ่งที่ควรสังเกตคือขอบเขตการแบ่งเปลี่ยนหรือไม่ และจำนวนต่างกันเท่าไร ไม่ควรกำหนดคำตอบไว้ล่วงหน้าว่าเติมเครื่องหมายหนึ่งตัวแล้วต้องเพิ่มหนึ่ง Token เพราะกติกาการแบ่งอาจทำให้หน่วยรอบข้างเปลี่ยนไปด้วย
ตรวจด้วยว่าเครื่องมือกำลังนับข้อความล้วน หรือรวมรูปแบบข้อความสนทนาและ Token พิเศษที่ระบบใช้ด้วย การนับคนละขอบเขตอาจให้ผลต่างกันแม้ข้อความที่เห็นเหมือนกัน หากบริการไม่เปิดรายละเอียดเหล่านี้ ให้ระบุข้อจำกัดไว้แทนการเดา และอย่าถือว่าตัวเลขที่ AI พิมพ์ตอบเองเป็นหลักฐานจากระบบนับ
สำหรับงานพัฒนา การนับก่อนส่งช่วยตรวจขนาดอินพุต ส่วนข้อมูล usage คือข้อมูลการใช้งานที่ API รายงานหลังประมวลผล ซึ่งใช้ตรวจส่วนที่เกิดขึ้นจริงได้เพิ่มเติม การนับอินพุตล่วงหน้าจึงยังไม่ใช่จำนวน Token ของคำตอบที่จะได้ อ่านขั้นตอนเฉพาะบริการต่อใน คู่มือนับ Token ก่อนส่งและหลังตอบของ Gemini
เขียนให้กระชับโดยเก็บข้อมูลสำคัญไว้
เมื่อต้องเลือกข้อมูลที่จะส่งให้ AI ให้ตัดคำสั่งที่ซ้ำ เลือกเฉพาะส่วนของเอกสารที่เกี่ยวข้อง และบอกรูปแบบคำตอบให้ชัด ความเข้าใจเรื่อง Token ช่วยจัดข้อมูลเหล่านี้ได้ แต่ยังต้องเก็บเงื่อนไขและข้อยกเว้นที่มีผลต่อคำตอบไว้
ตัวอย่างสมมติ หากต้องการให้ AI ช่วยตรวจเงื่อนไขคืนเงิน อาจใช้คำสั่งว่า:
ใช้ข้อความนโยบายที่แนบมา อธิบายว่าใครขอคืนเงินได้ ภายในกี่วัน และมีข้อยกเว้นอะไร ระบุหัวข้อที่ใช้เป็นหลักฐาน หากข้อความไม่ระบุให้ตอบว่าไม่พบข้อมูล
ส่งทั้งเงื่อนไขหลักและข้อยกเว้นที่เกี่ยวข้อง แล้วเปิดต้นฉบับตรวจคำตอบอีกครั้ง หากตัดข้อยกเว้นออกเพื่อลด Token แม้คำขอจะสั้นลงก็อาจเหลือข้อมูลไม่พอสำหรับคำตอบที่ต้องการ ก่อนส่งข้อมูลจริง ตรวจสิทธิ์และนโยบายของบริการ โดยเฉพาะเอกสารส่วนบุคคลหรือข้อมูลลูกค้า
แหล่งข้อมูลที่ใช้ตรวจสอบ
- Hugging Face LLM Course: Tokenizers
- Hugging Face Transformers: Tokenization algorithms
- Google AI for Developers: Understand and count tokens
ตรวจเอกสารต้นทางวันที่ 23 ตุลาคม 2569 ตามเวลาไทย ภาพการแบ่งคำเป็นตัวอย่างจาก Hugging Face ส่วนแบบฝึกข้อความไทยและตัวอย่างคำสั่งเป็นข้อเสนอของ KrobClick ไม่ใช่ผลทดสอบโมเดลหรือการเรียก API จริง วิธีแบ่ง Token ขีดจำกัด และการคิดค่าบริการขึ้นอยู่กับโมเดลและบริการที่ใช้