# วิธีบันทึกผล buzzAI API

ตาราง CSV เป็นแบบฟอร์มว่าง ไม่มีผลทดสอบแฝงอยู่ ตัวอย่างการตั้งค่าไม่ใช่ผล benchmark

1. ใช้ key ที่เปิดสิทธิ์แล้วและงานที่มีสิทธิ์ทดสอบ ไม่ส่งข้อมูลลูกค้าหรือโค้ดลับ
2. บันทึกแพ็ก โมเดล quantization (ถ้าทราบ) เวอร์ชัน engine/เครื่องมือ repository commit และเวลา UTC ช่องที่ไม่ทราบให้เว้นว่าง
3. เริ่ม 1 concurrent; เพิ่มได้เฉพาะตามสิทธิ์แพ็ก ทดสอบหลายช่วงเวลารวมช่วงงานหนาแน่น ไม่ทดสอบจนกระทบบริการผู้อื่น
4. จับเวลาด้วย monotonic clock จากก่อนส่ง HTTP จนรับจบ client_first_content_ms คือเวลาจน SSE มีเนื้อหาตอบที่ไม่ว่าง ไม่ใช่ role-only event หรือ heartbeat งาน tool call ควรแยกเวลาจนได้รับ tool-call delta และรายงานประเภทงาน
5. client_total_ms รวม network คิว และประมวลผล queue_ms_if_reported ใส่เฉพาะที่ระบบรายงานจริง อย่าอนุมานจาก TTFT
6. เก็บ usage ที่ API รายงาน ถ้าไม่รายงานให้เว้นว่าง ห้ามประมาณ token จากจำนวนตัวอักษรเพื่ออ้างประสิทธิภาพ
7. งานที่หลุด timeout ล้มเหลว หรือต้องแก้เองต้องอยู่ในรายงาน อัตราล้มเหลว = คำขอล้มเหลว / คำขอทั้งหมด
8. p50/p95 ต้องระบุวิธีคำนวณและจำนวนตัวอย่าง แนะนำอย่างน้อย 30 คำขอต่อเงื่อนไขสำหรับผลเบื้องต้น; ห้ามใช้ชุดเล็กยืนยัน SLA หรือโหลดทั้งเดือน
9. Context ยาว: ใช้ tokenizer ของโมเดล นับ input + output ที่จองไว้ ทดสอบ retrieval จากหลายตำแหน่งและรวม tool outputs; ผ่าน admission ไม่เท่ากับอ่านเนื้อหาได้ถูกต้องทั้งหมด
10. Agent: กำหนดงานและเงื่อนไขผ่านล่วงหน้า เปรียบเทียบงานชุดเดียวกัน รันเทสต์ ตรวจ diff บันทึกเวลาจนจบทั้งงานและจำนวนครั้งที่ต้องแก้เอง
11. เผยแพร่ config และข้อมูลสังเคราะห์พร้อมผลทุกกรณีที่เลือกทดสอบ แต่ลบ key, prompt ที่เป็นความลับและ PII ก่อนเผยแพร่

สถานะหลักฐาน: https://heybuzzai.com/api-benchmarks/