สี่ชั้นของระบบตัวแทน AI: ทำไม 18 พันล้านโทเคนสอนให้ฉันหยุดปรับแต่งคำสั่ง

หกเดือนที่แล้ว หนึ่งในตัวแทน AI ของเราใช้โทเคนไปสี่หมื่นโทเคน เขียนสรุปที่ชัดเจนประกาศว่างานเสร็จสิ้น และจากนั้นก็ล้มเหลวในการทดสอบทุกครั้งในชุดทดสอบ

สี่หมื่นโทเคนของความล้มเหลวที่มั่นใจ ชัดเจน และมีโครงสร้างดี

สัญชาตญาณ — สัญชาตญาณของทุกคน — คือการเขียนใหม่คำสั่ง เพิ่ม "ให้แน่ใจว่าการทดสอบผ่าน." เปลี่ยนไปใช้โมเดลที่แข็งแกร่งกว่า ปรับคำแนะนำให้เข้มงวดขึ้น เราทุกคนเคยทำแบบนี้ และแทบทุกครั้ง มันคือการเคลื่อนไหวที่ผิดพลาด

ปัญหาไม่ได้อยู่ที่คำสั่ง ปัญหาอยู่ที่ชั้นใต้พื้นผิว

TL;DR:ความล้มเหลวของเอเจนต์ AI คือความล้มเหลวของสถาปัตยกรรมก่อนที่จะเป็นความล้มเหลวของการสั่งการ ทุกระบบเอเจนต์ AI ที่เชื่อถือได้ถูกสร้างขึ้นจากสี่ชั้น — Loop, Graph, Harness, Meta-harness — และ "คำสั่งที่ดีกว่าไม่สามารถชดเชยความสามารถที่ขาดหายไปได้" แต่การออกแบบคำสั่งยังคงเป็นส่วนหนึ่งของทางออก: มันคือ 5% สุดท้ายที่คุณใช้หลังจากชั้นต่างๆ มีความมั่นคง ไม่ใช่สิ่งแรกที่คุณเข้าถึง/เรียนรู้เมื่อมันไม่มี เราประมวลผล ~18 พันล้านโทเคนต่อเดือนบนสแต็กนี้ — สแต็กเดียวกับที่ทำงาน SEO และ GEO ของ Mercury — ที่ประมาณ 7 เซนต์ต่อหนึ่งล้านโทเคนที่ผสมกัน ตัวเลขนั้นคือความสำเร็จทางสถาปัตยกรรม ไม่ใช่ความสำเร็จในการสั่งการ

ฉันคือเจมส์ CEO ของ Mercury Technology Solutions จากสำนักงานของฉันในฮ่องกง ฉันดำเนินการที่ปรึกษา AI ที่ซึ่งเอเจนต์ AI ทำงานผลิตจริง — การเขียนโค้ดแอปพลิเคชัน, ท่อเนื้อหา, การตรวจสอบ GEO, ผลลัพธ์ SEO, รายงานลูกค้า — และฉันได้เรียนรู้จากประสบการณ์ว่า ความแตกต่างระหว่างการสาธิตและระบบไม่เคยอยู่ที่โมเดล แต่มันอยู่ที่สแต็กรอบๆ โมเดล สแต็กนี้ยังเป็นเหตุผลว่าทำไมการเปลี่ยนแปลงดิจิทัลที่ Mercury หมายถึงการสร้างชั้นรอบๆ โมเดล AI ใหม่ ไม่ใช่แค่การซื้อการเข้าถึงมัน

เอเจนต์ AI ที่โกหกฉัน

นี่คือสิ่งที่เอเจนต์ AI ที่ล้มเหลวขาดหายไปจริงๆ

มันไม่มีวงจรการตรวจสอบ ไม่มีอะไรในสภาพแวดล้อมของมันที่ตรวจสอบงานของมัน มันเขียนโค้ด "รู้สึก" เสร็จแล้ว และรายงานความสำเร็จ — เพราะจากภายในหน้าต่างบริบทของมัน ความสำเร็จและความเชื่อในความสำเร็จนั้นไม่สามารถแยกแยะได้ โมเดลไม่ได้โกหก มันไม่สามารถบอกความแตกต่างได้จริงๆ

ไม่มีการแก้ไขคำสั่งใดๆ ที่ทำให้ดีขึ้น คุณสามารถเขียน "ตรวจสอบงานของคุณ" จนมือของคุณเลือดออก แต่ถ้า AI harness ไม่เปิดเผยตัวทดสอบ เอเจนต์ก็เหมือนขอให้คนตาบอดตรวจสอบแสงสว่าง

มันชัดเจนเมื่อคุณเห็นมัน ความล้มเหลวไม่ได้อยู่ที่การให้เหตุผล แต่มันอยู่ที่สถาปัตยกรรมที่ล้อมรอบการให้เหตุผล

สี่ชั้น

ระบบเอเจนต์ AI ที่เชื่อถือได้ทุกระบบที่ฉันสร้างหรือศึกษา แบ่งออกเป็นสี่ชั้น ข้ามชั้นใดชั้นหนึ่งไป และความล้มเหลวจะแสดงขึ้นในภายหลังพร้อมกับการเขียนคำสั่งใหม่ ซึ่งเหมือนกับการทาสีผนังเพื่อแก้ไขรอยแตกในฐานราก

ชั้นที่ 1: วงจร — ทำซ้ำจนกว่าจะมีหลักฐานบอกให้หยุด. ตัวแทน AI ทำงาน, ตรวจสอบผลลัพธ์, และหยุดหรือพยายามอีกครั้ง. การตัดสินใจด้านการออกแบบที่สำคัญคือ ใครตัดสินใจเกี่ยวกับการเสร็จสิ้น. ตัวแทนที่เชื่อถือได้หยุดเมื่อการทดสอบผ่าน, การสร้างเสร็จสมบูรณ์, ผลลัพธ์ได้รับการตรวจสอบ — หลักฐานภายนอก, ไม่ใช่ความมั่นใจภายใน. โมเดลเชื่อ. วงจรตรวจสอบ.

ชั้นที่ 2: กราฟ — ตัดสินใจว่าสิ่งใดจะทำงานถัดไป. วงจรตัดสินใจ ว่าจะ การดำเนินการดำเนินต่อไป; กราฟตัดสินใจ ที่ไหนมันไปที่ไหน สาขา การลองใหม่ การส่งต่อผู้เชี่ยวชาญ เส้นทางสำรอง สถานะที่แชร์ เมื่อเวิร์กโฟลว์มีเส้นทางที่เป็นไปได้มากกว่าหนึ่งเส้นทาง คุณต้องการให้การจัดเส้นทางนั้นชัดเจนและตรวจสอบได้ — ไม่ใช่การด้นสดภายในบริบทของโมเดลในทุกการทำงาน

ชั้นที่ 3: ฮาร์เนส — ทำให้โมเดล AI ทำงานได้เครื่องมือ, API, ไฟล์, หน่วยความจำ, สิทธิ์, บริบท, การบันทึก นี่คือที่ที่วิศวกรรมที่ไม่หรูหราอาศัยอยู่ และนี่คือที่ที่ความล้มเหลวของตัวแทน AI ส่วนใหญ่เกิดขึ้น ความสามารถของโมเดลและความสามารถของตัวแทนเป็นปริมาณที่แตกต่างกัน โมเดล AI อาจเข้าใจวิธีการแก้ปัญหาได้อย่างแม่นยำ; หากฮาร์เนสไม่เปิดเผยเครื่องมือหรือสิทธิ์ งานนั้นก็จะตายที่นั่น

ชั้นที่ 4: เมตาฮาร์เนส — ควบคุมฮาร์เนสหลายตัวการดำเนินการจริงทำงานกับตัวแทนหลายตัว: ตัวแทนการเขียนโค้ด, ตัวแทนการวิจัย, ผู้เชี่ยวชาญในสาขาแต่ละคนมีเครื่องมือและนโยบายของตนเอง เมตาฮาร์เนสคือชั้นทั่วไปที่อยู่เหนือพวกเขา — การจัดการ, การควบคุม, การแยก, หน่วยความจำที่แชร์, การพกพาบริบท หากไม่มีมัน คุณจะไม่มีฟลีท คุณจะมีไซโลที่บังเอิญแชร์สำนักงาน

โดยสรุป:ลูปทำให้การทำงานสามารถตรวจสอบได้, กราฟทำให้เวิร์กโฟลว์มีโครงสร้าง, ฮาร์เนสทำให้โมเดลทำงานได้, และเมตาฮาร์เนสทำให้ฟลีทสามารถควบคุมได้

ตอนนี้, ความเชื่อผิด: การออกแบบคำสั่งยังคงมีความสำคัญ

นี่คือจุดที่ฉันแยกทางกับผู้ที่บริสุทธิ์ที่อ่าน "สถาปัตยกรรมมาก่อน" ว่า "การออกแบบคำสั่งตายแล้ว."

เรื่องไร้สาระ การออกแบบคำสั่งเป็นเรื่องจริง และเมื่อทำในขนาดใหญ่ก็มีมูลค่าจริง แต่คุณค่าของมันมีเงื่อนไขการจัดลำดับที่ทีมส่วนใหญ่เข้าใจผิด.

คิดมันเป็นสมการ:

ผลลัพธ์ของตัวแทน AI = (ความสามารถของชั้น) × (ประสิทธิภาพของคำสั่ง)

การคูณ ไม่ใช่การบวก หากความสามารถของชั้นใด ๆ เป็นศูนย์ — ไม่มีวงจรการตรวจสอบ ไม่มีเส้นทาง ไม่มีเครื่องมือ ไม่มีการกำกับดูแล — ผลิตภัณฑ์คือศูนย์ และไม่มีตัวคูณคำสั่งใด ๆ ที่สามารถช่วยมันได้ แต่เมื่อชั้นต่าง ๆ แข็งแกร่งแล้ว คำสั่งคือ ตัวคูณที่กำหนดว่ามีประสิทธิภาพเพียงใดโมเดลใช้สิ่งที่มันได้รับมาอย่างไร การปรับแต่งจาก 1.2 เป็น 1.4 บนสแต็กที่แข็งแรงจะเพิ่มพูน แต่การปรับแต่งบนสแต็กที่เสียหายคือการขัดทองแดงบนเรือที่กำลังจม.

หยุดการเขียนใหม่ของคำสั่งเพื่อชดเชยการขาดชั้นข้อมูล เริ่มปรับแต่งคำสั่งเพื่อใช้ประโยชน์จากชั้นข้อมูลที่สมบูรณ์

หลักฐาน 18 พันล้านโทเคน: เศรษฐศาสตร์ AI เชิงสร้างสรรค์ในขนาดใหญ่

ให้ฉันทำให้เรื่องนี้ชัดเจนด้วยตัวเลขของเราเอง เพราะนี่คือที่ที่ทฤษฎีจ่ายค่าเช่า

ฝูงเอเจนต์ AI ของเราประมวลผลประมาณ 18 พันล้านโทเคนต่อเดือน — งาน AI เชิงสร้างสรรค์ในระดับการผลิต ไม่ใช่การสาธิต ขายผ่าน API พรีเมียมในราคามาตรฐาน ปริมาณนี้จะมีค่าใช้จ่ายอยู่ระหว่าง $20,000 ถึง $200,000 USD ต่อเดือน ขึ้นอยู่กับระดับของโมเดล ค่าใช้จ่ายจริงของเราประมาณ $1,200 — อัตราผสมประมาณ $0.07 ต่อหนึ่งล้านโทเคน

โมเดลเดียวกัน งานเดียวกัน ความแตกต่างสองระดับคำสั่ง เงินออมมาจากไหน?

ไม่ใช่จากกลอุบายของคำสั่ง คำสั่งนั้นดี แต่พวกมันไม่ได้ทำงานหนัก ดูที่ที่เงินเคลื่อนที่จริงๆ:

ลูปได้กำจัดความสูญเสียที่ใหญ่ที่สุด: ความล้มเหลวที่มั่นใจ.ก่อนการเสร็จสิ้นที่มีหลักฐานเป็นเกณฑ์ ตัวแทน AI ของเราจะผลิตผลลัพธ์ที่ดูน่าเชื่อถือซึ่งล้มเหลวในขั้นตอนถัดไป ทำให้เกิดรอบการตรวจสอบของมนุษย์และการทำงานใหม่ทั้งหมด — ทุกครั้งที่เกิดขึ้นคือการเผาไหม้โทเคนอย่างแท้จริง เกณฑ์การทดสอบที่หยุดการทำงานของ AI ที่ไม่ดีที่โทเคน 8,000 แทนที่จะเป็นโทเคน 80,000 คือการลดราคาความล้มเหลวลง 90% โดยพื้นฐาน การตรวจสอบไม่ใช่ค่าใช้จ่ายเพิ่มเติม มันคือโทเคนที่ถูกที่สุดที่คุณจะใช้จ่าย เพราะมันป้องกันโทเคนที่มีราคาแพง.

กราฟได้จัดการงานไปยังโมเดลที่เพียงพอและมีราคาถูกที่สุด.ประเภทงานจะเชื่อมโยงกับโมเดล AI: การดึงข้อมูลตามปกติทำงานบนโมเดลท้องถิ่นขนาดเล็ก การร่างทำงานบนโมเดลระดับกลาง และโมเดลแนวหน้าที่มีราคาแพงจะสัมผัสเฉพาะการตัดสินใจที่ต้องการเท่านั้น ไม่มีคำสั่งเดียวทำให้โมเดลขนาดเล็กเพียงพอสำหรับงานที่ยาก — นั่นคือการตัดสินใจในการจัดเส้นทางที่ทำเพียงครั้งเดียวในกราฟ ชั้นนี้ชั้นเดียวคือส่วนใหญ่ของช่องว่างสองลำดับขนาดระหว่างเราและราคาของ API ในการค้าปลีก.

อุปกรณ์ช่วยทำให้การเลือกโมเดลไม่เกี่ยวข้องกับการออกแบบงาน.เนื่องจากเครื่องมือ หน่วยความจำ และสิทธิ์อยู่ในอุปกรณ์ช่วย การเปลี่ยนโมเดล AI — Claude เป็น Gemini, GPT เป็นโมเดลท้องถิ่น — ไม่ได้ออกแบบงานใหม่ เราปฏิบัติต่อโมเดล AI เหมือนส่วนประกอบที่สามารถเปลี่ยนได้ — เพราะมันเป็นเช่นนั้น อุปกรณ์ช่วยคือซ็อกเก็ต; โมเดลคือหลอดไฟ ทีมที่เขียนความสามารถลงในคำสั่งจะต้องซื้อซ็อกเก็ตใหม่ทุกครั้งที่ตลาดหลอดไฟเปลี่ยน.

อุปกรณ์ช่วยเมตาได้กระจายทุกอย่างไปทั่วทั้งฝูง.หน่วยความจำที่ใช้ร่วมกัน นโยบายที่ใช้ร่วมกัน มาตรฐานการตรวจสอบที่ใช้ร่วมกัน ตัวแทนที่สิบสองที่เรานำไปใช้งานไม่ต้องจ่ายค่าใช้จ่ายในการตั้งค่าของตัวแรก เพราะสภาพแวดล้อมของมันถูกสืบทอด ไม่ได้สร้างใหม่ เศรษฐศาสตร์ของเมต้า-ฮาร์เนสคือเหตุผลที่ต้นทุนส่วนเพิ่มของตัวแทนถัดไปของเรามีแนวโน้มไปสู่ศูนย์

ตอนนี้สังเกตสิ่งที่การออกแบบคำสั่งทำในระบบนี้: มันปรับแต่ง การใช้ประโยชน์ภายในแต่ละชั้น — คำสั่งที่แน่นหนากว่าหมายถึงการวนซ้ำที่น้อยลง สัญญาณการจัดเส้นทางที่ชัดเจนขึ้น ผลลัพธ์จากการผ่านครั้งแรกที่ดีกว่าจากโมเดล AI ทุกตัวในฝูงจริง ผลประโยชน์ที่แท้จริง เปอร์เซ็นต์หลักเดียวที่เพิ่มขึ้น แต่สองคำสั่งของขนาดมาจากชั้น การกระตุ้นคือการปรับแต่งที่ละเอียดบนเครื่องมือที่สถาปัตยกรรมได้สร้างขึ้นแล้ว

เวอร์ชัน เชิงโต้ตอบของสแต็กนี้อยู่บนเว็บไซต์ของเรา — การวนลูปที่ล้มเหลวในการตรวจสอบและพยายามใหม่คือวิทยานิพนธ์ทั้งหมดในหนึ่งแอนิเมชัน

สิ่งนี้เกี่ยวข้องอะไรกับ SEO และ GEO?

ทุกอย่าง ถ้า AI visibility เป็นส่วนหนึ่งของธุรกิจของคุณ

ข้อเสนอหลักของ Mercury คือการช่วยให้บริษัทต่างๆ จับลูกค้าที่หลุดรอดจากช่องว่างระหว่างระบบ AI และมนุษย์ — ซึ่งรวมถึงการทำให้แบรนด์สามารถอ้างอิงได้ภายในคำตอบของ AI ที่สร้างขึ้น ไม่ใช่แค่การจัดอันดับใน Google ทุกการตรวจสอบ GEO ที่เราส่งมอบ ทุกสิ่งที่เราจัดส่งในด้าน SEO ทุกทรัพย์สินคำตอบที่เราสร้างขึ้นสำหรับลูกค้าจะผลิตโดย AI stack สี่ชั้นเดียวกันนี้

นี่ไม่ใช่เรื่องบังเอิญ; นี่คือเศรษฐศาสตร์ GEO ในระดับองค์กรหมายถึงการทดสอบคำค้นหลายร้อยคำผ่าน ChatGPT, Perplexity, Gemini และ Claude — งานที่ซ้ำซาก มีโครงสร้าง และต้องการการตรวจสอบมาก โดยไม่มีสี่ชั้นนั้น งานที่ต้องทำจะมีค่าใช้จ่ายสูงเกินไปในราคาต่อโทเค็นค้าปลีก แต่เมื่อมีมัน การตรวจสอบการอ้างอิงที่อาจทำให้ร้านที่ทำเฉพาะคำสั่งล้มละลายกลายเป็นการทำงานประจำเดือนที่ปกติ สแต็กคือเหตุผลที่เราสามารถรับประกันการทำงานด้าน AI visibility โดยยังคงรักษากำไรไว้ได้

ดังนั้นเมื่อมีลูกค้าองค์กรถามว่าทำไมการอ้างอิง AI ของพวกเขาถึงล้าสมัยหรือแบรนด์ของพวกเขาไม่สามารถมองเห็นได้ใน LLMs คำตอบจะตามมาด้วยวินัยเดียวกัน: อย่าเขียนใหม่คำสั่ง ค้นหาชั้นนั้น นี่คือคำตอบเดียวกันไม่ว่าจะเป็นระบบตัวแทนการเขียนโค้ดหรือโปรแกรม SEO และ GEO ขององค์กรทั้งหมด — และนี่คือพื้นฐานที่ Mercury สร้างระบบสำหรับลูกค้า

วินัยการคัดกรอง

นี่คือข้อสรุปในการปฏิบัติ เมื่อเอเจนต์ AI ทำงานไม่ดี ให้ตั้งคำถามสี่ข้อ ก่อนที่คุณจะสัมผัสกับคำสั่งใดๆ

1. ลูป:มีการทดสอบ สร้าง หรือการตรวจสอบที่จริงจังในการเสร็จสิ้นหรือไม่ — หรือเอเจนต์กำลังให้คะแนนการบ้านของตัวเอง?
2. กราฟ:สาขา การลองใหม่ และการส่งต่อมีความชัดเจนหรือไม่ — หรือ improvisation ตามการทำงาน?
3. ฮาร์เนส:สภาพแวดล้อมเปิดเผยเครื่องมือ แหล่งข้อมูล และสิทธิ์ที่งานต้องการหรือไม่?
4. เมต้า-ฮาร์เนส:เอเจนต์ของคุณสามารถแชร์นโยบายและบริบทได้หรือไม่ — หรือพวกเขาเป็น N ซิลอสที่ไม่ประสานงาน?

เฉพาะเมื่อคำตอบทั้งสี่เป็น "ใช่" เท่านั้นที่คำสั่งจะกลายเป็นตัวแปรที่มีอำนาจสูงสุดที่เหลืออยู่ นั่นไม่ใช่การลดระดับของการออกแบบคำสั่ง แต่นั่นคือการเลื่อนตำแหน่งของมัน — จากไม้ค้ำยันไปเป็นตัวคูณ。

Yang Wen-li ชนะการเลือกตั้งโดยการแก้ไขโลจิสติกส์ในขณะที่คนอื่นศึกษากลยุทธ์ AI ที่มีอำนาจก็เป็นสงครามเดียวกัน ชั้นต่าง ๆ คือเส้นทางการจัดส่ง คำสั่งคือคู่มือสนามรบ。

สร้างชั้นต่าง ๆ จากนั้นปรับแต่งคำสั่ง AI ในลำดับนี้ — เสมอไป。

Mercury Technology Solutions: เร่งความเป็นดิจิทัล.