รายการตรวจสอบการผลิต API OpenRouter

ตรวจสอบความเข้ากันได้ของ API และเอนด์พอยต์

ใช้เอนด์พอยต์ที่เข้ากันได้กับ OpenAI มาตรฐานเพื่อการผสานรวมที่เชื่อถือได้

endpoint หลักคือ POST /v1/chat/completions. สิ่งนี้จัดการการสร้างข้อความสำหรับประวัติการแชท จุดปลายรอง, GET /v1/models, แสดงรายการโมเดลที่มีอยู่ คุณไม่ต้องการส่วนต่อประสาน embeddings หรือการสร้างภาพสำหรับงานเฉพาะข้อความ นักพัฒนาหลายคนสันนิษฐานว่าพวกเขาต้องการชั้นการกำหนดเส้นทางที่ซับซ้อน OpenRouter ทำให้สิ่งนี้ง่ายขึ้นโดยการเปิดเผยจุดเข้าใช้งานเดียว คุณส่ง payload JSON พร้อม ID โมเดลและคำสั่งระบบ บริการนี้จะส่งคืน JSON ที่มีโครงสร้างพร้อมเนื้อหาและข้อมูลการใช้งาน การออกแบบนี้ตรงกับข้อกำหนดของ SDK OpenAI ทางการ คุณสามารถเปลี่ยนโมเดลได้โดยไม่ต้องเปลี่ยนโค้ดไคลเอนต์ เพียงอัปเดต ID โมเดลในการกำหนดค่าของคุณ ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณรองรับ JSON schema ล่าสุด เวอร์ชันเก่าอาจปฏิเสธพารามิเตอร์ใหม่ ตรวจสอบการเชื่อมต่อของคุณก่อนนำไปใช้งานจริง ตรวจสอบว่ารูปแบบการตอบสนองตรงกับ parser ของคุณ

กำหนดค่าการตรวจสอบสิทธิ์และคีย์

ปกป้องคีย์ API ของคุณในตัวแปรสภาพแวดล้อมทันทีหลังจากการสร้าง

สร้างคีย์ผ่านแดชบอร์ดของผู้ให้บริการ เก็บไว้ในที่ปลอดภัย อย่า hardcode ไว้ใน repository ของคุณ ส่งคีย์ผ่าน Authorization: Bearer <key> header คีย์แต่ละอันผูกติดกับบัญชีเฉพาะ คุณสามารถหมุนเวียนคีย์ได้หากคุณสงสัยว่ามีการรั่วไหล ผู้ให้บริการบางรายอนุญาตให้ใช้คีย์หลายคีย์ต่อบัญชี ซึ่งช่วยให้คุณแยกการจราจรระหว่างสภาพแวดล้อมการพัฒนาและการผลิตได้ ตรวจสอบการใช้งานต่อคีย์เพื่อตรวจจับความผิดปกติ เพิกถอนคีย์ที่ไม่ได้ใช้งานเป็นประจำ ใช้คีย์อายุสั้นสำหรับสคริปต์ชั่วคราว ซึ่งช่วยลดขอบเขตความเสียหายจากการถูกโจมตี ตรวจสอบให้แน่ใจว่าเวอร์ชัน SDK ของคุณรองรับการตรวจสอบสิทธิ์ด้วยโทเค็น Bearer ไลบรารีรุ่นเก่าอาจต้องการรูปแบบ header ที่แตกต่างกัน ตรวจสอบเอกสารสำหรับ SDK เฉพาะของคุณ ตรวจสอบให้แน่ใจว่าคีย์มียอดเงินเพียงพอ คีย์ที่หมดอายุจะส่งข้อผิดพลาด 401 คีย์ที่มียอดเงินเป็นศูนย์จะส่งข้อผิดพลาด 402 แยกแยะระหว่างสองสถานะนี้ในลอจิกของคุณ

จัดการการสตรีมและการใช้ tokens

เปิดใช้งานสตรีมเพื่อลดความล่าช้าและข้อเสนอแนะแบบเรียลไทม์ของผู้ใช้

ตั้งค่า stream: true ใน payload ของคำขอของคุณ เซิร์ฟเวอร์ส่งชุดของ Server-Sent Events (SSE) เหตุการณ์แต่ละเหตุการณ์มีท่อนข้อความบางส่วน คุณต้องประกอบท่อนเหล่านี้เพื่อสร้างคำตอบเต็ม ท่อนสุดท้ายมักรวมถึงสถิติการใช้โทเค็น วิธีนี้ช่วยให้คุณติดตามต้นทุนแบบเรียลไทม์ หากไม่มีการสตรีม คุณต้องรอคำตอบทั้งหมด ซึ่งเพิ่มความล่าช้าที่ผู้ใช้รับรู้อย่างมาก การสตรีมจำเป็นสำหรับอินเทอร์เฟซแชท มันสร้างเอฟเฟกต์การพิมพ์ที่รู้สึกตอบสนอง ระวังการจัดการข้อผิดพลาดระหว่างการสตรีม หากการเชื่อมต่อขาดหาย คุณสูญเสียท่อนปัจจุบัน ตรรกะการเชื่อมต่อใหม่ควรรักษาสถานะการสนทนา SDK บางตัวจัดการการสตรีมโดยอัตโนมัติ ตัวอื่นต้องการตัวฟังเหตุการณ์แบบแมนนวล เลือกแนวทางที่เหมาะกับสถาปัตยกรรมของคุณ ตรวจสอบให้แน่ใจว่าตัวแยกวิเคราะห์ของคุณจัดการท่อน JSON ไม่สมบูรณ์ ไม่สมมติว่าแต่ละเหตุการณ์เป็นวัตถุที่สมบูรณ์ บัฟเฟอร์ข้อมูลจนกว่าคุณจะมีโครงสร้างที่ถูกต้อง

ตรวจสอบข้อจำกัดอัตราความเร็วและความพร้อมใช้งาน

ติดตามจำนวนคำขอต่อนาทีเพื่อหลีกเลี่ยงการหยุดชะงักของบริการ

OpenRouter กำหนดขีดจำกัดอัตราการใช้งานอย่างเข้มงวดต่อคีย์ API การเกินขีดจำกัดเหล่านี้จะกระตุ้นข้อผิดพลาด 429 Too Many Requests คุณต้องนำไปใช้การถอยหลังแบบเอกซ์โพเนนเชียลในตรรกะการเรียกซ้ำ การร้องขอแบบคอนเคอร์เรนต์ยังนับรวมอยู่ในขีดจำกัดของคุณ ตรวจสอบส่วนหัวของคำตอบสำหรับโควตาที่เหลือ ผู้ให้บริการบางรายเปิดเผยส่วนหัวเหล่านี้โดยตรง ผู้ให้บริการอื่นต้องการให้คุณอนุมานขีดจำกัดจากข้อผิดพลาด ความคอนเคอร์เรนต์สูงสามารถทำให้พูลการเชื่อมต่อของคุณหมดลงได้ ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณจัดการการเชื่อมต่ออย่างมีประสิทธิภาพ ใช้พูลการเชื่อมต่อเพื่อลดโอเวอร์เฮด ตรวจสอบความลึกของคิวของคุณในช่วงเวลาที่มีโหลดสูง หากคุณถึงขีดจำกัด ให้รอก่อนเรียกซ้ำ ทำเวลาการรอของคุณให้สุ่มเพื่อหลีกเลี่ยงปัญหาฝูงสัตว์ที่โจมตีพร้อมกัน บันทึกเหตุการณ์ขีดจำกัดอัตราการใช้งานทั้งหมดเพื่อการแก้ไขข้อผิดพลาด สิ่งนี้ช่วยระบุรูปแบบในการใช้งานของคุณ ปรับการตั้งค่าความคอนเคอร์เรนต์ของคุณตามบันทึกเหล่านี้ อย่าสันนิษฐานว่าคีย์เดียวสามารถรองรับการรับส่งข้อมูลที่ไม่จำกัดได้ หากจำเป็น ให้กระจายโหลดข้ามคีย์หลายคีย์ สิ่งนี้ต้องการการจัดการสถานะอย่างระมัดระวัง ตรวจสอบให้แน่ใจว่าแต่ละคีย์รักษาบริบทของตัวเองไว้หากจำเป็น

จัดการการเรียกเก็บเงินด้วยคริปโตและการเติมเงิน

ใช้เครดิตแบบชำระล่วงหน้าเพื่อครอบคลุมการใช้งาน tokens โดยไม่มีค่าธรรมเนียมรายเดือน

เติมเงินบัญชีของคุณด้วยคริปโต เครือข่ายที่รองรับรวมถึง USDT บน TRC20 และ USDC บน Base การเติมเงินขั้นต่ำเริ่มต้นที่ $20 โบนัสจะใช้กับจำนวนเงินที่มากขึ้น คุณได้รับเงินเพิ่ม 5% สำหรับ $50, 10% สำหรับ $100 และ 15% สำหรับ $200 เครดิตไม่หมดอายุ ซึ่งเหมาะสำหรับโครงการระยะยาว คุณจ่ายเฉพาะโทเค็นที่ใช้จริง ความผิดพลาดและการปฏิเสธไม่เสียค่าใช้จ่าย ซึ่งปกป้องงบประมาณของคุณจากค่าใช้จ่ายที่ไม่คาดคิด บัญชีใหม่จะได้รับ $0.50 สำหรับการทดสอบ ไม่มีการคืนเงินสำหรับการซื้อมาตรฐาน การเรียกเก็บเงินซ้ำจะถูกแก้ไขผ่านฝ่ายสนับสนุน ตรวจสอบให้แน่ใจว่ากระเป๋าเงินของคุณรองรับเครือข่ายที่ต้องการ ตรวจสอบที่อยู่สัญญา ก่อนส่ง การส่งไปยังเครือข่ายที่ผิดอาจทำให้สูญเสียเงินทุน ตรวจสอบยอดคงเหลือของคุณเป็นประจำ ยอดคงเหลือต่ำอาจขัดขวางบริการโดยไม่คาดคิด หากเป็นไปได้ให้เติมเงินอัตโนมัติ ซึ่งช่วยให้มั่นใจถึงความพร้อมใช้งานอย่างต่อเนื่องสำหรับงานสำคัญ

ทดสอบตัวกรองเนื้อหาและการปฏิเสธ

ตรวจสอบให้แน่ใจว่า model ทำงานได้ตามที่คาดหวังกับ prompts แบบ uncensored

โมเดลแบบไม่มีการเซ็นเซอร์อาจยังคงใช้ข้อจำกัดแข็ง ตรวจสอบการจำกัดประเภทเนื้อหาเฉพาะ ทดสอบด้วยวลีกระตุ้นที่รู้จัก ตรวจสอบว่าโมเดลตอบสนองอย่างไร ผู้ให้บริการบางรายยังคงใช้ตัวกรองเนื่องจากเหตุผลทางกฎหมาย ตรวจสอบสิ่งเหล่านี้ก่อนพึ่งพาโมเดลสำหรับข้อมูลที่ละเอียดอ่อน ทดสอบกรณีขอบเขตในโดเมนของคุณ ส่งคำขอที่มักกระตุ้นการปฏิเสธ สังเกตรูปแบบการตอบกลับ มันส่งกลับเหตุผลสำหรับการปฏิเสธหรือไม่ หรือมันสร้างเนื้อหาอย่างเงียบๆ บันทึกพฤติกรรมเหล่านี้ในการทดสอบการผสานรวมของคุณ สิ่งนี้ป้องกันความประหลาดใจในการผลิต หากโมเดลเปลี่ยนพฤติกรรมของคุณ อัปเดตการทดสอบของคุณ แจ้งทีมของคุณเกี่ยวกับการเปลี่ยนแปลงที่สำคัญ ความสม่ำเสมอคือกุญแจสำคัญสำหรับความไว้วางใจของผู้ใช้ ตรวจสอบให้แน่ใจว่าแอปพลิเคชันของคุณจัดการการปฏิเสธได้อย่างราบรื่น อย่าสันนิษฐานว่าการตอบกลับทุกครั้งถูกต้อง ตรวจสอบโครงสร้างผลลัพธ์ ตรวจสอบการสร้างภาพหลอกหรือข้อผิดพลาดในการจัดรูปแบบ สิ่งนี้รับประกันประสบการณ์ผู้ใช้ที่เชื่อถือได้

Implement Error Handling for Free Requests

จัดการข้อผิดพลาดอย่างสุภาพเพื่อรักษาประสบการณ์ผู้ใช้ที่ราบรื่น

ข้อผิดพลาดของเครือข่าย การหมดเวลา และข้อผิดพลาดของเซิร์ฟเวอร์สามารถเกิดขึ้นได้ ควรใช้ตรรกะการลองใหม่ด้วยการเพิ่มเวลาแบบเอกซ์โพเนนเชียล แยกแยะระหว่างข้อผิดพลาดชั่วคราวและถาวร ข้อผิดพลาด 429 เป็นข้อผิดพลาดชั่วคราว ให้รอแล้วลองใหม่ ข้อผิดพลาด 400 เป็นข้อผิดพลาดถาวร ให้ตรวจสอบข้อมูลอินพุตของคุณ ข้อผิดพลาด 500 เป็นข้อผิดพลาดฝั่งเซิร์ฟเวอร์ ให้ลองใหม่ด้วยความระมัดระวัง บันทึกข้อผิดพลาดทั้งหมดสำหรับการแก้ไขข้อบกพร่อง รวมข้อมูลคำขอและร่างกายการตอบกลับไว้ด้วย วิธีนี้ช่วยให้อ้างอิงปัญหาได้รวดเร็ว อย่าเปิดเผยข้อผิดพลาดดิบให้กับผู้ใช้ จัดรูปแบบข้อผิดพลาดเป็นข้อความที่เข้าใจง่ายสำหรับผู้ใช้ จัดการข้อผิดพลาดสตรีมอย่างระมัดระวัง ตัดการเชื่อมต่อจากสตรีมเหตุการณ์ ทำความสะอาดทรัพยากร ตรวจสอบให้แน่ใจว่าแอปพลิเคชันของคุณไม่มีการรั่วไหลของหน่วยความจำ ทดสอบสถานการณ์ข้อผิดพลาดอย่างละเอียด จำลองการตัดการเชื่อมต่อของเครือข่าย จำลองการหมดเวลาของเซิร์ฟเวอร์ ตรวจสอบว่าตรรกะการกู้คืนของคุณทำงานได้ วิธีนี้ช่วยให้มั่นใจได้ในความน่าเชื่อถือภายใต้สภาวะที่ไม่เอื้ออำนวย

ปรับขนาดด้วย JSON Mode และ Tool Calling

ใช้เอาต์พุตที่มีโครงสร้างสำหรับการดึงข้อมูลและการเรียกใช้ฟังก์ชันที่เชื่อถือได้

เปิดใช้งานโหมด JSON โดยตั้งค่า response_format: {type: "json_object"}. สิ่งนี้บังคับให้โมเดลเอาต์พุต JSON ที่ถูกต้อง ใช้สิ่งนี้สำหรับการแยกวิเคราะห์ข้อมูลหรือการสร้างคอนฟิก การเรียกใช้เครื่องมือช่วยให้โมเดลสามารถเรียกใช้ฟังก์ชันได้ กำหนดเครื่องมือของคุณในบอดีคำขอ โมเดลจะตัดสินใจเมื่อจะเรียกใช้เครื่องมือ ส่งผลลัพธ์กลับไปยังโมเดล มันสามารถสร้างการตอบกลับสุดท้ายโดยอิงจากเอาต์พุต สิ่งนี้สร้างวงจรสำหรับงานที่ซับซ้อน โปรดกำหนดนิยามเครื่องมือให้ชัดเจน เครื่องมือที่คลุมเครือนำไปสู่การเรียกใช้ที่ไม่ถูกต้อง ตรวจสอบเอาต์พุต JSON ก่อนแยกวิเคราะห์ เพื่อป้องกันข้อผิดพลาดรันไทม์ในโค้ดของคุณ ใช้การเรียกใช้เครื่องมือสำหรับงานแยกสกัดข้อมูล มันช่วยปรับปรุงความแม่นยำอย่างมีนัยสำคัญ ทดสอบกับรูปแบบข้อมูลต่างๆ เพื่อให้แน่ใจว่าโมเดลจัดการกรณีขอบเขตได้ บันทึกเครื่องมือที่มีให้สำหรับทีมของคุณ สิ่งนี้ช่วยให้มั่นใจถึงการใช้งานที่สอดคล้องกันทั่วทั้งโครงการ

ทบทวนนโยบายความเป็นส่วนตัวและการใช้งานข้อมูล

ทำความเข้าใจว่าผู้ให้บริการจัดเก็บและใช้ข้อมูลของคุณอย่างไร

ตรวจสอบนโยบายความเป็นส่วนตัวเพื่อดูรายละเอียดการเก็บข้อมูล บางผู้ให้บริการใช้ข้อมูลของคุณเพื่อการฝึกโมเดล บางรายเก็บข้อมูลเป็นส่วนตัว ตรวจสอบให้แน่ใจว่าข้อมูลของคุณไม่ถูกนำไปปรับปรุงโมเดลหากเรื่องนี้เป็นสิ่งสำคัญสำหรับคุณ ตรวจสอบมาตรฐานการเข้ารหัสข้อมูล ข้อมูลควรได้รับการเข้ารหัสทั้งขณะส่งและขณะเก็บ ตรวจสอบว่ามีการเก็บ log หรือไม่ log อาจมีข้อความที่คุณป้อนเข้าไป ตรวจสอบให้แน่ใจว่า log เหล่านี้ปลอดภัย ตรวจสอบข้อกำหนดการให้บริการเกี่ยวกับเงื่อนไขความรับผิดชอบ ทำความเข้าใจว่าใครเป็นเจ้าของเนื้อหาที่สร้างโดยโมเดล บางผู้ให้บริการอ้างสิทธิ์ในผลลัพธ์ของคุณ ตรวจสอบให้แน่ใจว่าสอดคล้องกับความต้องการของคุณ ลบบัญชีหากคุณไม่ได้ใช้บริการอีกแล้ว ตรวจสอบให้แน่ใจว่าข้อมูลของคุณถูกลบแล้ว ติดต่อฝ่ายสนับสนุนหากคุณมีความกังวล บันทึกการตั้งค่าความเป็นส่วนตัวของคุณเพื่อวัตถุประสงค์ในการตรวจสอบ เพื่อให้สอดคล้องกับนโยบายภายใน