OpenRouter API Production Checklist

Verifică compatibilitatea API și endpoint-urile

Folosește endpoint-urile standard compatibil cu OpenAI pentru o integrare fiabilă.

Punctul final principal este POST /v1/chat/completions. Acest lucru gestionează generarea de text pentru istoricul chat-urilor. Un endpoint secundar, GET /v1/models, listează modelele disponibile. Nu aveți nevoie de endpoint-uri pentru embeddings sau generare de imagini pentru sarcinile doar de text. Mulți dezvoltatori presupun că au nevoie de un strat complex de rutare. OpenRouter simplifică acest lucru expunând un singur punct de intrare. Trimiteți un payload JSON cu ID-ul modelului și prompturile de sistem. Serviciul returnează un JSON structurat cu conținut și date de utilizare. Acest design se potrivește cu așteptările SDK-ului oficial OpenAI. Puteți interschimba modelele fără a vă schimba codul clientului. Actualizați doar ID-ul modelului în configurația dvs. Asigurați-vă că clientul dvs. suportă cea mai recentă schemă JSON. Versiunile mai vechi ar putea respinge noile parametri. Testați-vă conexiunea înainte de a depune în producție. Verificați dacă formatul de răspuns se potrivește cu parserul dvs.

Configurați Autentificarea și Cheile

Securizați-vă cheia API în variabilele de mediu imediat după generare.

Generează o cheie prin panoul furnizorului. Stoați-o într-o locație sigură. Nu o codificați hard în depozitul sursă. Transmite-o prin Authorization: Bearer <key> header. Fiecare cheie este legată de un cont specific. Poți roti cheile dacă bănuiești o scurgere. Unii furnizori permit mai multe chei per cont. Acest lucru îți permite să separi traficul de dezvoltare de cel de producție. Monitorizează utilizarea per cheie pentru a detecta anomalii. Revocă regulat cheile neutilizate. Folosește chei cu durată de viață scurtă pentru scripturi temporare. Acest lucru reduce impactul unei compromisări. Asigură-te că versiunea SDK-ului tău suportă autentificarea cu token Bearer. Bibliotecile mai vechi ar putea necesita un format de header diferit. Verifică documentația pentru SDK-ul tău specific. Verifică dacă cheia are un sold suficient. O cheie expirată returnează o eroare 401. O cheie cu sold zero returnează o eroare 402. Distinge între aceste două stări în logica ta.

Gestionați streamingul și utilizarea tokenilor

Activați streaming-ul pentru feedback în timp real al utilizatorului și latență redusă.

Setează stream: true în payload-ul solicitării. Serverul trimite o serie de Evenimente trimise de server (SSE). Fiecare eveniment conține o bucată parțială de text. Trebuie să asamblați aceste bucăți pentru a forma răspunsul complet. Ultima bucată include adesea statisticile de utilizare a tokenilor. Acest lucru vă permite să urmăriți costurile în timp real. Fără streaming, așteptați întregul răspuns. Acest lucru crește semnificativ latența percepută. Streaming-ul este esențial pentru interfețele de chat. Creează un efect de tastare care pare receptiv. Aveți grijă la gestionarea erorilor în timpul streaming-ului. Dacă conexiunea se întrerupe, pierdeți bucata curentă. Logica de reconectare ar trebui să păstreze starea conversației. Unele SDK-uri gestionează streaming-ul automat. Altele necesită ascultători de evenimenti manuali. Alegeți abordarea care se potrivește arhitecturii dvs. Asigurați-vă că parserul gestionează bucățile JSON incomplete. Nu presupuneți că fiecare eveniment este un obiect complet. Bufferizați datele până când aveți o structură validă.

Monitorizează limitele de rată și concurența

Urmărește numărul de cereri pe minut pentru a evita întreruperile serviciului.

OpenRouter aplică limite stricte de rată per cheie API. Depășirea acestor limite declanșează o eroare 429 Too Many Requests. Trebuie să implementați o backoff exponențială în logica de reîncercare. Solicitățile concurente se numără, de asemenea, în limitele dvs. Verificați anteturile de răspuns pentru a vedea cota rămasă. Unii furnizori expun aceste anteturile direct. Alții necesită să deduceți limitele din erori. Concurența ridicată poate epuiza pool-ul de conexiuni. Asigurați-vă că clientul dvs. gestionează conexiunile eficient. Utilizați pool-ul de conexiuni pentru a reduce overhead-ul. Monitorizați adâncimea cozii în timpul perioadelor de vârf. Dacă atingeți limita, așteptați înainte de a reîncerca. Randomizați timpul de așteptare pentru a evita problemele de „herd” masiv. Logați toate evenimentele de limitare a ratei pentru depanare. Acest lucru ajută la identificarea modelelor de utilizare. Ajustați setările de concurență în funcție de aceste jurnale. Nu presupuneți că o singură cheie poate gestiona trafic nelimitat. Distribuiți sarcina între mai multe chei dacă este necesar. Acest lucru necesită o gestionare atentă a stării. Asigurați-vă că fiecare cheie își menține propriul context dacă este necesar.

Gestionează Facturarea Crypto și Încărcările

Folosește creditul preplătit pentru a acoperi utilizarea de tokeni fără taxe lunare.

Completează-ți contul cu criptomonede. Rețelele acceptate includ USDT pe TRC20 și USDC pe Base. Depozitele minime încep de la $20. Bonusurile se aplică pentru sume mai mari. Primești 5% extra pentru $50, 10% pentru $100 și 15% pentru $200. Creditul nu expiră niciodată. Acest lucru este ideal pentru proiecte pe termen lung. Plătești doar pentru tokenii utilizați efectiv. Erorile și refuzurile sunt gratuite. Acest lucru îți protejează bugetul de costuri neașteptate. Conturile noi primesc $0.50 pentru testare. Nu se emit restituiri pentru achizițiile standard. Dublarea taxelor este corectată prin suport. Asigură-te că portofelul tău acceptă rețelele necesare. Verifică adresa contractului înainte de a trimite. Rețelele incorecte pot duce la pierderea fondurilor. Verifică-ți soldul regulat. Soldurile mici pot întrerupe serviciul neașteptat. Automatizează completările dacă este posibil. Acest lucru asigură disponibilitatea continuă pentru sarcinile critice.

Testați filtrele de conținut și refuzurile

Verificați că modelul se comportă așa cum se așteaptă cu prompturile uncensored.

Modelele uncensored pot încă aplica limite hard. Verifică restricțiile privind tipurile specifice de conținut. Testează cu fraze declanșatoare cunoscute. Asigură-te că modelul răspunde în mod corespunzător. Unii furnizori păstrează filtre din motive legale. Verifică acestea înainte de a te baza pe model pentru date sensibile. Testează cazurile limită din domeniul tău. Trimite prompturi care declanșează de obicei refuzuri. Observă formatul răspunsului. Returnează un motiv pentru refuz? Sau generează conținut în tăcere? Documentează aceste comportamente în testele de integrare. Acest lucru previne surprizele în producție. Dacă modelul își schimbă comportamentul, actualizează testele. Anunță-ți echipa despre orice schimbări semnificative. Consistența este cheia pentru încrederea utilizatorului. Asigură-te că aplicația ta gestionează refuzurile în mod elegant. Nu presupune că fiecare răspuns este valid. Validează structura ieșirii. Verifică halucinațiile sau erorile de formatare. Acest lucru asigură o experiență de utilizare fiabilă.

Implementați gestionarea erorilor pentru solicitările gratuite

Gestionați erorile cu grijă pentru a menține o experiență fluidă a utilizatorului.

Pot apărea erori de rețea, timeout-uri și erori de server. Implementați logica de reîncercare cu backoff exponențial. Distingeți între erorile tranzitorii și cele permanente. O eroare 429 este tranzitorie. Așteptați și reîncercați. O eroare 400 este permanentă. Verificați datele de intrare. O eroare 500 este pe partea de server. Reîncercați cu prudență. Logați toate erorile pentru depanare. Includeți payload-ul cererii și corpul răspunsului. Acest lucru ajută la reproducerea rapidă a problemelor. Nu expuneți erorile brute utilizatorilor. Formatați-le în mesaje prietenoase pentru utilizator. Gestionați cu grijă erorile de streaming. Deconectați-vă de la fluxul de evenimente. Curățați resursele. Asigurați-vă că aplicația dumneavoastră nu scurge memorie. Testați scenariile de eroare în mod exhaustiv. Simulați căderile de rețea. Simulați timeout-urile serverului. Verificați dacă logica de recuperare funcționează. Acest lucru asigură fiabilitatea în condiții adverse.

Scalați cu JSON Mode și Tool Calling

Folosește output-urile structurate pentru extragerea fiabilă a datelor și execuția funcțiilor.

Activează modul JSON setând response_format: {type: "json_object"}. Acest lucru forțează modelul să producă JSON valid. Folosește acest lucru pentru analizarea datelor sau generarea de configurații. Tool calling permite modelului să execute funcții. Definește-ți tool-urile în payload-ul solicitării. Modelul decide când să le apeleze. Transmite rezultatele înapoi la model. Poate genera un răspuns final bazat pe output. Acest lucru creează un ciclu pentru sarcini complexe. Asigură-te că definițiile tool-urilor sunt clare. Tool-urile ambigue duc la apeluri incorecte. Validează output-ul JSON înainte de analiză. Acest lucru previne erorile de runtime în codul tău. Folosește tool calling pentru sarcinile de extragere a datelor. Îmbunătățește semnificativ acuratețea. Testează cu diverse formate de input. Asigură-te că modelul gestionează cazurile limită. Documentează tool-urile disponibile pentru echipa ta. Acest lucru asigură o utilizare consistentă în proiecte.

Revizuire Politicile de Confidențialitate și Utilizare a Datelor

Înțelegeți cum sunt stocate și utilizate datele dumneavoastră de către furnizor.

Verificați politica de confidențialitate pentru detaliile privind retenția datelor. Unii furnizori își folosesc datele pentru antrenament. Alții le păstrează private. Asigurați-vă că datele dvs. nu sunt utilizate pentru îmbunătățirea modelului dacă acest aspect vă este important. Verificați standardele de criptare. Datele trebuie criptate în tranzit și în repaus. Verificați dacă sunt stocate jurnalele. Jurnalele pot conține prompturile dvs. Asigurați-vă că aceste jurnale sunt securizate. Revizuiți termenii și condițiile pentru clauzele de răspundere. Înțelegeți cine deține conținutul generat. Unii furnizori pretind drepturi asupra outputului dvs. Asigurați-vă că acest lucru se aliniază cu nevoile dvs. Ștergeți-vă contul dacă nu mai utilizați serviciul. Verificați că datele dvs. sunt eliminate. Contactați suportul dacă aveți îngrijorări. Documentați-vă setările de confidențialitate în scopuri de audit. Acest lucru asigură conformitatea cu politicile interne.