회사의 모든 AI는 같은 문으로 들어옵니다. 그리고 해결 가능한 가장 저렴한 방식을 선택합니다.

아니요. 게이트웨이는 대부분의 라이브러리가 이미 사용하는 형식을 받아들이므로, 실제로는 기본 URL과 키만 바꾸면 됩니다. 제공업체를 직접 호출하던 코드가 게이트웨이를 호출하고, 라우팅은 반대편에서 처리됩니다.

선택은 추첨이 아니라 성능 기준입니다. 작업 유형마다 최소 품질 기준이 있고, 모델은 그 기준을 충족할 때만 사용됩니다. 원할 때는 특정 경로에 특정 모델을 고정할 수도 있습니다. 절감은 기본값이지 의무가 아닙니다.

바로 그게 핵심입니다. 회사가 이미 비용을 내는 계정은 풀에 들어가고, 새로운 지출이 발생하기 전에 한도까지 사용됩니다. 많은 팀이 여기서 같은 성능에 두 번 비용을 내고 있었다는 것을 알게 됩니다.

명확하게 성능을 낮춥니다. 멈추는 대신 명시적인 이용 불가 응답을 반환하고, 코드는 다른 제공업체 장애를 처리하듯 처리합니다. 기다리며 멈춰 있는 작업은 없습니다.

저장되는 것은 고객의 데이터이며, 고객의 키로 암호화됩니다. 캐시와 고객이 직접 조회하는 이력을 위해 존재합니다. 원할 때 언제든 전체를 내보낼 수 있고, 누구의 모델 학습에도 사용되지 않습니다.