OpenRouter 사용할 때 마주칠 9가지 함정
원제 So you want to use OpenRouter?
218 포인트댓글 31
Key Point
같은 모델의 가중치를 사용해도 제공자별로 성능, 기능 호환성, 에러 처리가 크게 달라서 OpenRouter를 사용하는 개발자는 제공자 선택과 에러 대응 코드를 신중하게 고려해야 한다.
핵심 요약
- OpenRouter를 통해 같은 모델을 호스팅하는 20개 제공자들이 벤치마크에서 크게 달라지는데, 예를 들어 DeepSeek V4 Flash의 도구 호출 성능이 제공자별로 58~81%까지 20포인트 이상 차이난다.
- 일부 비전 모델은 같은 모델 가중치를 쓰는데도 특정 제공자에서는 이미지를 인식하지 못하거나 오류를 반환하면서도 200 OK를 보내는 문제가 발생한다.
- reasoning.effort 파라미터가 모든 제공자에서 작동하지 않으며, 동일한 프롬프트에 대해 제공자별로 추론 토큰 생성이 일관되지 않다.
- 양자화 필터(fp8, fp4)로 제공자를 선별해도 품질 보장이 안 되며, 실제 벤치마크 성능이 선언된 정밀도와 무관하게 나타난다.
- 모델이 생성한 도구 호출이 텍스트로 남겨지거나, 제공자 파서가 이를 구조화된 형식으로 변환하지 못해 사용자 코드에서 직접 파싱해야 한다.
- 추론 모델이 모든 응답을 reasoning_content 필드에 넣고 content를 null로 반환하거나, 200 OK 응답이 실제 답변 없이 반환되는 경우가 발생한다.