LLM 비용 절감, 성과를 지키면서 AI 비용을 줄이는 방법

먼저 기능별로 얼마나 쓰는지 봅니다

AI 비용을 기능 단위로 나눠 보고, 그 돈이 성과로 이어지는지까지 확인합니다. 앱토는 호출마다 어떤 모델을 썼는지, 토큰을 얼마나 썼는지, 비용과 응답 속도가 얼마였는지 기록합니다.

같은 호출량도 모델에 따라 비용이 100배까지 벌어집니다

월 10만 건을 호출하면 가장 저렴한 모델(Claude Haiku 5.5)은 $25, 가장 비싼 모델(GPT-6 Astra)은 $2,500입니다.

비싼 모델이 그 차액만큼 성과를 더 내는지 확인하지 않으면, 차액은 그대로 비용으로 남습니다.

요청 한 건을 입력 1,000토큰, 출력 300토큰으로 계산했습니다. 입력과 출력은 100만 토큰당 각 사 공개 가격(USD)입니다.

성과가 같으면 더 저렴한 모델로

더 저렴한 모델을 일부 유저에게 적용하고, 구매나 전환 같은 성과가 유지되는지 확인한 뒤 갈아탑니다. 기준을 통과하면 비율을 단계적으로 올리고 기존 옵션은 0으로 내립니다.

기존 모델의 성과가 앞선다면, 그 차이가 비용만큼의 값어치가 있는지 판단할 숫자가 남습니다.

프롬프트에 실린 토큰도 비용입니다

모델을 그대로 두고 프롬프트에서 불필요한 부분만 걷어내도 요청당 비용이 내려갑니다. 줄인 뒤에는 성과 지표가 그대로인지 확인합니다.

실제로 이만큼 줄었습니다

논수리는 추론을 가볍게, 해설을 간결하게 바꿔 모델 비용을 41% 줄이면서 결제율을 18% 높였습니다.

Career SSOT는 자기소개서 초안과 이력서 첨삭에 서로 다른 모델 세팅을 써서 모델 비용을 28% 줄이고 재방문율을 12% 높였습니다.

갑자기 늘어난 비용은 원인까지

비용이 갑자기 늘면 기능에서 옵션, 호출 한 건까지 좁혀 원인을 찾습니다.