Configure Retry Options

Configure Retry Options

When working with LLMs, you may encounter transient errors like rate limits or temporary service unavailability. Retry options automatically handle these failures by retrying the request with exponential backoff.

Transient errors：瞬时错误。指那些暂时性的、通常过一会儿就会自动消失的错误。

Exponential backoff：指数退避。一种标准的重试策略，指每次重试之间的等待时间会按指数级增加（例如 1秒、2秒、4秒...），以避免因频繁请求而导致服务器压力过大。