RAG com evidência: fonte, contexto e incerteza

RAG conecta modelos a uma base de conhecimento, mas não transforma automaticamente documentos em verdade disponível. A confiança depende da qualidade das fontes, da recuperação, do contexto entregue ao modelo e da forma como a resposta comunica evidência e incerteza.

Comece pela autoridade da fonte

Antes de indexar, é preciso definir quem pode disponibilizar o material, para qual finalidade, quem pode consultá-lo e quando ele deixa de ser vigente. Uma coleção tecnicamente acessível pode continuar inadequada por conter informação desatualizada, duplicada, sensível ou sem responsável conhecido.

Recuperação é uma decisão de produto

Divisão de documentos, metadados, filtros, busca híbrida e reranqueamento alteram o contexto encontrado. Não existe configuração universal. A estratégia deve refletir o tipo de pergunta, a estrutura do acervo, o vocabulário dos usuários e a importância de data, autoria, versão ou jurisdição.

A resposta precisa mostrar sua base

Uma referência útil permite que a pessoa encontre o trecho, documento ou registro que sustenta a afirmação. Citar um arquivo irrelevante é pior do que reconhecer ausência de suporte, porque cria aparência de fundamentação sem evidência real.

• A fonte recuperada responde à pergunta ou apenas contém palavras semelhantes?
• A versão e a data são adequadas ao contexto?
• Partes relevantes ficaram fora do trecho enviado ao modelo?
• A resposta separa fato presente na fonte de inferência produzida pelo sistema?

Ausência de evidência é um resultado válido

Quando a base não sustenta uma conclusão, o comportamento profissional é informar a lacuna, fazer uma pergunta de esclarecimento ou encaminhar para revisão. Forçar uma resposta completa aumenta risco justamente nos casos em que a informação é mais importante.

Avalie o sistema inteiro

Avaliar apenas fluência esconde falhas de recuperação. Casos representativos devem observar se a fonte correta foi encontrada, se o trecho era suficiente, se a resposta permaneceu fiel, se a referência é verificável e se o sistema recusou adequadamente perguntas sem suporte.

Segurança e privacidade continuam valendo

A autorização deve ser aplicada antes ou durante a recuperação, e não apenas depois que o texto chega ao modelo. Filtros por usuário, organização, função ou finalidade precisam acompanhar o dado. Logs e avaliações também devem evitar replicar conteúdo sensível sem necessidade.

RAG confiável não é uma caixa de busca com texto elegante. É uma cadeia de decisões sobre fonte, acesso, recuperação, contexto, resposta e revisão — cada uma com evidência e responsabilidade próprias.