Resposta direta
Escolha uma IA começando pelo problema e pelo fluxo, não pelo ranking do modelo. Defina o resultado esperado, a linha de base, quem decide e quem age. Depois compare evidência, integração, segurança, custo total e capacidade de acompanhamento. Um piloto só serve quando tem regra de parada e critério de expansão escritos antes do primeiro caso.
Uma clínica costuma entrar numa conversa de IA pelo caminho mais fácil de vender: demonstração, lista de funções e promessa de horas economizadas. A decisão real começa um passo antes. Qual etapa está falhando hoje, quanto esse defeito custa e o que alguém fará de maneira diferente quando a ferramenta responder?
Sem essa resposta, a empresa compara produtos que parecem semelhantes e deixa para depois o trabalho que decide o resultado. A licença entra. O fluxo continua igual. A equipe aprende a ignorar mais uma tela.
1. Escreva o problema antes do fornecedor
Uma boa definição cabe em quatro linhas: situação atual, pessoa afetada, decisão que precisa mudar e resultado que será observado. “Usar IA na recepção” descreve uma tecnologia. “Reduzir confirmações manuais sem aumentar faltas nem transferir dúvida para a enfermagem” descreve uma decisão.
Registre a linha de base antes do piloto. Pode ser tempo por tarefa, número de retrabalhos, taxa de comparecimento, atraso do laudo, custo por caso ou um desfecho clínico adequado. A medida depende do problema. A regra é simples: se você não consegue dizer como está hoje, não saberá o que a ferramenta mudou.
2. Compare oito critérios
| Critério | Pergunta que precisa de resposta | Evidência mínima |
|---|---|---|
| Problema e resultado | Qual decisão, tarefa ou desfecho deve mudar? | Linha de base, meta e prazo definidos. |
| Evidência | A solução foi testada numa tarefa e numa população comparáveis? | Estudo, validação independente ou teste local com limites descritos. |
| Fluxo | Em que momento a resposta aparece e quem age depois? | Mapa do processo atual e do processo proposto. |
| Dados e integração | De onde vêm os dados e para onde vai o resultado? | Campos, interfaces, disponibilidade e plano para falhas. |
| Segurança e privacidade | Que dado sensível entra, onde fica e quem acessa? | Contrato, controles técnicos, base legal e responsabilidades revisados. |
| Supervisão humana | Quem pode aceitar, corrigir, recusar ou desligar a recomendação? | Papéis, escalonamento e registro do uso definidos. |
| Custo total | Quanto custam integração, treinamento, revisão e operação? | Orçamento além da licença e capacidade reservada. |
| Acompanhamento e saída | Como detectar piora, viés ou perda de uso? Como sair? | Indicadores, revisão periódica, portabilidade e regra de encerramento. |
Oito notas não viram verdade por estarem numa planilha. Elas servem para tornar visível onde a decisão ainda depende de promessa. O fornecedor pode ter a melhor resposta técnica e continuar sendo a escolha errada para um fluxo sem integração, uma equipe sem tempo de revisão ou um problema sem valor suficiente.
3. Pergunte o que a evidência realmente mediu
Acurácia do modelo, preferência do usuário e resultado para o paciente são medidas diferentes. Uma ferramenta pode escrever bem e não mudar a conduta. Pode economizar minutos e criar revisão extra em outro ponto. Pode melhorar uma medida intermediária sem tocar o desfecho que justificou a compra.
Um ensaio randomizado integrado ao prontuário mostrou que disponibilizar um modelo validado não bastou para mudar a frequência da conversa que ele deveria apoiar. Os próprios autores apontaram adoção e barreiras de fluxo entre as explicações. O caso não condena a tecnologia. Ele mostra que desempenho do modelo e desempenho da implantação precisam de perguntas separadas.
O avaliador também entra na nota. Um estudo com 421 médicos encontrou boa concordância global, mas o modelo no topo mudou conforme a senioridade e o ambiente de prática de quem avaliava. Por isso, o piloto precisa incluir mais de um perfil da própria operação e casos que representem o trabalho real.
4. Desenhe um piloto que possa dizer “não”
- Escolha um fluxo só. Comece onde o problema, o dono e a medida estão claros.
- Congele a linha de base. Registre o período anterior e a qualidade do dado.
- Monte casos representativos. Inclua rotina, exceções, ausência de informação e situações em que a ferramenta deve recuar.
- Defina quem avalia. Combine alguém experiente, alguém da ponta e quem responde pelo processo.
- Escreva limites e parada. Erro grave, instabilidade, sobrecarga de revisão ou risco de dado precisam interromper o teste.
- Meça uso e resultado. Acompanhe adesão, correções, tempo, retrabalho, segurança e a medida que justificou o projeto.
- Decida antes de expandir. Crescer, corrigir, repetir ou encerrar são saídas legítimas quando os critérios já estavam escritos.
O teste mais útil
Pergunte o que acontece quando a IA não responde, responde tarde ou responde errado. A demonstração mostra o caminho feliz. A operação paga pelas exceções.
5. Calcule os dois orçamentos
O primeiro orçamento tem licença, implantação e integração. O segundo tem tempo de treinamento, revisão clínica, mudança de processo, suporte, monitoramento e perda temporária de produtividade. Ele costuma ficar espalhado entre agendas e centros de custo, então parece não existir.
Inclua também o custo da capacidade que será liberada. Se a automação economizar duas horas de uma pessoa qualificada, qual atividade receberá essas duas horas? Sem uma decisão, o ganho pode virar fila em outro ponto, cobrança adicional sobre a mesma equipe ou simples redução de contato com o paciente.
6. Leve estas perguntas ao fornecedor
- Qual tarefa e qual população foram usadas na validação?
- Que resultado foi medido: desempenho técnico, tempo, decisão, custo ou desfecho?
- Quais falhas conhecidas aparecem com mais frequência?
- O sistema registra versão, entrada, saída, revisão e decisão humana?
- Como os dados são armazenados, usados para treinamento e eliminados?
- Que integração já funciona no meu sistema e o que ainda precisa ser construído?
- Como o desempenho é monitorado depois de uma atualização?
- Como exporto meus dados e encerro o contrato sem perder a operação?
7. Faça a conta chegar à equipe e ao paciente
Antes da decisão final, responda três perguntas. Qual capacidade humana a ferramenta libera ou ameaça? Quem recebe a tarefa que mudou? Que efeito plausível isso produz no cuidado ou na experiência do paciente?
Essa sequência evita chamar de eficiência uma mudança que apenas transfere trabalho. Também ajuda a encontrar um benefício que a demonstração não mostrou: menos digitação pode valer mais quando devolve atenção à consulta do que quando vira mais um encaixe na agenda.
Fontes e leituras relacionadas
- Osmanodja B. e colaboradores. Ensaio PRIMA-AI sobre apoio à decisão integrado ao prontuário, PubMed.
- Shi e colaboradores. “Physicians and AI diverge in evaluating LLMs”, npj Digital Medicine.
- Conselho Federal de Medicina. Resolução CFM 2.454/2026, texto consolidado com anexos.
- Gabriel Palne. Pare de procurar a IA perfeita.
- Gabriel Palne. Por que comprar a melhor IA do mercado não muda o resultado da sua operação.
Este guia estrutura uma decisão de gestão. A avaliação clínica, técnica, regulatória, contratual e de proteção de dados precisa considerar o uso específico.