Revolucione as inspeções de veículos com o EVVIE

O Enterprise Visual Vehicle Inspection Engine (EVVIE) utiliza IA e Microsoft Power Platform para revolucionar o processo de inspeção de veículos. Ao automatizar as inspeções, o EVVIE economiza tempo e aumenta a precisão, tornando-se uma ferramenta inestimável para organizações que gerem grandes frotas de veículos. Este artigo fornece uma descrição geral da arquitetura, fluxo de trabalho e componentes-chave do EVVIE, oferecendo informações sobre como esta solução inovadora pode simplificar as inspeções e a manutenção de veículos.

Para uma demonstração e mais informações sobre o EVVIE, visite aka.ms/EVVIE.

Diagrama de arquitetura

Workflow

O EVVIE utiliza uma combinação única de recursos Power Platform e Microsoft Azure para automatizar o processo de inspeção dos veículos utilizando modelos avançados de IA. A um nível elevado, o processo interno do EVVIE é o seguinte:

1. Uma aplicação Power Apps canvas serve como interface para permitir que os utilizadores recolham fotografias de danos no veículo como parte de uma inspeção. As imagens são codificadas como uma cadeia Base64.

2. A aplicação utiliza um conector personalizado para fornecer as imagens capturadas a uma API personalizada, uma aplicação de funções Azure baseada em .NET.

3. A aplicação de funções recebe e analisa a chamada HTTP API da aplicação, recolhe as fotos e interage com um modelo de linguagem multimodal no Azure OpenAI Service. O modelo analisa as fotos e classifica os danos em três campos: área do automóvel, nível de gravidade e descrição geral dos danos.

4. A aplicação de inspeção recebe a resposta da função de aplicações e apresenta a avaliação de danos criada pela IA ao utilizador, que pode aceitar, modificar ou rejeitar a avaliação. O utilizador finaliza a avaliação e a submete-a para o veículo em questão. A avaliação é armazenada de forma segura no Dataverse.

5. Um modelo orientado a páginas personalizadas permite que os administradores revejam os dados de inspeção dos veículos.

Componentes

Microsoft Dataverse: O Dataverse armazena todos os dados recolhidos como parte das inspeções dos veículos, como fotografias dos danos, classificação do nível de gravidade e descrições.

Power Apps: O pessoal no terreno que inspeciona os veículos, e o pessoal administrativo que revê as inspeções, utiliza aplicações integradas no Power Apps, o framework de desenvolvimento de aplicações no-code/low-code da Microsoft.

Conector personalizado: um conector personalizado permite ao aplicativo móvel de inspeção de veículos EVVIE (usado pela equipa no terreno que inspeciona veículos) chamar um serviço de retaguarda que usa IA avançada para avaliar as fotos fornecidas.

Funções do Azure: Funções do Azure, a plataforma de computação serverless orientada a eventos da Microsoft, atua como uma API web que a aplicação EVVIE pode aceder através de um pedido HTTP através do conector personalizado. A aplicação de funções Azure recebe as imagens através da chamada API, utiliza um modelo avançado de IA para avaliar os danos e devolve a avaliação à aplicação.

Azure OpenAI Service: O EVVIE utiliza um modelo multimodal de IA para avaliar os danos nas imagens fornecidas e classificá-los em três campos: nível de gravidade (1-5), área do veículo (como portas, para-brisas, para-choques dianteiro) e descrição dos danos. Embora qualquer modelo de linguagem multimodal futuro possa ser usado (ou seja, "o1" ou "o3" uma vez que estejam amplamente disponíveis), GPT-4o é usado na altura em que este artigo foi escrito.

Detalhes do cenário

O EVVIE ajuda organizações com grandes frotas de veículos a gerir inspeções e manutenções regulares. As inspeções de rotina levam tempo e distraem a equipa de um trabalho mais valioso.

Para aliviar esta carga e poupar tempo, a EVVIE usa IA generativa multimodal avançada para avaliar automaticamente e documentar danos nos veículos. Em vez de documentar manualmente cada ocorrência de dano, os membros da equipa fornecem uma foto ao EVVIE. A partir desta única imagem, o EVVIE avalia os danos, regista a localização no veículo, determina o nível de gravidade e fornece uma breve descrição.

O EVVIE inspira-se em conversas com o Departamento do Xerife do Condado de LA, que gere uma frota de milhares de veículos. Tradicionalmente, cada agente da polícia tinha de inspecionar o seu veículo com caneta, papel e prancheta antes de iniciar o turno, documentar qualquer dano e enviar essas informações ao supervisor. No entanto, esta inspeção de rotina muitas vezes era esquecida devido a tarefas urgentes, deixando pouco tempo para uma inspeção complicada de 20 minutos.

Ao usar o EVVIE, os agentes só precisam de abrir uma aplicação no telemóvel e tirar uma foto do veículo. A IA documenta os danos e reporta-os ao supervisor, eliminando a necessidade de processos em papel.

Considerações

Essas considerações implementam os pilares do Power Platform Well-Architected, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Saiba mais em Microsoft Power Platform Well-Architected.

Reliability

Cada componente cloud da Microsoft na arquitetura do EVVIE é concebido para uma fiabilidade excecional, garantindo que cumpre consistentemente objetivos críticos de tempo de atividade e recuperação. Esta fiabilidade é alcançada através de redundância dimensionável, proporcionando um desempenho e resiliência robustos.

Segurança

Para a build de prova de conceito do EVVIE, a API web baseada no Funções do Azure que faz interface com a aplicação não inclui quaisquer protocolos de segurança. Qualquer pessoa ciente dos pontos finais de API (URLs) exclusivos pode, potencialmente, aceder ao serviço de back-end do EVVIE.

Numa implementação em produção, é essencial que o integrador de sistemas implemente uma camada padrão de autenticação, como a autenticação baseada em chaves através do API Management do Azure. Tais medidas de segurança garantem que o serviço de API de back-end só é acedido conforme pretendido pelo front-end da aplicação EVVIE.

Excelência Operacional

Como prova de conceito, o EVVIE foi criado de raiz com requisitos fictícios para demonstrar a capacidade da tecnologia para avaliar danos no veículo. Todos os aspetos, desde o processo de inspeção até aos critérios que o EVVIE avalia — área de danos, nível de gravidade, descrição e as áreas específicas do veículo onde os danos podem ser identificados — podem e devem ser personalizados para satisfazer as necessidades exclusivas de qualquer organização que implemente o EVVIE.

Por exemplo, um integrador de sistemas pode:

• Ajustar as áreas específicas de um veículo onde o EVVIE pode identificar danos.
• Refinar o prompt do sistema usado para instruir o modelo.
• Implementar um número mínimo de requisitos de fotografia.

Estas modificações garantem que o EVVIE opera de forma otimizada e que está alinhado com as necessidades específicas da organização.

Eficiência de desempenho

Dois estrangulamentos potenciais podem afetar significativamente a escalabilidade do EVVIE:

• > Como porta de entrada da EVVIE para o serviço de IA para avaliação de danos em veículos, é crucial garantir que a aplicação de função Azure esteja configurada para uma escala massiva. Dependendo do consumo da organização, pode ser aconselhável implementar um plano dedicado para garantir escalabilidade.

• Azure OpenAI Service: O modelo Azure OpenAI, chamado pela aplicação funcional, é essencial para avaliar e registar danos. É fundamental garantir que a implementação do Azure OpenAI, da qual a API de back-end depende, está sempre operacional. Como o Azure OpenAI utiliza um sistema baseado em tokens, é importante garantir que o modelo utilizado no EVVIE tem uma quota elevada de tokens para o período de utilização dado.

Otimização da Experiência

A equipa que desenvolveu o EVVIE dedicou tempo e esforço significativos para otimizar a interface de utilizador e a experiência de utilizador para tornar intuitivo e fácil para a equipa inspecionar veículos e rever inspeções.

A aplicação de inspeção da EVVIE é uma aplicação de tela que pode ser facilmente modificada através de uma interface simples de seleção e arrasto, semelhante ao PowerPoint, para melhor responder às necessidades da organização.

A interface que o pessoal administrativo utiliza para rever estas inspeções é uma aplicação orientada por modelos. A página personalizada é fácil de modificar para se adequar a requisitos específicos.

IA Responsável

Caso de uso não sensível: A aplicação EVVIE opera num domínio não sensível, o que reduz significativamente o risco de viés afetar negativamente as inspeções dos veículos. Dada a natureza da avaliação de danos em veículos, há pouco espaço para desvios influenciarem os resultados.

IA generativa controlada: Os modelos de IA generativa que o EVVIE utiliza incluem funcionalidades que limitam as suas avaliações a modelos pré-definidos. Este design garante que a IA fornece respostas específicas e factuais que seguem as diretrizes dos programadores, limitam a criatividade e suportam avaliações precisas e consistentes.

Contributors

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Principais autores:

• Tim Hanewich, Especialista Técnico do Power Platform
• Kelly Cason, Especialista Técnica de Business Applications

Próximos passos

Para um vídeo de demonstração, explicações mais detalhadas sobre funcionalidade, arquitetura, código-fonte e muito mais, visite EVVIE no GitHub em aka.ms/EVVIE.