Analizzare e classificare le immagini di SharePoint utilizzando Flow e i servizi Azure

In questo articolo, vediamo come le immagini all’interno delle library di SharePoint possono venir analizzate utilizzando Microsoft Flow ed i servizi di Azure Cognitive.
Attraverso l’analisi delle immagini, è possibile classificarle.
Inoltre, potrete estrarne la descrizione, i tag o i dati di tassonomia, la location presente nell’immagine ed anche le categorie.

Gli Azure Cognitive service vi forniscono le Computer Vision API che mettono a disposizione gli strumenti necessari ad estrarre il contenuto da ogni immagine.
Le API Computer vision ti permettono di classificare l’immagine, identificarne le didascalie e anche la loro categorizzazione. Inoltre, le API, aiutano a riconoscere eventuali celebrità e monumenti presenti, estrapolando il testo dalle immagini, analizzando i video in real time e generando le anteprime.

Computer vision API può essere sfruttato su diverse piattaforme. Microsoft Flow, ad esempio, è una piattaforma molto potente in cui integrare le computer vision API per analizzare le immagini caricate su SharePoint.

Facciamo un esempio: vediamo come le immagini caricate su SharePoint possono essere analizzata e classificate.

Analizziamo i singoli passaggi per configurare Flow.

1. Creare le Computer Vision API

Loggatevi nel portale di Microsoft Azure.
Aggiungete una nuova icona e cercate computer vision API.
Cliccate sul pulsante create button e fornite gli input necessari. Nel caso in cui stiate utilizzando un POC, potete selezionate il free pricing tier (F0).
A questo punto, recatevi nella API e copiate tutte le chiavi. LE varie chiavi verranno poi utilizzate su Microsoft Flow.

Configurare Microsoft Flow

Loggatevi nel vostro account di Microsoft Flow.

Creare il File Trigger: create un’app da un template vuoto. Tra i connettori elencati, scegliete SharePoint. Tra i trigger elencati, scegliete il seguente: “When a file is created in folder”. In seguito, inserite i dettagli necessari come l’indirizzo del sito e l’ID della cartella.

Aggiungete Analyze Image API Action: dal connettore computer vision API, selezionate l’azione Analyze Image.

Selezionate la voce “Image Content” come sorgente dell’immagine nell’azione da compiere.
Nel box del contenuto dell’immagine, selezionate la voce file content con il supporto del contenuto dinamico.

Il passaggio descritto qui sopra, cattura la didascalia, i tag e le categorie dell’immagine caricata.

Il risultato dev’essere analizzato e può essere ri-aggiornato come proprietà del file.
I tag identificati si troveranno sotto forma di matrice. I valori dei tag devono essere accorpati in un’unica stringa di valore che può essere ri-aggiornata nel campo keywork del file SharePoint.

Identificate l’ID del File Item di SharePoint (per aggiornare le proprietà del file): per aggiornare il file SharePoint, abbiamo bisogno di identificare l’ID del file o dell’oggetto. Per farlo, potete far dialogare le REST API con SharePoint sfruttando il percorso del file.
Selezionate l’azione “Send an HTTP request to SharePoint” dai connettori di SharePoint e compilate le informazioni necessarie, quali indirizzo del sito, metodo e REST API URL (le API includeranno il percorso del file).
Il risultato della richiesta delle REST API è analizzato con la generazione dello schema. Lo schema viene creato utilizzando il risultato JSON della richiesta di REST API.

A questo punto, aggiornate le proprietà del file SharePoint con l’aiuto dell’ID recuperato nei passaggi precedenti.
Le proprietà del file aggiornate sono tag e didascalie. Considerato che le proprietà sono disponibili sotto forma di stringa, le joined expression sono utilizzate in modalità stringa.
Qui sotto le espressioni utilizzate per aggiornare:

• Per aggiornare il campo keywords con i tag, usate la seguente espressione: join(body(‘Analyze_Image’)?[‘description’]?[‘tags’],’,’);
• Per aggiornare il campo commenti con la didascalia, usate la seguente espressione: join(body(‘Analyze_Image’)?[‘description’]?[‘captions’],’,’);

A questo punto, facciamo un test del flow creato, caricando alcune immagini nella library di SharePoint.
Navigate fino alla rispettiva images library e caricate un’immagine qualsiasi.
La seguente cattura di schermata, vi mostra l’immagine caricata.

Dopo qualche minuto, tornate su Microsoft Flow e controllate i risultati.
La seguente cattura di schermata vi mostra i dati di analisi immagine con i tag quali keywords e didascalie nella sezione dei commenti.