Copilot Guide - Teil 2

„We are the copilot company! We believe in a future, where there will be a copilot for everyone and everything you do”. Mit diesen Worten – vergleichbar mit Steve Job‘s „one more thing“ - in der Keynote der Microsoft Ignite 2023 läutete Sadya Nadella eine neue Phase in der Arbeit mit künstlicher Intelligenz ein.

Bereits rund ein Jahr zuvor hatte der Release von ChatGPT und vergleichbaren KI-Modellen die Welt begeistert und die Möglichkeiten aufgezeigt, die das Werkzeug „KI“ seinen Anwendern bietet. 

Mit Microsoft Copilot brachte Microsoft am 15. Januar 2024 diese Möglichkeiten mit einem „Big Bang“ in seine Microsoft 365 Dienste und bietet seither einen seinen Anwendern einen „Turbo“ in Sachen Produktivität und Kreativität. 

Und das Copilot-Universum wächst und wächst. Monatlich werden neue „Copiloten“ für unterschiedliche Anwendungsfälle veröffentlicht.

Wie im ersten Teil dieser Blogserie angekündigt, geht es heute um Copilot for Microsoft 365 – das Herzstück des Copilot-Universums. 

ChatGPT, aber auch der in Teil 1 des Copilot Guide beschriebenen Copilot with commercial data protection eignen sich hervorragend für die Generierung von Inhalten auf Basis der im Modell enthaltenen Modelle oder Informationen aus dem Web. 

Sollen jedoch eigene Daten für die Generierung von Inhalten verwenden, müssen diese zunächst hochgeladen, oder per „Copy and Paste“ in die Prompt-Maske eingefügt werden, was nicht gerade zur Übersichtlichkeit und „Useability“ beiträgt.  

Zusätzlich führen diese sehr langen Prompts nicht häufig dazu, dass die maximal Anzahl von „Token“ (Anzahl der Wörte in einem Prompt) erreicht wird und nicht alle Informationen verarbeitet werden können. 

Auch wirft die Verarbeitung von Unternehmensdaten datenschutzrelevante Fragen auf. Anders als bei Copilot with commercial data protection, verwendet beispielweise OpenAI in den kostenlosen Diensten die Benutzerinteraktionen mit ChatGPT zur Erfassung von Nutzungsstatistiken und Analyse der Dienstnutzung (siehe Privacy policy (openai.com)), was dazu führt, dass in Firmen die Verarbeitung von Unternehmensdaten per ChatGPT und Co. Untersagt wird.

Diese Probleme versucht Microsoft in Copilot for Microsoft 365 mittels des sogenannten „Retrieval Augmented Generation“ (RAG) Verfahren zu umgehen. 

Bei RAG fürt Copilot for Microsoft 365 während des Grounding, im Kontext des interagierenden Benutzers, eine Suche (Retrieval) über Microsoft Graph aus, um den vom Anwender gesendeten Prompt mit zusätzlichen Informationen aus E-Mails, Teamsnachrichten und Meetings, SharePoint Seiten oder anderen Dokumenten anzureichern (argumented), bevor die Anfrage an das Large Language Model (LLM) zur generierung (generation) des Output wird.  

Durch dieses Verfahren wird das „Wissen“ der KI um die eigenen Daten erweitert, ohne dass das Training eines eigenen LLM notwendig ist. Zusätzlich wird das Risiko von Halluzinationen deutlich reduziert, da die eigenen Daten als Quelle fungieren und nicht die statistisch, am wahrscheinlichste, Antwort zurückgegeben wird, wie dies bei einer normalen Interaktion mit einer KI standardmäßig der Fall ist. 

Beim Large Language Model selbst handelt es sich um eine – von Microsoft verwaltete – Instanz von Azure OpenAI. Das LLM – basierend auf GPT4 Turbo - ist hierbei nur „Read Only“ und ausschließlich eine „Kopie“ des Modells von OpenAI’s GPT-4 Turbo. OpenAI selbst hat keinen Zugriff auf die von Microsoft verwaltete Instanz.

Eine Mitarbeiterin im Marketing erhält aus der Produktentwicklung das Datenblatt und die Beschreibung eines neuen Produkts. Die Informationen sind in einem Teams-Arbeitsbereich abgelegt und liegen in einem PDF bzw. Word-Format vor. 

Die Mitarbeiterin möchte einen Produktflyer auf Basis der abgelegten Informationen erstellen und verwendet dazu Copilot for Microsoft 365 in Word. Ihr Prompt lautet wie folgt:  

„Für ein neues Produkt soll ein Produktflyer erstellt werden. Der Flyer ist für Endkunden des Produkts gedacht. Bitte verwende für die Erstellung des Flyer Informationen aus den Dateien „Datenblatt.pdf“ und „Produktbeschreibung.docx“. Verfasse den Flyer so, dass die Inhalte auf einer DINA4 Seite Platz finden. Hebe die Features 1-3 besonders hervor“ 

In diesem Fall wird der Prompt an die „Copilot Orchestration Engine“ weitergeleitet (1). Die Orchestration Engine nimmt die Aufforderung entgegen und versteht, dass für die Erstellung des Prompt Informationen aus den Dokumenten „Datenblatt.pdf“ und „Produktbeschreibung.docx“ notwendig sind. Im Pre-Processing, oder auch „Grounding“ genannt, kontaktiert Copilot nun, die Microsoft Graph API per Suche, um die genannten Dokumente zu finden, Informationen zu extrahieren und im Prompt zu ergänzen (2). Die Modifizierung des Prompts erfolgt im Hintergrund und ist für den Anwender nicht sichtbar.  

Der modifizierte Prompt wird zur Erstellung der Ausgabe an die von Microsoft verwaltete Azure OpenAI-Instanz gesendet (3) die den gewünschten Output in Word generiert (4).  

Hierbei beachtet Copilot die Grundsätze von Microsoft‘s „Responsible AI“ (RAI). Mehr Informationen zu Microsoft Ansatz zur Responsible AI können ausfolgendem Microsoft Artikel zum Thema entnommen werden. 

Bevor das Ergebnis jedoch im Word der Mitarbeiterin ausgegeben wird, erfolgt zusätzlich ein „Post-Processing“ der Output (5). Hierbei wird der Inhalt gegen konfigurierte Richtlinien aus dem Governance und Compliance bzw. Purview-Umfeld geprüft. Hierbei beachtet Copilot Richtlinien zur Verhinderung von Datenverlust (Data Loss Prevention, DLP), Richtlinien zur Informationssicherheit (Sensitivity Labels) und Kommunikation (Communication Policies) um nicht gegen definierte Vorgaben zu verstoßen.  

Folgendes Schaubild veranschaulicht den Prozess:

Der Semantic Index ist eine Erweiterung der Microsoft 365 Suche welche beim Grounding anwedung findet. Der Semantic Index wird automatisch erstellt, sobald die Zuweisung einer Copilot for Microsoft 365 Lizenz erfolgt.  

Der Aufbau des Index kann einige Zeit in Anspruch nehmen, was dazu führt, dass es anfangs eine gewisse Zeit dauert, bis die Antworten von Copilot for Microsoft 365 präziser werden. 

Der Semantic Index indiziert Inhalt, Bedeutung und Beziehungen der Daten im Microsoft 365 Tenant und ermöglich Copilot so, bei der Suche nach Daten aus Microsoft Graph mehr Kontext zur Suche liefern zu können, um dadurch relevatere Informationen und Dateien abzurufen.  

Der Index wird auf Basis von Benutzer- und Tenantdaten aufgebaut. Beispiele für Benutzerdaten sind beispielweise persönliche E-Mails, Dokumente (mit Erwähnungen), Teams Nachrichten, häufig besuchte SharePoint Webseiten, etc. Beispiele für indizierte Tenantdaten sind beispielsweise Informationen und Daten auf SharePoint Seiten, die für mindestens zwei oder mehrere Benutzer freigegeben sind (Teams, SharePoint Intranet,…). 

Jeder Microsoft 365 Tenant besitzt seinen eigenen Index. Auch wenn durch die Indizierung aller Daten in Microsoft 365, alle Informationen im Semantic Index enthalten sind, finden die Zugriffsberechtigungen der Benutzer auf diese, beim Groundingprozess von Copilot Anwendung. 

Aus diesem Grund ist die Verhinderung von Oversharing die größte, technische Voraussetzung, die VOR der Zuweisung der ersten Copilot for Microsoft 365 Lizenz erfüllt sein sollte.

Bei Oversharing von Informationen handelt es sich - vereinfacht gesagt - um die Freigabe von Daten und Verzeichnissen an einen zu großen, oder nicht berechtigten Kreis von Benutzern. Ein Beispiel hierfür wäre ein Excel-Dokument mit sensiblen Daten, welches von einem Mitglied der Geschäftsleitung per OneDrive versehentlich an „Personen in Organisation“ freigegeben wird, oder Dateien, die sich auf einer SharePoint Site mit ähnlicher Freigabekonfiguration befinden. 

Auch wenn die Benutzer nicht aktiv von der bestehenden Freigabe wissen, so werden die Dateien, aufgrund der Indizierung durch den Semantic Index, bei der Verwendung von Copilot während des Grounding oder der Microsoft 365 Suche sichtbar und die sensiblen Informationen aus dem Dokument könnten im Output unfreiwillig preisgegeben werden. 

Bei der Verhinderung von Oversharing können folgende, erste Schritte helfen: 

• Überprüfung der globalen Freigabeeinstellungen für SharePoint und OneDrive for Business 
• Überprüfen der Freigabeinstellungen auf Site-Ebene im SharePoint Admin Center 
• Überprüfungen der Berechtigungen der SharePoint Seiten 
• Identifizieren und entfernen von inaktiven und veralteten SharePoint Seiten 
• Aktivieren der SharePoint Restricted Search um nur erlaubte SharePoint Seiten für Copilot/M365 Search zugänglich zu machen 
• Nur mit SharePoint Advanced Management- oder Microsoft 365 E5 Lizenz möglich 
  • Ausführen der Data access governance-Reports in SharePoint Online 
  • Aktivieren von “Restricted access control policies” 
  • Anwenden von „Sensitivity Labels“ auf SharePoint und Teams Arbeitsbereiche  
• Schulung der Anwender und SiteAdministratoren/Owner hinsichtlich der Freigabe von Daten und der Vergabe von Siteberechtigungen.

Kontaktieren Sie uns gerne! Unsere begleitenden Workshopangebote zur Einführung von Copilot for Microsoft 365 behandeln alle technischen und organisatorischen Voraussetzungen und Empfehlungen, die für eine reibungslose und nachhaltige Einführung von Copilot for Microsoft 365 notwendig sind. 

• Copilot for Microsoft 365 steht in den M365 Apps for Enterprise, Microsoft Teams sowie Office Web Apps zur Verfügung. 
• Copilot for Microsoft 365 ermöglicht die Interaktion mit Unternehmensdaten innerhalb des eigenen Microsoft 365 Tenant unter Beachtung der bestehenden Berechtigungsstrukturen, Sicherheits-, Governance- und Compliancerichtlinen. 
• Dazu verwendet Microsoft das RAG-Verfahren, um die Prompts der Benutzer mit eigenen Unternehmensdaten anzureichern. Dadurch können Unternehmensdaten verarbeitet werden, ohne dass diese in das LLM eintrainiert, oder an dritte weitergegeben werden müssen. 
• Um die Suche nach relevanten Informationen zu verbessern, indiziert der Semantic Index Daten des eigenen Microsoft 365 Tenant. 
• Die im Tenant konfigurierten Governance- und Compliancerichtlinien werden berücksichtigt und werden – abhängig der Konfiguration – automatisch angewendet. 
• Vor der Einführung von Copilot for Microsoft 365 sollten Maßnahmen zur Verhinderung von Oversharing getroffen werden.