KPN ← terug naar overzicht
04 Advanced ~50 min

Marketing-A/B-test-generator

Stap-voor-stap walkthrough · bouw deze agent in Copilot Studio

begin hier

Volg de stappen in volgorde, alles is klikbaar in de Copilot Studio UI, geen code nodig. Schat ~50 min in voor je eerste keer.

  1. 1

    Open Copilot Studio en maak een nieuwe agent

    Log in op de webapp en start een lege agent zonder template.

    1. 01. Ga naar https://copilotstudio.microsoft.com
    2. 02. Klik 'Sign in' en log in met je werk-M365-account
    3. 03. Linker-menu → klik 'Agents'
    4. 04. Klik '+ Create' rechtsboven → 'New agent'
    5. 05. Klik 'Skip to configure' (rechtsonder, kleine link)
    6. 06. Naam: 'Marketing-A/B-test-generator' (of een eigen naam)
    7. 07. Description: laat leeg, vullen we straks via de Description-card
    8. 08. Klik 'Create', wacht ~10 sec

    ⚠ Let op: Als je 'Describe to design' kiest, gokt Copilot Studio z'n eigen tools, dat overschrijft straks onze configuratie. Skip-to-configure is veiliger.

  2. 2

    Plak de Instructions

    Geef de agent zijn karakter en regels via de plak-en-klaar systeemprompt.

    1. 01. Op de Overview-tab → bij 'Instructions' klik 'Edit'
    2. 02. Wis de standaard-tekst
    3. 03. Kopieer de hele system-prompt rechts onderaan deze pagina (knop 'Kopieer')
    4. 04. Plak in het Instructions-veld
    5. 05. Klik 'Save' onderaan

    ⚠ Let op: Plak de prompt EXACT zoals hier, niet bewerken. Pas later aan als je wilt, eerst werkend krijgen.

  3. 3

    Vul de Description in

    De Description vertelt andere agents (en jezelf bij meerdere agents) wanneer deze agent moet worden aangeroepen. Belangrijk voor multi-agent setups.

    1. 01. Op de Overview-tab → bij 'Description' klik 'Edit'
    2. 02. Kopieer de tekst uit 'The Description'-card op deze pagina
    3. 03. Plak in het Description-veld
    4. 04. Klik 'Save'
  4. 4

    Voeg Knowledge toe uit je eigen bron

    Dit recept gebruikt knowledge die je zelf moet aanleveren (bv. SharePoint-folder, eigen PDF's).

    1. 01. Klik op de tab 'Knowledge' in Copilot Studio
    2. 02. Klik '+ Add knowledge'
    3. 03. Kies bron: SharePoint, OneDrive, Files (upload), of Web URL
    4. 04. Voeg toe: Historische A/B-test resultaten in Excel of CSV: per test de subject-line, segment, objective, send-volume, open-rate en CTR over de afgelopen 12 maanden
    5. 05. Voeg toe: Tone-of-voice gids voor je marketing-comms (PDF of Word) met do's, don'ts, register, woord-keus en claims-richtlijnen
    6. 06. Wacht tot elke bron status 'Ready' krijgt

    ⚠ Let op: SharePoint-bron vereist dat je leestoegang hebt. Bij twijfel: vraag IT om je rechten te checken of upload als losse files.

  5. 5

    Voeg Tool 1 toe, Fetch-historical-CTR

    Voeg de tool 'Fetch-historical-CTR' toe zodat de agent use for benchmarks. inputs: objective + segment. output: ctr/conversie van 5 vergelijkbare tests.

    1. 01. Klik op de tab 'Tools' in Copilot Studio
    2. 02. Klik '+ Add a tool'
    3. 03. Klik 'Connector'
    4. 04. Zoek 'Excel Online (Business)'
    5. 05. Kies actie 'List rows present in a table'
    6. 06. Klik 'Add and configure'
    7. 07. Bij Connection: 'Create new connection' → log in als gevraagd
    8. 08. Bij Description plak: 'Use for benchmarks. Inputs: objective + segment. Output: CTR/conversie van 5 vergelijkbare tests.'
    9. 09. Parameter 'File' = 04-historical-ab-tests.xlsx (Teams-folder)
    10. 10. Parameter 'Table' = Tests
    11. 11. Parameter 'Filter Query' = auto, agent filtert op segment + objective
    12. 12. Klik 'Save'

    ⚠ Let op: Als de connection-popup hangt: open een nieuw tabblad, log opnieuw in op de service, ga terug en probeer opnieuw.

  6. 6

    Voeg Tool 2 toe, Save-test-plan

    Voeg de tool 'Save-test-plan' toe zodat de agent use after user picks variants. inputs: campaign + variants. output: row added.

    1. 01. Klik op de tab 'Tools' in Copilot Studio
    2. 02. Klik '+ Add a tool'
    3. 03. Klik 'Connector'
    4. 04. Zoek 'Excel Online (Business)'
    5. 05. Kies actie 'Add a row into a table'
    6. 06. Klik 'Add and configure'
    7. 07. Bij Connection: 'Create new connection' → log in als gevraagd
    8. 08. Bij Description plak: 'Use after user picks variants. Inputs: campaign + variants. Output: row added.'
    9. 09. Parameter 'File' = 04-test-plans.xlsx (Teams-folder)
    10. 10. Parameter 'Table' = Plans
    11. 11. Parameter 'Row data' = auto, agent vult in
    12. 12. Klik 'Save'
  7. 7

    Test je agent

    Stuur de testvraag naar de agent en check of-ie het verwachte format teruggeeft.

    1. 01. Rechter-paneel → 'Test your agent' (of klik op het test-icoon)
    2. 02. Plak de testvraag uit deze pagina (in de Testvraag-card)
    3. 03. Druk Enter
    4. 04. Check of het antwoord het Output-format uit de TCCO-card volgt
    5. 05. Check of de agent de juiste tools aanroept (icoontjes verschijnen bij elke tool-call)
    6. 06. Probeer een tweede vraag in eigen woorden, werkt het ook met variatie?

    ⚠ Let op: Als de agent geen tools aanroept: ga terug naar Tools-tab → klik op de tool → check of 'Connection' status 'Connected' is. Anders: re-connect.

  8. 8

    Publish naar Microsoft Teams

    Maak de agent oproepbaar in Teams zodat je 'm vanuit je Teams-chat kan gebruiken.

    1. 01. Klik 'Publish' (groene knop, rechtsboven)
    2. 02. Bevestig met 'Publish'. Wacht 30-60 sec voor build + validatie.
    3. 03. Klik 'Channels' (linker-menu)
    4. 04. Klik op de 'Microsoft Teams' tile
    5. 05. Klik 'Turn on Teams' → 'Available to me only' (geen IT-approval nodig)
    6. 06. Klik 'Apply'. Wacht 1-2 min.
    7. 07. Klik 'Open in Teams', je agent staat nu als chat in je linker-zijbalk

    ⚠ Let op: Als je geen 'Available to me only' optie ziet, heeft je IT 'Submit for admin approval' verplicht gesteld, duurt 1-2 dagen. Voor de workshop blijf je gewoon in de test-pane.

  9. 9

    (Optioneel) Bouw de Agent Flow voor automatisering

    De killer-feature voor dit recept: een Human-in-the-Loop approval-stap.

    1. 01. Linker-menu → klik 'Workflows'
    2. 02. Klik '+ New workflow'
    3. 03. Volg de 5 stappen in de 'Agent Flow'-card hieronder
    4. 04. Test de flow handmatig (knop 'Test') voordat je hem op schedule zet
    5. 05. Save & turn on

    ⚠ Let op: Wacht met deze stap tot de basis-agent (stappen 1-7) helemaal werkt. Anders debug je twee dingen tegelijk.

Optioneel · automatiseer met een Agent Flow

advanced

De killer-feature voor dit recept: een Human-in-the-Loop approval-stap. De agent genereert 3 varianten, jij kiest welke live gaat, voordat er iets wordt gelogd of verstuurd. Dat is precies waar Agent Flows beter zijn dan een tool-using chat-agent.

Trigger · Manual · 'Genereer A/B test voor segment X' (vanuit Copilot Studio test-chat of Teams)
  1. 01 Connector Fetch historical-CTR uit Excel

    Office 365 Excel · List rows present in a table, filter op segment + objective.

  2. 02 AI Generate 3 subject-line varianten

    AI-actie met LLM-prompt, vraagt om 3 varianten + voorspelde CTR-range op basis van historie.

  3. 03 Human · approval Welke laat je live gaan?

    Approval-card naar de marketeer met de 3 varianten, wacht op keuze voordat de flow door gaat.

  4. 04 Connector Log winner naar Excel

    Excel · Add a row, slaat segment, gekozen variant, CTR-prediction en timestamp op.

  5. 05 AI Generate test-summary

    Korte AI-output met de testopzet voor in het marketing-stand-up.

Zonder Human-in-the-Loop ben je terug bij 'agent doet maar wat'. Met deze stap weet je zeker dat geen variant live gaat zonder marketeer-keuze.

Setup-tip: Setup: ~30 min in Copilot Studio (New workflow → 5 stappen drag-and-drop). De Approval-card vereist M365 Outlook of Teams als kanaal.

The Description

Een agent die voor een campagne-doel 3 subject-line varianten bedenkt én historische CTR/conversion uit eerdere KPN-tests pakt, zodat je geïnformeerd kunt testen.

The Knowledge

Voor dit recept voeg je de volgende knowledge-bronnen toe in Copilot Studio (Knowledge → + Add knowledge → Files of SharePoint):

  • Historische A/B-test resultaten in Excel of CSV: per test de subject-line, segment, objective, send-volume, open-rate en CTR over de afgelopen 12 maanden
  • Tone-of-voice gids voor je marketing-comms (PDF of Word) met do's, don'ts, register, woord-keus en claims-richtlijnen
  • Web-search: AAN, concurrent-benchmarks via allow-list

Tip: begin met een sample-set (paar PDF's of Excel-rows) en breid uit zodra de agent stabiel werkt. Wacht in Copilot Studio tot elke bron status "Ready" krijgt voor je test.

The Tools

Fetch-historical-CTR Connector, 1 klik

Connector + action: Excel Online (Business) → List rows present in a table

Hoe toevoegen: Tools-tab → + Add a tool → 'Excel Online (Business)' → 'List rows present in a table' → Add.

Parameters

File 04-historical-ab-tests.xlsx (Teams-folder)
Table Tests
Filter Query auto, agent filtert op segment + objective
Description voor de orchestrator (Copilot Studio)

Use for benchmarks. Inputs: objective + segment. Output: CTR/conversie van 5 vergelijkbare tests.

Save-test-plan Connector, 1 klik

Connector + action: Excel Online (Business) → Add a row into a table

Hoe toevoegen: Tools-tab → + Add a tool → 'Excel Online (Business)' → 'Add a row into a table' → Add.

Parameters

File 04-test-plans.xlsx (Teams-folder)
Table Plans
Row data auto, agent vult in
Description voor de orchestrator (Copilot Studio)

Use after user picks variants. Inputs: campaign + variants. Output: row added.

Hoe de prompt is opgebouwd (TCCO)

uitleg

TCCO is een framework om een goede systeemprompt te bouwen. Niet kopiëren, dit zit al verwerkt in de plak-en-klaar prompt rechts. Lees het om te begrijpen waaróm de prompt zo is opgebouwd.

Task
wat doet de agent?Genereer 3 copy-varianten met historische benchmark per variant.
Context
voor wie / waar / waarover?Marketing-manager. E-mail/push/banner. Consumer-campagnes.
Constr.
wat mag de agent NOOIT?Brand tone-of-voice. Geen claims zonder bron. Bij juridische claims: vraag user om met Legal te checken.
Output
welk format / taal / lengte?Tabel: Variant · Copy · Historische-CTR · Verwachte performance · Reasoning.

Testvraag

“Bedenk 3 e-mail-subject-lines voor de Pixel-AI-campagne, target = 30-45 jr, doel = upgrade naar premium-data-bundel.”

Instructions-veld in Copilot Studio · plak dit

kopieer dit 
# Taak
Genereer 3 copy-varianten voor een marketing-A/B-test, mét historische CTR-benchmark per variant uit eerdere KPN-tests.

# Context
Gebruikers zijn marketeers in KPN Consumer Market. Doel: geïnformeerd kunnen testen i.p.v. blind variant kiezen. E-mail / push / banner. Consumer-campagnes (Pixel-AI, BeterInternet, glasvezel-conversie).

# Beperkingen
- Volg STRIKT de KPN tone-of-voice uit 04-tone-of-voice-guide.txt, claims, woordgebruik, register staan daar in vol.
- Roep Fetch-historical-CTR aan voor 3-5 vergelijkbare past-tests.
- Bij claims die juridisch kunnen wringen (snelheid, korting, milieu) → "Check deze claim met Legal voordat je hem live zet."
- Save-test-plan ALLEEN na bevestiging gebruiker.
- Eindig nooit met "succes!" of vergelijkbare fluff.
- Antwoord in het Nederlands.

# Output format
Eén tabel met kolommen:
1. Variant
2. Copy
3. Historische CTR-range
4. Verwachte performance
5. Reasoning

Sluit af met: "Wil je dat ik dit test-plan opsla?"