← terug naar overzicht
04 Advanced ~50 min

Marketing-A/B-test-generator

The Description

Een agent die voor een campagne-doel 3 subject-line varianten bedenkt én historische CTR/conversion uit eerdere KPN-tests pakt, zodat je geïnformeerd kunt testen.

The Knowledge

Voor de workshop vandaag

Alle sample-bestanden zitten in één zip op WeTransfer. Download zip →

Pak alleen de bestanden voor jouw recept (zelfde nummer-prefix). Upload in Copilot Studio onder Knowledge → + Add knowledge → Files.

Later in productie: vervang sample-files door je echte SharePoint-folder, eigen PDFs of Dataverse-tabel.

Bestanden voor dit recept

  • 04-historical-ab-tests.csv, 12 maanden test-resultaten
  • 04-tone-of-voice-guide.txt
  • Web-search: AAN — concurrent-benchmarks via allow-list

The Tools

Fetch-historical-CTR Connector — 1 klik

Connector + action: Excel Online (Business) → List rows present in a table

Hoe toevoegen: Tools-tab → + Add a tool → 'Excel Online (Business)' → 'List rows present in a table' → Add.

Parameters

File 04-historical-ab-tests.xlsx (Teams-folder)
Table Tests
Filter Query auto, agent filtert op segment + objective
Description voor de orchestrator (Copilot Studio)

Use for benchmarks. Inputs: objective + segment. Output: CTR/conversie van 5 vergelijkbare tests.

Save-test-plan Connector — 1 klik

Connector + action: Excel Online (Business) → Add a row into a table

Hoe toevoegen: Tools-tab → + Add a tool → 'Excel Online (Business)' → 'Add a row into a table' → Add.

Parameters

File 04-test-plans.xlsx (Teams-folder)
Table Plans
Row data auto, agent vult in
Description voor de orchestrator (Copilot Studio)

Use after user picks variants. Inputs: campaign + variants. Output: row added.

Hoe de prompt is opgebouwd (TCCO)

uitleg

TCCO is een framework om een goede systeemprompt te bouwen. Niet kopiëren — dit zit al verwerkt in de plak-en-klaar prompt rechts. Lees het om te begrijpen waaróm de prompt zo is opgebouwd.

Task
wat doet de agent?Genereer 3 copy-varianten met historische benchmark per variant.
Context
voor wie / waar / waarover?Marketing-manager. E-mail/push/banner. Consumer-campagnes.
Constr.
wat mag de agent NOOIT?Brand tone-of-voice. Geen claims zonder bron. Bij juridische claims: vraag user om met Legal te checken.
Output
welk format / taal / lengte?Tabel: Variant · Copy · Historische-CTR · Verwachte performance · Reasoning.

Testvraag

“Bedenk 3 e-mail-subject-lines voor de Pixel-AI-campagne, target = 30-45 jr, doel = upgrade naar premium-data-bundel.”

Instructions-veld in Copilot Studio · plak dit

kopieer dit 
# Taak
Genereer 3 copy-varianten voor een marketing-A/B-test, mét historische CTR-benchmark per variant uit eerdere KPN-tests.

# Context
Gebruikers zijn marketeers in KPN Consumer Market. Doel: geïnformeerd kunnen testen i.p.v. blind variant kiezen. E-mail / push / banner. Consumer-campagnes (Pixel-AI, BeterInternet, glasvezel-conversie).

# Beperkingen
- Volg STRIKT de KPN tone-of-voice uit 04-tone-of-voice-guide.txt, claims, woordgebruik, register staan daar in vol.
- Roep Fetch-historical-CTR aan voor 3-5 vergelijkbare past-tests.
- Bij claims die juridisch kunnen wringen (snelheid, korting, milieu) → "Check deze claim met Legal voordat je hem live zet."
- Save-test-plan ALLEEN na bevestiging gebruiker.
- Eindig nooit met "succes!" of vergelijkbare fluff.
- Antwoord in het Nederlands.

# Output format
Eén tabel met kolommen:
1. Variant
2. Copy
3. Historische CTR-range
4. Verwachte performance
5. Reasoning

Sluit af met: "Wil je dat ik dit test-plan opsla?"

Optioneel · automatiseer met een Agent Flow

advanced

De killer-feature voor dit recept: een Human-in-the-Loop approval-stap. De agent genereert 3 varianten, jij kiest welke live gaat — voordat er iets wordt gelogd of verstuurd. Dat is precies waar Agent Flows beter zijn dan een tool-using chat-agent.

Trigger · Manual · 'Genereer A/B test voor segment X' (vanuit Copilot Studio test-chat of Teams)
  1. 01 Connector Fetch historical-CTR uit Excel

    Office 365 Excel · List rows present in a table — filter op segment + objective.

  2. 02 AI Generate 3 subject-line varianten

    AI-actie met LLM-prompt — vraagt om 3 varianten + voorspelde CTR-range op basis van historie.

  3. 03 Human · approval Welke laat je live gaan?

    Approval-card naar de marketeer met de 3 varianten — wacht op keuze voordat de flow door gaat.

  4. 04 Connector Log winner naar Excel

    Excel · Add a row — slaat segment, gekozen variant, CTR-prediction en timestamp op.

  5. 05 AI Generate test-summary

    Korte AI-output met de testopzet voor in het marketing-stand-up.

Zonder Human-in-the-Loop ben je terug bij 'agent doet maar wat'. Met deze stap weet je zeker dat geen variant live gaat zonder marketeer-keuze.

Setup-tip: Setup: ~30 min in Copilot Studio (New workflow → 5 stappen drag-and-drop). De Approval-card vereist M365 Outlook of Teams als kanaal.