Woodcock was niet verbaasd toen ze ontdekte dat het selecteren van oorlogsdoelen afhangt van vaak beperkte AI-modellen. ‘Dat wist ik natuurlijk al. Maar toen ik naar de praktijk keek, zag ik dat deze fouten daadwerkelijk voorkomen. Hoewel technologieën vaak worden gepresenteerd als een oplossing voor bestaande problemen, realiseerde ik me dat AI niet alleen fouten veroorzaakt, maar deze ook systematisch reproduceert op een manier die moeilijk te corrigeren is. In die zin kan AI bestaande menselijke vooroordelen en fouten in militaire besluitvorming versterken. AI lijkt een logisch, neutraal besluitvormingsproces te creëren, terwijl het in feite alleen maar menselijke vooroordelen op grote schaal versterkt.’ Woodcock keek naar de effecten op het internationaal humanitair recht (IHR) en ziet dat dit juridische kader ‘hopelijk beschermt tegen schade, maar ook veel schade tolereert’.

Hoe wordt AI gebruikt in het leger?

‘Commandanten moeten onderscheid maken tussen burgers en rechtmatige doelen, zoals militairen. Het internationaal humanitair recht vereist dat de incidentele schade niet “buitensporig” is, zodat burgers niet onevenredig worden getroffen om een militair doel te bereiken, en dat voorzorgsmaatregelen worden genomen om schade te voorkomen of tot een minimum te beperken. Deze vereisten zijn nog steeds hetzelfde. Maar als AI wordt gebruikt om deze beslissingen te onderbouwen, verandert er wel iets. Machine learning-modellen worden gebruikt om voorspellingen te doen op basis van patronen. Militaire organisaties gebruiken tegenwoordig dronebeelden, open-source-informatie en menselijke inlichtingen. Er is een overvloed aan informatie die mensen niet kunnen verwerken zonder AI. Dat is een belangrijke reden dat het leger AI gebruikt: het kan enorme hoeveelheden data snel en op grote schaal verwerken.’

Is dat geen goed nieuws?

‘Er zijn risico’s aan verbonden die volledig doorgrond moeten worden. AI wordt over het algemeen gezien als beter, sneller en objectiever dan mensen. Als het om AI-systemen gaat, kijken we vaak naar nauwkeurigheidspercentages. Maar dat percentage is slechts een indicatie van hoe het systeem presteert in een testomgeving, niet in een chaotische oorlogssituatie. Commandanten overleggen ook met juridische adviseurs over hun beslissingen, maar als AI wordt gebruikt om beslissingen te onderbouwen, kan dat leiden tot vertekening in de besluitvorming. Juridische categorieën zoals “burger” en “soldaat” kunnen op nieuwe manieren worden geïnterpreteerd als AI voortdurend wordt gebruikt om mensen wel of niet als doelwit te identificeren.’

Herkent AI doelen anders?

‘AI werkt fundamenteel anders dan het menselijk brein. Het beste voorbeeld is dat AI-modellen de pixels van een foto analyseren als ze worden gevraagd om objecten daarin te identificeren. Dat is heel anders dan de manier waarop mensen naar een foto kijken. Een AI-classificatiesysteem kreeg de taak om onderscheid te maken tussen foto’s van honden en wolven en was daar zeer succesvol in. Maar het systeem bleek alleen naar de sneeuw op de achtergrond te hebben gekeken om te bepalen of het dier op de foto een wolf was. Het baseerde zich op iets totaal irrelevants. In dit geval werd duidelijk hoe AI te werk ging, maar in de meeste gevallen blijft het een “black box”. Dat maakt het voor mensen erg moeilijk om in het systeem in te grijpen. Bovendien wordt AI vaak als objectief beschouwd, waardoor mensen kritiekloos op deze systemen vertrouwen. Stel je voor dat AI doelen identificeert in oorlogssituaties waarin het om leven of dood gaat, terwijl er nog veel onzekerheid is.’

Hoe beïnvloedt AI het recht?

‘Ik beschouw internationaal recht als een praktijk, iets waar mensen in hun dagelijks leven mee te maken hebben. Recht wordt gevormd door de praktijk en krijgt vorm door juridische interpretatie. In het internationaal recht zijn er veel open, vage normen waarbij commandanten hun discretionaire bevoegdheid moeten uitoefenen, zoals “haalbare voorzorgsmaatregelen” en “buitensporige” schade aan burgers. Je hebt een concept van proportionaliteit nodig om deze normen te interpreteren. Deze termen krijgen betekenis door de interpretatie. AI kan die interpretatie veranderen. Doorgaans is het verwarren van een doelwit niet per se in strijd met de wet – als deze beslissing redelijk was. Maar AI doet voorspellingen over doelwitten die niet 100 procent nauwkeurig zijn, waarbij foutmarges onderdeel zijn van hoe deze systemen werken. Die fouten kunnen redelijk worden omdat de commandant systeemfouten in specifieke gevallen niet kan voorzien vanwege het gebrek aan transparantie van AI. Dit roept zorgen op over verantwoordingsplicht en transparantie in door AI ondersteunde oorlogsvoering. Er is een reëel risico op systematische schade. Het benadrukt de noodzaak van checks and balances, zodat commandanten zich bewust zijn van de risico’s van het systeem waarmee ze werken.’

Wat kunnen commandanten nu al doen?

‘Het is belangrijk om ruimte te houden om te aarzelen bij moeilijke beslissingen. Beslissingen over wat redelijk is of niet, zijn meer dan alleen een wiskundige formule. Commandanten moeten de schade voor burgers afwegen tegen de militaire voordelen. Deze juridische beoordelingen zijn niet eenvoudig; ze zijn complex. Ze vereisen ruimte voor de commandant om beslissingen te nemen over mensenlevens, en ruimte voor kennis, ervaring, intuïtie en waarden. Het is belangrijk om te kunnen aarzelen met al deze factoren in gedachten. Helaas kunnen het gebruik en de snelheid van AI de ruimte voor aarzeling beperken.’

Wat hoop je dat dit onderzoek oplevert?

‘Ik hoop dat het onderzoek licht kan werpen op AI voor militaire organisaties. Interessant genoeg zien we ook dat de industrie zich meer met deze kwesties bezighoudt. De eerste stap is begrijpen waar de risico’s liggen, en die zijn nog niet volledig doorgrond.’