FUSE - Hur bevisar man att ett självkörande fordon blir säkert?

Självkörande bilar har en stor potential att få ner mängden allvarliga trafikolyckor. Detta eftersom mänskliga misstag är den helt dominerande olycksorsaken idag. För att lyckas krävs det att vi kan försäkra att självkörande fordon alltid är säkra, trots att vi vet att de kommer att råka ut för situationer vi inte räknat med i förväg.

Att lösa upp denna paradox har varit fokus för forskningsprojektet FUSE (FUnctional Safety and Evolvable architectures for autonomy) som avslutades 2016. FUSE har löpt under tre år och har varit en av många forskningsaktiviteter runt Volvo Cars stora satsning Drive Me. RISE (fd SP) har varit koordinator för projektet, och förutom Volvo Cars har också Qamcom, Semcon, Comentor och KTH deltagit.

FUSE logo
Projektlogo: FUnctional Safety and Evolvable architectures for autonomy.

 

Pionjärer i metodik

Projektet har dels gjort en pionjärinsats med att strukturera vilka delfrågor som behöver lösas för att kunna säkerhetsbevisa en självkörande bil, och dels kommit med ett antal resultat. Bland resultaten finns övergripande systematiska metoder hur man kan försäkra sig om att alla möjliga risker finns med, och hur man vet att alla säkerhetskrav är fullständigt förfinade i den elarkitektur som implementerar den självkörande intelligensen.

Kontra-intuitiva resultat

Ett antal av projektets resultat är i strid med vad folk i allmänhet hållit för sanningar.

Bilen ska inte berätta för föraren vilken automatiseringsmod den är i för tillfället (självkörande eller traditionell).

Bilen och föraren måste vara överens, så en överlämning behöver ske efter en flerstegsprocedur där överenskommelsen etableras tydligt för båda. Låt föraren vara den som utför det sista av dessa momentet och alltså den som berättar för bilen att modbytet slutligen sker. Läs mer om säkert överlämnande här.

The trolley problem

Det moraliska dilemmat som kallas ”The trolley problem”* skapar inte problem för självkörande bilar, utan tvärtom kan man nu lösa de moraliska dilemman som dagens säkerhetssystem redan kan ställas inför. Se vidare i förklaringen i fotnoten nedan eller i artikeln ”Disarming the Trolley Problem - Why Self-driving Cars do not Need to Choose Whom to Kill”.

Sensorsystemen ska inte fokusera på att rapportera vilket slags föremål de ser, utan fokusera på vad det är för något de just nu observerar frånvaron av.

Olika slags föremål är olika farliga att krocka med. Till exempel blir krock med en oskyddad trafikant väldigt farlig redan vid låga hastigheter med en bil vid högre hastigheter, men med en råtta knappast aldrig. Det är sällan helt tomt framför bilen (insekter, små fåglar, …). Från en säkerhetssynvinkel är det viktigaste att utesluta farliga krockar, det vill säga beroende på hastighet och avstånd vara säker på frånvaron av vissa slags objekt. Se vidare på projektets hemsida ”The Need for an Environment Perception Block to Address all ASIL Levels Simultaneously".

Stort nationellt och internationellt genomslag och fortsättning redan igång

Projektet har uppmärksammats stort nationellt och internationellt. Detta har bland annat inneburit 16 vetenskapliga publikationer, och ungefär lika många inbjudna föredrag. Dessutom har projektet varit med och arrangerat sju stycken workshops där frågor och resultat debatterats med andra aktörer.

Allt detta går att läsa på FUSE-projektets hemsida där man också kan ladda ner en liten broschyr där alla resultat sammanfattas. De ursprungliga projektdeltagarna har tillsammans med Volvo AB, Autoliv, Delphi och Systemite, 2017 startat uppföljningsprojektet ESPLANADE med syfte att kunna säkerhetsbevisa självkörande fordon så att de kommer ut på marknaden.


*The trolley problem - ett moralfilosofiskt dilemma

Antag att det framför din självkörande bil kommer två barn utspringande bakom en parkerad bil. De jagar en boll och dyker upp så väldigt hastigt att det är för sent att hinna bromsa. Däremot kan bilen välja att styra åt sidan, men då kör den istället över en äldre person som går med rullator. Det är alltså för sent att rädda alla, men det finns tid att välja om vi ska rädda två barn på bekostnad av en gamling. Allt går väldigt fort, men elektroniken i bilarna är blixtsnabb. Det gäller att vi gjort ett val när vi programmerade dem från början. Är det rimligt att vi låter ett antal enskilda ingenjörer idag sitta och bestämma över liv och död på egen hand när de programmerar självkörande bilar?

Ungefär så där kan en variant låta av det som kallas ’the trolley problem’. Det dyker upp lite då och då på internetsidor där man tar upp någon omöjlig situation för självkörande bilar, ofta tillsammans med ett resonemang som andas moralisk indignation.

Det är värt att minnas att detta är ett konstruerat problem som är till för att diskutera hur olika moraliska principer kan stå mot varandra. Den ena principen är att man alltid ska göra så många personer som möjligt gott. Enligt den principen vore det bättre att bara en person dör än att flera gör det. Den andra principen är att man aldrig aktivt ska utföra en handling som kan orsaka död för någon.

Den här typen av problem har inget självklart rätt eller fel, utan är till för att vi ska kunna diskutera vad vi tycker är moraliskt att föredra. Moralfilosofernas uppgift är att strukturera problemen och få oss medvetna om att de existerar.

Tillbaka till de självkörande bilarna

Går vi tillbaka till våra självkörande bilar, förekommer problemet i många olika förklädnader. Ibland spetsar man till det och säger att bilen kan rädda alla utanför, på bekostnad av den som sitter i. Vi skulle kunna tänka oss att vi räddade de lekande barnen om vi själva svängde av vägen - där det är ett stup vi kör över och dör.

Det finns moralfilosofer som nu går in och frågar om vi är redo för utilitaristiska bilar (alltså den principen att vi alltid ska göra så många som möjligt gott) och därmed också att acceptera att man kan bli aktivt dödad av sin egen självkörande bil. Det är ju i och för sig en tankeväckande fråga. Problemet är att den är onödig.

Argumentationen är inte speciellt konstig egentligen. Det enda vi behöver programmera vår bil till, är att tänka på samma sätt som alla instrueras till när de tar körkort. Se till att tänka efter vad som skulle kunna hända bakom det du inte ser. Det kan komma ett möte bakom krönet. Det kan svänga ut en bil bakom nästa hörn. Det kan springa ut ett barn bakom en parkerad bil. Kör med så pass marginaler att du kan klara upp sådana överraskningar. Säger vi det till våra tonångar när de övningskör, låter det helt rimligt. Varför inte säga det till våra bilar också?

Lösningen är att bilarna ska ha en säker körstil

Vi kräver av bilarna att de ska kunna bedöma hur långt bort de är helsäkra på att allt är säkert. Sedan kräver vi av dem att anpassa sin körning så att de kan hantera om det i nästa millisekund dyker upp något vid gränsen för deras säkra förståelse. På detta sätt kan vi få bilarna att garantera att de aldrig blir överaskade på ett sätt där inga säkra alternativ finns.

Istället för att programmera bilarna hur de ska hantera svåra moraliska situationer, programmerar vi dem att ha en körstil som garanterar att de aldrig hamnar i ett moraliskt dilemma. Detta måste inte innebära att de kör mycket långsammare än vi människor gör. Det är helt beroende på hur bra deras sensorer är på att se, hur snabba de är att reagera, och hur snabba de är på att bromsa/styra. Genom att anpassa den självkörande bilens egna beslut om körstilen till den egna förmågan, kan vi undvika moraliskt svåra situationer.

 

Foto: källa Volvo Cars

ESPLANADE - Hur introducerar vi säkra automatiserade fordon på våra vägar?

Självkörande bilar har en stor potential att få ner mängden allvarliga trafikolyckor. Innan trafikmiljön är redo för självkörande fordon generellt gäller det att vi stegvis kan introducera dem i trafiken och skapa förtroende i samhället.Läs mer...
RISE Research Institutes of Sweden, Tel 010-516 50 00, E-post info@ri.se

SP, Innventia och Swedish ICT har gått samman i RISE för att bli en starkare forsknings- och innovationspartner för näringsliv och samhälle.
Under 2017 kommer sp.se att vara en av flera webbplatser inom RISE. Besök gärna ri.se för mer information om RISE.