Master's thesis of Engineering: Multimodal data fusion for cyber-physical-human systems

Multimodal Data Fusion for

Cyber-Physical-Human Systems

A thesis submitted in fulfilment of the requirements for the degree of

Master of Engineering

Lars Joyce Planke

BEng (Electrical) (Hon 1st Class) (RMIT University)

School of Engineering

College of Science, Technology, Engineering and Maths

RMIT University

May 2021

Declaration

I certify that except where due acknowledgement has been made, this work is that of the

author alone; this work has not been submitted previously, in whole or in part, to qualify for

any other academic award; the content of the thesis is the result of work, which has been

carried out since the official commencement date of the approved research program; any

editorial  work,  paid  or  unpaid,  carried  out  by  a  third  party  is  acknowledged;  and,  ethics

procedures and guidelines have been followed.

I  acknowledge  the  support  I  have  received  for  my  research  through  the  provision  of  an

Australian Government Research Training Program Scholarship.

Lars Joyce Planke

20 May 2021

I

Acknowledgements

In conducting my Master of Engineering research program, I would firstly like to express my

gratitude to my supervisors Prof. Roberto (Rob) Sabatini and Dr. Alessandro (Alex) Gardi, in

which their advice, guidance and aspirations have been of utmost importance in completing

a successful research project. I would like to give my thanks to Rob for identifying a potential

in me, opening up invaluable opportunities and aspiring me to strive for excellence. I would

also like to thank Alex for providing time and thoughtful advice throughout the project.

A special thanks goes to my friends and colleagues at RMIT University, including Yixiang Lim,

Nichakorn  Pongsarkornsathien,  Sam  Hilton,  Rohan  Kapoor,  Suraj  Bijjahalli  and  Federico

Rivalta.  Their  accompanying  presence  have  made  this  endeavour  highly  rewarding,  with

stimulating  interactions  that  have  sparked  valuable  insights  and  helped  progress  my

research.

I would also like to give many thanks to Dr. Neta Ezer from Northrop Grumman Corporation

for providing helpful feedback and supporting this research project. Also, thanks to Trevor

Kistan from Thales Australia for helping me conduct this research and providing feedback. I

would also like to acknowledge and express my gratitude to RMIT University for selecting

me for a RMIT Research Stipend Scholarship.

This  research  project  has  been  conducted  amid  a  historic  pandemic,  and  a  particular

gratitude goes to my partner Bella Reid and her family for providing extra support through

unusual  and  uncertain  times,  without  which  this  research  would  not  have  been  as

successful. Finally, I would to like to give my heartfelt appreciation to all my friends and

family in Norway and Australia. No matter the physical distance I can always rely on their

encouragement, care and constant source of support.

II

Table of Contents

Declaration

I

Acknowledgements

II

List of Figures

VIII

List of Tables

XI

XII

List of Acronyms and Abbreviations

1

Executive Summary

Background ______________________________________________________________  3

Research gaps  ____________________________________________________________  6

1.2.1.   Scope _______________________________________________________  10

Research aim and question _________________________________________________  11

Research objectives _______________________________________________________  12

Overview of research methodology __________________________________________  13

1.5.1.   General project methodology ____________________________________  13

1.5.2.   Experimental activities  _________________________________________  14

Thesis outline ____________________________________________________________  16

References ______________________________________________________________  17

Introduction _____________________________________________________________  23

Human centred systems ___________________________________________________  24

Architecture for future aerospace systems  ____________________________________  28

2.3.1.   HMI2 in the CNS+A context ______________________________________  28

2.3.2.   Adaptive systems and CHMS _____________________________________  30

2.3.3.   CHMS in future aerospace applications  ____________________________  32

2.3.4.   Evolutionary paths for future multidomain traffic management _________  37

Cognitive modelling and measurements  ______________________________________  38

III

2.4.1.   Conceptual relationship between task load, performance and MWL _____  38

2.4.2.   Cognitive modelling and definitions _______________________________  41

2.4.3.   Types of methods for measuring MWL and generating task loads  _______  43

Sensors and methods for real‐time measurement of MWL ________________________  49

2.5.1.   Electroencephalogram (EEG)  ____________________________________  49

2.5.2.   Eye activity tracking ____________________________________________  62

2.5.3.   Cardiac activity  _______________________________________________  64

2.5.4.   Control input measurements  ____________________________________  66

2.5.5.   Other sensor measurements of MWL ______________________________  67

2.5.6.   Multimodality fusion ___________________________________________  68

2.5.7.   Generalised inference models  ___________________________________  78

Conclusions _____________________________________________________________  80

References ______________________________________________________________  82

Introduction _____________________________________________________________  95

Design considerations for sensing and estimation _______________________________  96

3.2.1.   Top‐level requirements for sensing and estimation ___________________  97

3.2.2.   Processes for sensing and estimation ______________________________  98

Research methodology ___________________________________________________  101

3.3.1.   General project methodology ___________________________________  102

3.3.2.   Task load generation __________________________________________  104

3.3.3.   Participant inclusion criteria and ethics ___________________________  109

3.3.4.   Sensor equipment ____________________________________________  110

3.3.5.   Software infrastructure ________________________________________  115

3.3.6.   Data analysis ________________________________________________  117

Experimental approach and design __________________________________________  119

3.4.1.   Experimental Activity 1 ________________________________________  119

3.4.2.   Experimental Activity 2 ________________________________________  122

3.4.3.   Experimental Activity 3 ________________________________________  126

Conclusion _____________________________________________________________  128

IV

References _____________________________________________________________  129

Introduction ____________________________________________________________  131

OTM UAS test case  ______________________________________________________  132

4.2.1.   Participants _________________________________________________  132

4.2.2.   Mission concept ______________________________________________  133

4.2.3.   Experimental procedure _______________________________________  134

Measurement methods ___________________________________________________  135

4.3.1.   Eye tracking data processing ____________________________________  135

4.3.2.   EEG data processing  __________________________________________  136

4.3.3.   Controller input processing _____________________________________  137

4.3.4.   Secondary task performance index _______________________________  137

Data analysis  ___________________________________________________________  138

4.4.1.   ANOVA test _________________________________________________  138

4.4.2.   Correlations between features __________________________________  139

Results ________________________________________________________________  139

4.5.1.   ANOVA test _________________________________________________  139

4.5.2.   Correlation between features ___________________________________  144

Discussion  _____________________________________________________________  147

Conclusion _____________________________________________________________  151

References _____________________________________________________________  152

Introduction ____________________________________________________________  153

Experimental procedure and setup __________________________________________  154

Participants  ____________________________________________________________  155

MATB scenario design ____________________________________________________  156

V

Data collection and processing _____________________________________________  157

5.5.1.   Subjective measure ___________________________________________  158

5.5.2.   MATB performance measures  __________________________________  158

5.5.3.   Physiological and behavioural measurements ______________________  158

5.5.4.   Final inference model _________________________________________  164

5.5.5.   Network during experiment ____________________________________  168

Data analysis  ___________________________________________________________  170

5.6.1.   Analysing the individual features using the CC ______________________  170

5.6.2.   Analysing the inference models  _________________________________  171

Results ________________________________________________________________  171

5.7.1.   Calibrating and analysing the EEG model __________________________  172

5.7.2.   Individual results from all features _______________________________  175

5.7.3.   Correlations between all features ________________________________  180

5.7.4.   Results from calibrating and validating the ANFIS ___________________  181

Discussion  _____________________________________________________________  190

5.8.1.   Discussion of results  __________________________________________  191

5.8.2.   Discussion of contribution ______________________________________  198

Conclusion _____________________________________________________________  207

References ____________________________________________________________  209

Introduction ____________________________________________________________  213

Experiment procedure ____________________________________________________  214

Participants  ____________________________________________________________  214

MATB scenario design ____________________________________________________  215

Data collection and processing _____________________________________________  216

6.5.1.   Networking during the experiment  ______________________________  217

Data analysis  ___________________________________________________________  219

6.6.1.   Round 1 analysis  _____________________________________________  219

6.6.2.   Round 2 analysis  _____________________________________________  220

VI

6.6.3.   Threshold criterion  ___________________________________________  220

Results ________________________________________________________________  221

6.7.1.   Round 1 results ______________________________________________  221

6.7.2.   Round 2 results ______________________________________________  223

Discussion  _____________________________________________________________  232

6.8.1.   Discussion of methodology design and networking considerations  _____  232

6.8.2.   Discussion of results  __________________________________________  234

6.8.3.   Discussion of contribution ______________________________________  239

6.8.4.   Discussion of multimodal inference of MWL for CHMS _______________  241

Conclusion _____________________________________________________________  244

References ____________________________________________________________  246

Introduction ____________________________________________________________  249

Synthesis of experimental findings __________________________________________  249

Conclusion _____________________________________________________________  254

7.3.1.   Objectives achieved ___________________________________________  256

Recommendations for future research _______________________________________  259

Appendix A – Subject Specific Feature Combination

261

Appendix B – Neuropype Pipeline Designer

264

Appendix C – Results from Normality Test

266

Appendix D – List of Publications

268

VII

List of Figures

Figure 1.1

Fundamental concept of the Cognitive Human Machine System (CHMS)…………………5

Figure 1.2

The general project methodology………………………………………………………………….……… 14

Figure 1.3

General methodology for Experimental Activity 1…………………………………………….…….15

Figure 2.1

Sheridan scale……………………………………………………………………………………………….……… 26

Figure 2.2

Full CHMS framework..……………………………………………………………………………….………..   31

Figure 2.3

VPA system architecture………………………………………………….…………………………………….33

Figure 2.4

Integrated air‐ground Concepts of Operation for SPO and UAS remote control.........35

Figure 2.5

Layers of control for UAS and SPO…………………………………………………….……………………36

Figure 2.6

Third generation flight deck concept by Thales……………………………………………….……. 37

Figure 2.7

Evolutionary paths for a multidomain air and space transport operation.….…........   38

Figure 2.8

Inverted U model………………………………………………………………………………………..…………39

Figure 2.9

Relationship between task load, performance and MWL……………………………………….40

Figure 2.10

Conceptual relationship between MWL and SA………………………………………………………41

Figure 2.11

Tasks for the MATB program………………………………………………………………………………….44

Figure 2.12

International 10‐20 system for electrode placement.…………………………………………..…50

Figure 2.13

(a) Referential montage; (b) Differential amplifier circuit………………………….……………51

A simulated head for finding oscillating voltage sources…………………………….…..……..53

Figure 2.14

Figure 2.15

Signal processing method for a straightforward oscillatory BCI………………………………56

Figure 2.16

EEG signals spatially filtered using CSP algorithms…………………………………………………58

Figure 2.17

Filter Bank Common Spatial Pattern (FBCSP)………………………………………………….………59

Figure 2.18

A generic signal processing for ERP based BCI……………………………………………….……….61

Figure 2.19

QRS complex……………………………………………………………………………………………………......65

Example of different modalities that can be used for cognitive load…………………......70

Figure 2.20

Figure 2.21

High level data fusion for multimodal MWL estimation………………………………….........71

Figure 2.22

Example of an architecture of a NFS………………………………………………………………………76

Figure 3.1

Basic configuration of CHMS……………………………………………………………………….…………96

Figure 3.2

Fundamental components of sensing and estimation…………………………………....………98

Figure 3.3

The general project methodology………………………………………………………………....…….103

Figure 3.4

OTM UAV wildfire detection scenario………………………………………………………..…..…….106

Figure 3.5

Tasks for the MATB program…………………………………………………………………………..…..107

Figure 3.6

(a) actiCAP Xpress form BrainProducts; (b) V‐Amp amplifier with USB cable…..……111

Figure 3.7

GP3 eye tracker……………………………………………………………………………………………..…… 112

Figure 3.8

Zephyr Bioharness 3………………………………………………………………………………….…..…….112

VIII

Figure 3.9

Logitech Extreme 3D Pro………………………………………………………………….………………….113

Figure 3.10

Example of eye tracker mistakenly detecting features of the EEG electrodes as…...114

Figure 3.11

(a) Cloth that is placed to cover the electrodes of the EEG; (b) Cloth preventing…..114

Figure 3.12

Basic data flow for physiological measurement collection……………………………………115

Figure 3.13

General methodology for activity 1………………………………………………………………………119

Figure 3.14

Overall methodology for Experimental Activity 1……….………………………………………..121

Figure 3.15

Multimodal data fusion with testing of multiple inference models……………………….123

Figure 3.16

Detailed methodology for offline development and analysis of inference………….....124

Figure 3.17

Offline calibration and validation of ANFIS model………………………………………………..125

Figure 3.18

Overall methodology for Experimental Activity 3……………………………………………......127

Mission concept illustrating the Unmanned Aerial Vehicles (UAVs) bounding……....134

Figure 4.1

Figure 4.2

Subjective ratings: (a) subjective workload of all participants, grouped by the…….141

Figure 4.3

(a) Mean task index of all participants (normalized), grouped by the scenario……..142

Figure 4.4

Physiological measures: (a) mean scan pattern entropy of all participants………….143

Mean EEG index of all participants…………………………………………………………………….…144

Figure 4.5

Figure 4.6

Comparison for one participant between the task index, SPE and EEG index………...145

Figure 5.1

(a) Experimental setup while participant performs MATB tasks. A: EEG cap………...155

Figure 5.2

MATB task load profile for the experiment……………………………………………………………156

Figure 5.3

Diagram showing all the categories and subcategories of data collection…………….157

Figure 5.4

Feature extraction using FBSPoC and continuous classification using ridge………….159

Figure 5.5

Pipeline for offline calibration and validation of EEG model……………………………......160

Figure 5.6

Four features extracted from the eye tracking data……………………………………………..162

Figure 5.7

ROI for calculating simple (a) and complex; (b) scan pattern entropy……………….…..163

Network diagram for processing and collection of data……………………………………….169

Figure 5.8

Figure 5.9

Protocol for synchronising measurements……………………………………………………………170

Figure 5.10

Result for participant 11 after calibrating the EEG model……………………………………..172

Figure 5.11

Results from the EEG pipeline for participant six…………………………………………………..174

Figure 5.12

(a) EEG measure for participant 4; (b) scan pattern entropy for participant 2………176

Figure 5.13

(a) Blinks per minute for participant 16; (b) pupil diameter for participant 2………..176

Figure 5.14

(a) Dwell time for participant 5; (b) Heart rate for participant 3……………………………177

Figure 5.15

Control inputs for participant 14………………………………………………………………………….177

Figure 5.16

Calibration and validation on separate halves of the data set……………………………….182

Results after calibrating and validating the ANFIS model for participant 4……….…..189

Figure 5.17

Figure 6.1

Overall methodology……………………………………………………………………………………….....214

Figure 6.2

Task profile for Round 1 of the MATB scenario……………………………………………...……..215

Figure 6.3

Task profile for the online validation round in Round 2…………………………………………216

IX

Figure 6.4

Online validation network for Experimental Activity 3………………………………….….…..217

Figure 6.5

Round 1 network for Experimental Activity 3………………………………………………………..218

Figure 6.6

Round 2 network for Experimental Activity 3………………………………………………………..219

Figure 6.7

ANFIS model 2 from participant 5 with a MAE = 0.37……………………………………………222

Figure 6.8

Task level (blue) and ANFIS output (red): (a) ANFIS output 4; (b) ANFIS……..………….225

Figure 6.9

Task level (blue) and ANFIS output (red): (a) ANFIS output 7; (b) ANFIS………….........225

Figure 6.10

Task level (blue) and ANFIS output (red): (a) ANFIS output 11; (b) ANFIS.………………225

Figure 6.11

EEG model result for participant 5………………………………………………………………………..230

Figure 6.12

EEG model result for participant 6.……………………………………………………………………….230

Figure 6.13

EEG model result for participant 7.……………………………………………………………………….230

Figure 6.14

EEG model result for participant 4.……………………………………………………………………….230

X

List of Tables

Table 2.1

Considerations for HMI2 evolution……………………………………………………………………………29

Table 3.1

Primary and secondary mission objectives………………………………………………………………105

Table 3.2

Defining levels of difficulty for MATB scenario………………………………………………………..109

Table 3.3

All noteworthy software’s used as part of this research………………………………………….116

Table 4.1

Task index calculation for each UAV……………………………………………………………….………137

Table 4.2

All results from the ANOVA analysis………………………………………………………………..……..140

Notable correlation coefficients for each participant……………………………………….……..145

Table 4.3

Table 4.4

All feature comparison. Mean and respective standard deviation across all……………146

Table 5.1

Detailed task load profile during the experiment……………………………………………..……..157

Table 5.2

EEG model results for all participants……………………………………………………………………..173

Table 5.3

Results from calibrating on all the data and validating with five‐fold validation……..175

Table 5.4

Correlation between the task analysis (levels) and all other features for all…………….179

Table 5.5

Correlation between features averaged for each participant………………………………….180

Table 5.6

All noteworthy feature combinations used to calibrate and validate the ANFIS………184

Table 5.7

Eye feature combinations only used for training ANFIS……………………………………………185

Table 5.8

Results for all participants with best feature combinations and all seven features…..186

Table 5.9

Best feature combination without control inputs……………………………………………………187

Table 5.10

Final ANFIS models based on generic combinations and subject specific…………………188

Table 5.11

Calibrate and validate on all data with the feature combinations of interest………….190

Table 6.1

Requirements for task profile for Round 1………………………………………………………….…..215

Table 6.2

Requirements for task profile for online validation in Round 2……………………..……..….216

Table 6.3

MAE from online inference of MWL using a cross‐session ANFIS models 1‐5…………..222

Table 6.4

EEG result from offline calibration with MAE from five‐fold validation…………..……….223

Table 6.5

CC across all subjects and for all features…………………………………………………….…………223

MAE and CC for Round 2 between task level and the ANFIS outputs……………………….227

Table 6.6

Table 6.7

MAE and CC between online EEG inference and task profile in Round 2………………….229

Table 6.8

CC between all subject……………………………………………………………………………………….....232

XI

List of Acronyms and Abbreviations

ATM                                        Air Traffic Management

CNS+A                                CNS, ATM and Avionics

ATCo                                          Air Traffic Controller

CSP                                 Common Spatial Patterns

ATC                                                  Air Traffic Control

DAM                   Dynamic Airspace Management

AI                                                   Artificial Intelligence

DE                                          Differential Evolution

ANFIS                                                Adaptive Neuro   Fuzzy Inference System

DEACS                          Differential Evolution with    Ant Colony Search

ANN                                        Artificial Neural Network

DFHM                        Dual Frequency Head Maps

DWELL                                Proportional Dwell Time

ASSAP                             Airborne Surveillance and   Separation Assurance Processing

DIA                                                     Pupil Diameter

AOR                                        Area of Responsibility

ECG                                            Electrocardiogram

ANOVA                                        Analysis of Variance

EEG                                     Electroencephalogram

EMG                                               Electromyogram

aCAMS                                      automated Cabin Air   Management System

EMI                        Electro Magnetic Interference

BCI                                        Brain Computer Interface

EOG                                             Electrooculogram

BPM                                                  Blinks Per Minute

C2                                              Command and Control

ERP                                    Event Related Potential

CA                                                                    Captain

FBCSP                                               Filter Bank CSP

CC                                         Correlation Coefficient

FBCSP                                             Filter Bank SPoC

CHMS               Cognitive Human Machine System

FCM                                                  Fuzzy C‐Means

CNS                             Communication, Navigation                                                         and Surveillance

fMRI                                        Functional Magnetic   Resonance Imaging

CeNS                                     Central Nervous System

fNIR                                 Functional Near Infrared   Spectroscopy

COMM                                              Communication

FFT                                      Fast Fourier Transform

COMB.                                                   Combination

FIS                                       Fuzzy Inference System

CPHS                          Cyber‐Physical‐Human System

FO                                                            First Officer

CPS                                        Cyber‐Physical System

GCS                                      Ground Control Station

CI                                                           Control Input

XII

GSR                                      Galvanic Skin Response

NASA                                National Aeronautics and   Space Administration

GPR                            Gaussian Process Regression

NASA TLX                            NASA Task Load Index

GA                                                 Genetic Algorithm

NFS                                          Neuro Fuzzy System

GO                                                  Ground Operator

nMAE                                            Normalised MAE

NN                                               Normal to Normal

GEVD                                  Generalised Eigen Value  Decomposition

OTM                                                   One‐to‐Many

HbO                                  Oxygenated Hemoglobin

OFS                               Operator Functional State

HbR                              Deoxygenated Hemoglobin

pBCI                                                         passive BCI

HMI                                Human Machine Interface

PY                                                                    Python

HMI2                              Human Machine Interfaces   and Interactions

PBO                  Performance Based Optimisation

HRV                                        Heart Rate Variability

PCA                         Principal Component Analysis

HR                                                              Heart Rate

PSD                                    Power Spectral Density

IBI                                                  Interbeat Interval

PET                       Position Emission Tomography

ICA                    Independent Component Analysis

PF                                                             Pilot Flying

IR                                                                     Infrared

PNF                                                   Pilot Not Flying

PM                                                    Pilot Managing

ICAO                               International Civil Aviation  Organisation

RDA                                         Remote Data Access

IP                                                     Internet Protocol

RESMAN                            Resource Management

JS                                                                  JavaScript

RMSE                               Root Mean Square Error

LDA                              Linear Discriminant Analysis

RPAS                    Remote Piloted Aircraft System

LOA                                           Level of Automation

RR                                                                     R‐to‐R

LSL                                              Lab Streaming Layer

MWL                                              Mental Workload

RMIT                                Royal Melbourne Institute  of Technology

MATB                         Multi‐Attribute Task Battery

RQ                                              Research Question

MTO                                                     Many‐To‐One

ROI                                               Region of Interest

ML                                                 Machine Learning

SCHED                                                         Schedule

MAE                                         Mean Absolute Error

XIII

SD                                                Standard Deviation

SDNN                                      SD Normal to Normal

SDRR                                                            SD R‐to‐R

SPO                                         Single Pilot Operation

SPoC                           Source Power Comodulation

SPE                                          Scan Pattern Entropy

SA&CA                            Separation Assurance and   Collision Avoidance

SA                                          Situational Awareness

SNS                                    Somatic Nervous System

SVM                                   Support Vector Machine

SWIM                              System Wide Information   Management

SWLDA                                                Step Wise LDA

SYSMON                                     System Monitoring

TBO                         Trajectory Based Optimisation

TCP                          Transmission Control Protocol

TRACK                                                            Tracking

UAS                                  Unmanned Aerial System

UTM                                 UAS Traffic Management

UAVs                              Unmanned Aerial Vehicles

UAV                                 Unmanned Aerial Vehicle

VPA                                         Virtual Pilot Assistant

4D                                                        4‐Dimensional

4DT                                    4‐Dimensional Trajectory  Based Optimisation

XIV

Executive Summary

With increasingly higher levels of automation in aerospace Cyber‐Physical Systems (CPS) it

is imperative that human operators maintain the required level of Situational Awareness

(SA)  in  order  to  contribute  effectively  to  both  strategic  and  tactical  decision‐making

processes.  On  the  other  hand,  it  is  also  essential  that  the  cognitive  ability  of  human

operators is constantly monitored to assess their ability to perform effectively in a closed

loop human‐machine system environment. To ensure that the performance of the system

and the Mental Workload (MWL) of the human operator are maintained at an acceptable

level,  one  possible  approach  is  to  introduce  real‐time  adaptation  in  the  Human‐Machine

Interfaces  and  Interactions  (HMI2).  While  current  aerospace  systems  and  interfaces  are

limited in adaptability, a Cognitive Human Machine System (CHMS) addresses these issues

with  a  cyber‐physical  human  design  that  provides  dynamic  real‐time  system  adaptation.

Nevertheless, to reliably drive adaptation of current and emerging aerospace systems there

is a need to accurately and repeatably estimate cognitive states, in particular MWL, in real‐

time.  Henceforth,  this  research  has  studied  methods  for  sensing  physiological  and

behavioural responses associated with MWL and have used the corresponding measures to

provide a real‐time multimodal inference of MWL.

As part of this research, three experimental activities have been conducted. Experimental

Activity  1 included  an  exploratory  study  that implemented  and  analysed  an

Electroencephalogram (EEG) index as well as a straightforward data fusion method during a

complex One‐to‐Many (OTM) Unmanned Aerial Vehicle (UAV) wildfire detection scenario.

The EEG index included previously proven features of MWL and showed to be sensitive to

changes  in  MWL  in  the  complex  task  scenario  using  the  Correlation  Coefficient  (CC).

Moreover, a straightforward data fusion approach showed that fusing the EEG index and an

eye  activity  feature  gave  the  highest  correlation  with  a  secondary  task  performance

measure (CC = 0.73 ± 0.14).

The  following  Experimental  Activities  2  and  3  were  more  comprehensive  activities  and

involved offline and online testing of a multimodal inference model of MWL that was tested

during the Multi‐Attribute Task Battery (MATB) scenario. This involved a rigorous analysis of

1

2

a subject specific EEG model and an Adaptive Neuro Fuzzy Inference System (ANFIS) model

for fusing the multimodal physiological and behavioural features. The results of the offline

calibration and validation conducted in Experimental Activity 2, showed that the average

from the best performing subject specific feature combinations gave the lowest error with

the task level with an average Mean Absolute Error (MAE) = 0.28. Nonetheless, the results

from using all the seven features in the combination showed comparably good result with

an average MAE = 0.36.

The final Experimental Activity 3 included the online validation (during two rounds) of 11

selected  ANFIS  models  as  determined  in  the  previous  activity.  The  results  from  online

validation of the first five ANFIS models (containing different feature combinations of eye

activity and control input features) all demonstrated good performance with a MAE around

the 0.68 mark, with the best performing model showing an average MAE = 0.67 and CC =

0.71. This was similarly reflected in the results from performing cross‐session validation. The

remaining multimodal models of MWL showed a larger error as the online inference from

the EEG model had an arbitrary offset resulting in an equivalent offset in the output of the

multimodal  ANFIS  model.  The  efficacy  of  the  model  could  however  be  seen  with  the

normalised pairwise correlation with the target value and showed good results, with ANFIS

model  11  demonstrating  the  highest  average  correlation  across  the  models  tested  (CC  =

0.77). Henceforth this study has demonstrated the ability for multimodal data fusion from

features extracted from EEG, eye activity and control  inputs to produce an accurate and

repeatable inference of MWL. The investigation of multimodal fusion for MWL inference

has assisted in corroborating the viability of real‐time system adaptation in future aerospace

Cyber‐Physical‐Human Systems (CPHS) architectures.

Chapter 1

Introduction

Background

The  dynamic  complex  systems  adopted  in  modern  aerospace  operations  are  becoming

problematic when looking at the human’s response to automation. A number of complex

tasks would not be achievable without the assistance of automated systems. Nonetheless,

it has been noted in the literature that automation has its consequences [1‐3], as some of

the main contributors to aviation accidents are attributed to human errors as a result of

automation  bias,  complacency  [4]  and  a  deterioration  of  manual  flying  skills  [5].  Among

some of the cases, it has been identified that low Mental Workload (MWL) environments

are  a  source  of  boredom  and  cognitive  underload  as  a  result  of  inactivity  [2].  In  certain

periods  of  flight  like  cruise,  the  MWL  is  commonly  low.  This  under‐load  can  lead  to  a

negative  effect  on  information  processing  and  Situational  Awareness  (SA).  Then  if  an

abnormal situation appears while airborne, the pilot will quickly be exposed to cognitive

over‐load  and  will  experience  a  total  loss  of  SA  [2].  With  these  concerns  regarding  the

integration of automation there is a need for a new interaction between human operators

and machines that departs from independent automation and human activities and moves

towards Cyber‐Physical‐Human Systems (CPHS).

3

Chapter 1. Introduction 4

These  human‐centric  systems  are  the  cooperation  of  humans  with  machines,  and  are

designed such that the skills and abilities of humans are not replaced, but rather co‐exist

with and assist humans in performing more  efficiently and  effectively [6]. Such a human

centric  design  represents  an  improved  design  and  engineering  philosophy,  where

automation is treated as a further expansion of the humans physical, sensorial and cognitive

capabilities.  As  such  a  human  centric  system  is  designed  to  be  engineered  with

computational and communication techniques with adaptive control systems (i.e. adaptive

automation)  that  maintain  human‐in‐the‐loop.  Some  of  the  current  Human  Machine

Interfaces  and  Interactions  (HMI2)  of  aerospace  systems  are  capable  of  integrating  and

fusing  information  from  various  sources  to  perform  a  variety  of  different  functions.

However, current systems and interfaces are limited in adaptability where the authority for

reconfiguration and task allocation in current adaptable HMI2 are manually controlled by

the human operator [7]. Henceforth, a Cognitive Human Machine System (CHMS) addresses

these issues with a CPHS design that provides the necessary real‐time system adaptation [8,

9]. A CHMS provides real‐time system adaptation by collecting physiological, behavioural as

well as mission, environmental and operational data (i.e. performance measures) which are

then fused in real‐time to provide a final estimation of the operator’s cognitive states (i.e.

mental  workload,  mental  fatigue,  attention,  etc.).  This  estimation  will  then  dynamically

change system functions and HMI2 formats. The configuration for this can be seen in Figure

1.1  and  illustrates  a  closed  loop  system  as  described  above.  The  CHMS  consists  of  four

fundamental components which include the human operator, sensing module, estimation

module and lastly the adaptation module. The sensors used for collecting the physiological

and  behavioural  measurements can  e.g. include  data collected from  an

Electroencephalogram  (EEG),  Functional  Near  Infrared  Spectroscopy  (fNIR),  eye  activity

tracker,  cardiorespiratory  sensor  and  control  input  sensors,  while  the  performance

measures  can  among  other  be  deduced  from  the  primary  and/or  secondary  mission

objectives. These measures are then fused in the estimation module to produce estimations

of the cognitive states that then drives the system adaptation. This then produces a new

task load presented to the human operator, which thus results in new cognitive states of

the human as well as new system conditions and the cycle then continues.

Reference  cognitive  states

Actual system  conditions

Task 1

5 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Adaptation

Deviation  from  reference  threshold

Task load

Task 2

⋮

+ ‐

Task n

Actual  cognitive  states

… HUMAN

Estimation

Sensing

Physiological and behavioural response

Performance measures

Estimated  cognitive  states

Mission performance

Environmental conditions

Operational conditions

Actual external   conditions

Figure 1.1. Fundamental concept of the Cognitive Human Machine System (CHMS).

In  terms  of  avionics  used  for  aerospace  systems  there  are  three  main  aspects  including

Communication,  Navigation  and  Surveillance  (CNS)  [10].  The  operation  of  e.g.  Air  Traffic

Management  (ATM)  is  highly  dependent  on  CNS  systems  to  achieve  the  objectives  of

preventing  collisions  and  ensuring  a  high  flow  of  traffic  [11].  The  collective  term  for  the

technologies used for fulfilling many of the vital functions of aerospace systems is CNS/ATM

and Avionics (CNS+A). The aforementioned considerations for a human centric design in the

form of a CHMS is important as the advancements in CNS+A concepts progress [11‐13]. With

the introduction of these technologies there is a need to process and present an increasing

amount of information. This will in turn result in aerospace Cyber‐Physical Systems (CPS)

which  incorporate  higher  levels  of  automation  and  improved  information  sharing  [14].

Additionally, for some of the proposed CNS+A concepts there is in fact a need for automated

computation, as the function cannot be completed without computational support, such as

4‐Dimensional Trajectory Based Optimisation (4DT) where humans are not able to process

4‐dimensional  space  [11].  Among  some  of  the  significant  advantages  of  the  CNS+A

advancements and the introduction of CPHS are the capabilities of de‐crewing of current

6 Chapter 1. Introduction

flight decks and further implementations of ground control centres. These advancements

are allowing new aerospace architectures to emerge such as the transition from two pilot

to  Single  Pilot  Operation  (SPO)  in  commercial  aircrafts  [8,  15],  One‐to‐Many  (OTM)

Unmanned  Aerial  Vehicle  (UAV)  operation  [16],  evolution  of  ATM  [17]  and  UAS  traffic

management  (UTM)  [18].  The  implementation  of  the  CHMS  in  all  these  applications  will

support these aerospace systems to operate at higher levels of automation while ensuring

that the human operator maintains a central role in the system and that the degree of trust

with the system is maintained.

Research gaps

To  reliably  drive  system  adaptation  in  an  operational  CHMS  there  is  a  need  to  provide

accurate and repeatable estimations of cognitive states in real‐time. Among the cognitive

states, MWL is of particular importance as it directly affects the system performance [19].

However, to allow for aerospace CPHS architectures that perform dynamic real‐time system

adaptation there is a need to further develop suitable models and algorithms that can infer

MWL based on multiple real‐time physiological and behavioural sensor measurements.

Such  measurements  have  been  extensively  researched  for  detecting  physiological  and

behavioural responses associated to MWL, including the use of sensors such as EEG [20‐23],

fNIR [24, 25], eye activity tracking [26, 27], Electrocardiogram (ECG) [28‐30], Galvanic Skin

Response (GSR) [31] and control inputs [32]. Here corresponding features associated with

MWL include among others: changes in alpha and theta power‐bands with the EEG; changes

in blood oxygenation and blood volume with the fNIR; changes in Blinks Per Minute (BPM),

proportion  dwell  time,  pupil  diameter  and  scan  pattern  behaviour  with  eye  activity

measures;  changes  in  Heart  Rate  (HR),  Heart  Rate  Variability  (HRV)  and  respiration  with

cardiorespiratory  sensors;  changes  in  skin  conductance  with  GSR;  and  lastly,  changes  in

accuracy,  response  time  as  well  as  mouse  movements  with  a  computer  mouse  used  for

control inputs. Nonetheless, extensive reviews have identified that the measures of MWL

are not universally valid for all task scenarios [33, 34]. The reviews both identified multiple

studies that reported statistical significance in physiological and behavioural measures that

are able to measure MWL for different task scenarios. However, the reviews noted that the

7 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

measures are sensitive depending on the task type and difficulty, and that a single measure

was  not  identified  that  is  generalised  across  various  tasks.  The  inconsistency  in  the

sensitivity of physiological and behavioural measures can for example be seen for HR. Here

studies have reported a sensitivity of HR to changes in MWL [29, 30], while others found no

sensitivity [35]. With this variability in the efficacy of sensor measurements it is important

to extract measurements that are sensitive to the specific task scenario.

The task loads implemented for provoking MWL have included using many different task

scenarios.  Among  these  include  using  simpler  task  scenarios  in  controlled  laboratory

environments while performing tasks such as the n‐back task, arithmetic task, Hampshire

tree task, Sternberg task and other equivalent tasks [36, 37]. Other task scenarios include

the  use  of  somewhat  more  complex  task  loads  that  require  multi‐tasking  such  as  Multi‐

Attribute  Task  Battery  (MATB)  [38]  or  the  automated  Cabin  Air  Management  System

(aCAMS) [39]. Task scenarios that generate more complex task loads include studies that

implement ATM simulations, driving simulations or flight simulation [28, 40‐45]. Lastly, only

limited studies have performed physiological and behavioural measurements of MWL while

performing  real  operational  conditions,  such  as  during  actual  flight  or  actual  driving

conditions [46, 47].

Studies  have  implemented  the  use  of  supervised  Machine  Learning  (ML)  techniques  for

estimating MWL during a specific task scenario by either implementing classification models

for  classifying  MWL  between  discrete  states,  or  the  use  of  regression  approaches  for

continuously  inferring  MWL.  This  has  been  used  for  fusing  the  respective  features  from

within a modality, generally used with EEG only [48‐53] as well as fNIR only [43], or fusing

features  across  modalities  [54‐58].  Here  commonly  used  classification  approaches  have

included  the  use  of  Artificial  Neural  Networks  (ANN)  [59,  60],  Support  Vector  Machines

(SVM) [37, 56, 61, 62] or Linear Discriminant Analysis (LDA) [40, 43] (or extended variants),

with  some  studies  comparing  multiple  classification  models  [55,  61,  63]  when  classifying

between discrete MWL states (i.e. resting, low and high). The use of regression models is

less reported but includes the use of Neuro Fuzzy System (NFS) [16, 58, 64] and Gaussian

Process Regression (GPR) [52], which provides a continuous estimation of MWL.

8 Chapter 1. Introduction

The  type  of  task  scenario,  and  task  loads  presented  to  the  subject  can  differ  quite

substantially  between  the  various  studies.  Moreover,  many  of  the  studies  performing

multimodal data fusion include ML techniques that perform the calibration and validation

in offline processing. Nonetheless, real‐time/ online data processing often shows variable

and inconsistent results. The following studies by Hogervorst et al. and Wilson and Russell

have performed online validation of multimodal data fusion models [57, 60]. In the study

conducted by Wilson and Russell [60], an ANN was used to fuse data from an EEG (band‐

power from delta, theta, alpha, beta and gamma from six electrodes), eye activity measures

(blinks and interblink intervals) and cardiorespiratory measures (respiration, HR and HRV) in

a MATB task scenario using resting, low and high task load conditions. Here the ANN would

perform  online  classification  of  the  respective  task  load  at  5  second  intervals  and

demonstrated a classification accuracy of 84.3%. In the other study by Hogervorst et al. [57],

the  online  validation  was  simulated  after  collecting  the  data.  Here  data  from  EEG,  GSR,

cardiorespiratory (respiration, HR, HRV) and eye activity measures (pupil size and eye blink)

were collected from the participant performing an n‐back task, between high and low task

loads. A classification accuracy of 91% was achieved from using 2‐minute intervals and using

an elastic net calibrated on features from an EEG and eye activity measures. However, it was

concluded that fusing the measure did not notably improve the results. Both results showed

a  good  accuracy,  however,  for  both  studies  a  classification  model  was  used  which  only

discriminates between discrete classes (i.e. low and high). Moreover, the latter study does

not  perform  a  true  real‐time  processing,  as  it  only  implemented  a  simulated  online

validation, and it additionally used a relatively large interval of 2 minutes.

Some  studies  have  in  fact  performed  elements  of  real‐time  system  adaptation  by  using

measures of MWL [24, 40, 64, 65]. However, generally these studies have used models that

implement one modality, such as only EEG [40], only fNIR [24] or only task performance [65].

The  study  by  Ting  et  al.  [64],  is  one  of  the  few  studies  that  performed  real‐time  system

adaptation by implementing a multimodal data fusion model. Here EEG features, HRV and

a task performance measure was used to drive system adaptation in an aCAMS simulation,

although  the  physiological  measures  were  taken  at  quite  large  intervals  at  7.5  minutes.

However, it was concluded that the physiological and performance measures improved the

system adaptation over using only system error for driving the adaptation.

9 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

In terms of estimating MWL, a continuous regression measure of MWL is arguably more

suited for driving system adaptation in a CHMS. Among the regression type models, NFS is

of particular interest as it is well suited for fusing data from multiple modalities and is more

transparent than other ML methods thus overcoming some of the “black box” problem that

are faced by many of the other ML methods. An NFS can optimise the parameters of a Fuzzy

Inference System (FIS) based on calibration data, and one notable method is the Adaptive

Neuro Fuzzy Inference System (ANFIS) [66]. There have been limited uses of NFS for MWL

estimation, however the studies that have used NFS include the following references [16,

58, 64, 67]. The methods used to optimise the FIS parameters include the use of a Genetic

Algorithm (GA) based Mamdani fuzzy model [64, 67], where 7.5 minute intervals were used

for the EEG and HRV measures. An extension of that work was presented by Wang et al.

[58], with a 2 minute interval and using Differential Evolution (DE) and Differential Evolution

Algorithm with Ant Colony Search (DEACS), as means to optimise the ANFIS parameters. The

preceding studies demonstrated good results in an offline calibration and validation with

the respective models, but they also implemented a general ANFIS model for comparison

that showed poor results. With large intervals used, this could result in a limited amount of

calibration data for the models, particularly for the general ANFIS model. A study by Lim et

al. also implemented an ANFIS and was calibrated on data from cardiac features, eye activity

features and features from an fNIR [16]. The offline validation showed good results from

calibrating the model on the normalised features but failed to demonstrate good results in

the  online  validation.  These  aforementioned  studies  thus  lack  in  using  a  general  ANFIS

paradigm to produce accurate results in inferring MWL. Some of the studies demonstrated

quite large intervals used, while the latter study lacked to perform an inference of MWL in

an online validation. Moreover, other more recent studies have outlined the importance of

investigating  the  respective  features  contributing  to  the  performance  of  the  respective

models  used  [55,  63].  This  is  also  an  area  that  has  not  been  investigated  for  NFS  in  the

previous studies and is an area that can assist in the explainability of the model.

As mentioned before recent extensive reviews have identified that there is not a current

measure  of  MWL  that  is  universal  for  all  task  scenario  [33,  34].  While  many  of  the  ML

classification/ inference models have demonstrated the ability of increasing the accuracy of

the estimation of MWL, there are still significant limitations in ML models’ ability for cross‐

10 Chapter 1. Introduction

task,  cross‐level,  cross‐session  and  cross‐subject  classification/  inference  [48‐50,  62,  68].

For  example,  the  study  conducted  by  Zhao  et  al.  demonstrated  a  within‐classification

accuracy of 95.3%, while the online validation of cross‐task classification dropped to 53.8%

(with 33.33% as random), and cross‐level had an accuracy of 72.2% [62]. Henceforth, the

capability of accurate cross‐task and at minimum cross‐level is vital for the estimation of

MWL  to  be  reliable  enough  for  a  CHMS  to  be  used  in  operational  aerospace  systems.

Moreover, for driving real‐time system adaptation there is a need for defining reference

values that serve as thresholds for executing the system adaptation. Defining such reference

values is nevertheless a challenging area given that there is no established ground truth for

what  is  considered  overload  and  underload  of  MWL.  In  addition,  the  aforementioned

limitations  of  current  classification/  inference  models  (i.e.  cross‐task  and  cross‐session

inference) and the human operators subjective experience of a given task load also provides

challenges  for  defining  accurate  and  reliable  threshold  values.  Henceforth,  before

proceeding with the further implementation of real‐time system adaptation and the effects

of this on aerospace systems and the human operator, there is a need to thoroughly study

methods for sensing physiological, behavioural and performance measures associated with

MWL.  This  includes  further  researching  different  methods  for  devising  multimodal  data

fusion of MWL that can accurately and repeatably infer MWL in real‐time.

1.2.1. Scope

To clearly define the scope of this research the following aspects were considered. Firstly,

regarding  the  CHMS,  this  project  was  primarily  focused  on  the  sensing  and  estimation

module  of  the  system.  This  meant  that  the  adaptation  module,  and  its  integration  for

various  aerospace  systems  was  kept  outside  of  the  scope.  This  additionally  meant  that

defining  threshold  values  for  driving  system  adaptation  was  not  included  in  the  scope.

Nonetheless, the consideration of how the estimation of MWL would affect the adaptation

module was briefly considered as part of the review and would also determine requirements

for the sensing and estimation modules. As such, the scope of this research was kept on the

various  physiological,  behavioural  and  performance  measures,  including  the  applicable

sensors  used,  the  extraction  of  features  and  the  multimodal  fusion  to  extract  one  final

accurate and repeatable measure.

11 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

In terms of cognitive states, this research was limited to the study of MWL, although this is

arguably  also  interchangeably  named  in  the  literature  as  cognitive  load,  mental  load,

Operator  Functional  State  (OFS)  and  cognitive  workload.  The  theoretical  background  for

some  of  the  other  cognitive  states  would  however  be  briefly  included  in  the  review  and

involved fatigue, SA, working memory and attention.

The sensor suite used for experimental testing and analysis would be limited to an EEG, ECG,

eye activity tracker and computer mouse. This included both the offline processing as well

as  real‐time  processing  of  the  data  from  the  respective  sensors.  Other  sensors  would

however  be  included  as  part  of  the  scope  for  review.  Elements  of  artifact  rejection  was

included as part of the review and the experimental activities would include some methods

of artifact rejections as allowed in real‐time processing.

The scope was limited to the testing of a regression type ML model for real‐time multimodal

data fusion. Other methods of data fusion, such as other ML classification techniques, was

included as part of the scope for review and discussion. As part of the analysis from the

experimental  testing,  some elements  of  explainability  of  the  inference  of  MWL  from  the

respective multimodal model was included as part of the scope. Lastly, cross‐task, cross‐

level  and  cross‐subject  capability  of  ML  models  would  not  be  considered  as  part  of  the

scope, apart from review and for comparison in the discussion. Elements of cross‐session

inference was however included as part of the scope and was experimentally tested.

Research aim and question

The primary aim of this research was to further develop the sensing and estimation module

of the CHMS framework with an improved multimodal inference model of MWL as needed

for  the  application  in  aerospace  CPHS.  Here  the  focus  of  this  research  was  on  the

implementation  of  a  multimodal  inference  model  of  MWL  that  would  be  developed  and

experimentally tested. This was done with the purpose of studying the viability of real‐time

system adaptation in aerospace systems. As such the main aim of this research was:

12 Chapter 1. Introduction

Development of an accurate and repeatable multimodal inference model for the real‐

time evaluation of MWL as needed for a Cognitive Human Machine System (CHMS).

As part of this research project the following research question was considered:

RQ1. How can fusing multimodal sensor measurements in a subject specific machine

learning  model  produce  accurate  and  repeatable  measurements  of  mental

workload?

Research objectives

As part of this research project the following research objectives were set:

OBJ. 1. A comprehensive literature review on MWL measurements, EEG, ECG, eye

activity tracking, control inputs, human factors, adaptive automation, closed

loop system adaptation, passive Brain Computer Interface (pBCI), HMI2, CNS+A,

multimodal data fusion, machine learning and ANFIS;

OBJ. 2. Identify methods for multimodal data fusion and corresponding data labelling/

target value strategies;

OBJ. 3. Determine and experimentally verify physiological and behavioural

measurements associated with MWL;

OBJ. 4. Select and experimentally implement a subject specific machine learning

technique most suited for continuously inferring MWL at frequent intervals

based on multimodal data;

OBJ. 5. Perform a thorough analysis from offline calibration and validation of a

multimodal inference model of MWL and analyse performance from using

different generic and subject specific feature combinations;

OBJ. 6. Perform online validation of the multimodal inference models of interest,

including online cross‐session validation;

OBJ. 7. Analyse elements of explainability of the inference of MWL from the

multimodal ML model implemented;

OBJ. 8. Create and implement a protocol for rapid calibration of a multimodal

inference model.

13 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Overview of research methodology

This section outlines an overview of the overall methodology and the approach taken for

the experimental activities conducted, which is further elaborated on in Chapter 3. The first

part of this research is a comprehensive literature review conducted with the focus on the

applicable body of work. The second part of this research includes experimentally testing

and studying the functionalities of a multimodal sensing and estimation module as needed

for a CHMS. The general approach for this includes three experimental activities and are

outlined in the following sub sections.

1.5.1. General project methodology

This research aims to develop an accurate and repeatable multimodal inference model for

estimating MWL as needed for a CHMS system. In working towards this aim, the following

general  project  methodology  was  implemented  as  part  of  this  research  project.  The  full

general project methodology can be seen in Figure 1.2 and elements of this was used for all

three experimental activities completed. The full approach consisted of firstly using a task

scenario  to  controllably  generate  various  task  loads  that  were  presented  to  the  human

subject. The human then performed the presented task load, which in turn resulted in an

“actual  MWL”  perceived  by  the  human.  The  “observe”  block  was  then  where  various

wearable  and  non‐wearable  sensors  measured  various  physiological  and  behavioural

responses that originated from the human performing the given task. This included the use

of an EEG, eye activity tracker, ECG and monitoring control inputs to measure the raw data

and  then  further  extract  features  such  as  HR  from  the  ECG  signal.  Then  in  the  “orient”

module  the  various  extracted  features  were  collected,  and  the  physiological  and

behavioural features were oriented using the Pearson Correlation Coefficient (CC), to assess

the pairwise linear relationship with other objective measures of MWL. This could either be

the correlation between the feature and a pre‐determined task level, a pairwise correlation

with a secondary task performance measure, or reserving another feature for comparison.

Subsequently, in the “decide” module an assessment could be made that decided which

physiological/  behavioural  feature  were  best  suited  for  MWL  estimation  based  on  the

pairwise correlation results. This assessment could finally be used for the last module, where

14 Chapter 1. Introduction

the  best  features  were  implemented  in  the  desired  multimodal  model  that  fused  all  the

features into one final inference of MWL.

Figure 1.2. The general project methodology.

1.5.2. Experimental activities

To prove the capabilities of a sensing and estimation module’s ability to infer MWL in real‐

time,  three  experimental  activities  were  conducted  using  various  steps  of  the  general

project  methodology  presented  above.  Firstly,  this  included  an  exploratory  experimental

activity  that  assessed  some  of  the  physiological,  behavioural  and  performance

measurements  associated  with  MWL  during  a  complex  OTM  UAV  wildfire  detection

scenario. The following two experimental activities were more comprehensive and included

the  offline  and  online  calibration  and  validation  of  a  multimodal  data  fusion  model

developed  for  real‐time  inference  of  MWL.  These  experimental  activities  (Experimental

Activity 1, 2 and 3) were conducted to complete the research objectives and answer the

research question associated to this research project.

In  the  first  exploratory  Experimental  Activity  1  the  use  of  physiological,  behavioural  and

performance measures of MWL were implemented and analysed in a complex OTM UAV

wildfire detection scenario. Overlapping with the general project methodology presented

above,  this  experimental  activity  only  implemented  the  observe  and  orient  sections  as

further seen in Figure 1.3. In this activity the task load presented to the human operator was

generated from a wildfire detection scenario, where the task complexity was controlled in

three  incremental  levels.  The  measures  collected  as  a  part  of  this  activity  included

physiological, behavioural, performance and subjective measures. This exploratory activity

was conducted in collaboration with another project [16], and expanded on the work by

further developing an EEG index and implementing a data fusion approach with the EEG

15 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

index and an eye activity measure. The EEG index and data fusion approach were analysed

using  the  Analysis  of  Variance  (ANOVA)  analysis  and  the  CC,  and  additionally  included

analysing the other features for comparison. The pairwise correlation was conducted with

an  objective  secondary  task  performance  index  for  assessing  how  sensitive  the  features

were to the complex OTM UAV task scenario.

Figure 1.3. General methodology for Experimental Activity 1.

In the following Experimental Activity 2, the emphasis was on the inference of MWL using a

supervised  ML  model  for  multimodal  data  fusion.  This  activity  included  experimentally

collecting physiological and behavioural data, and then performing a data fusion of these

multimodal features in an offline calibration and validation procedure. Here multiple models

were  tested  that  contained  different  feature  combinations.  Compared  with  the  general

methodology, the full methodology was implemented with the observation of the features,

the  orientation  of  the  features,  decision  of  which  features  to  use  and  lastly  the

implementation of those features for offline calibration and validation of the developed and

tested inference models.

Lastly,  Experimental Activity  3  investigated  the online  validation  of  the  inference models

examined in the previous experimental activity. While the previous activity investigated the

offline  calibration  and  validation  of  multimodal  inference  models,  this  activity  took  the

optimal  models  from  the  previous  experimental  activity  and  applied  it  in  an  online

validation.  This  would  verify  the  inference  model’s  capability  for  real‐time  estimation  of

MWL.  This  used  the  same  approach  as  in  Experimental  Activity  2  with  the  full

implementation of the general approach.

16 Chapter 1. Introduction

Thesis outline

This  section  will  briefly  outline  the  remaining  chapters  of  this  thesis  and  its  contents.

Chapter  2  of  the  thesis  includes  a  literature  review  of  the  relevant  literature  for  this

research. This includes a detailed review on the body of work within MWL measurements,

EEG, ECG, eye activity tracking, control inputs, human factors, adaptive automation, closed

loop system adaptation, pBCI, HMI2, CNS+A, multimodal data fusion, machine learning and

ANFIS.

Chapter 3 will then outline some of the design requirements and functionalities for a sensing

and estimation module. This will guide the design of the experiments as these dictates what

is needed for the sensing and estimation module of a CHMS. This chapter will additionally

include outlining the methodology as part of this research and will detail the hardware and

software infrastructure used.

In Chapter 4, 5 and 6 the work from Experimental Activities 1, 2 and 3 will be presented,

where  all  three  activities  involve  humans.  These  chapters  will  also  present  the  methods

implemented for the respective activity as well as the results from each experiment and

lastly a discussion. Chapter 4 is an exploratory experimental activity that presents the results

from the development and testing of an EEG index, and the fusion between the EEG index

and an eye activity measure in a complex OTM UAV wildfire detection scenario. Chapter 5

and 6 are closely related, where Chapter 5 will include the presentation of the development

and experimental results from offline calibration and validation of various inference models

using EEG, eye activity tracking, cardiac and control input measures of MWL. While Chapter

6  is  then  the  online  validation  of  the  previously  analysed  models,  using  an  optimal

calibration  protocol.  Lastly  Chapter  7  provides  a  synthesis  of  the  discussions  from  the

respective experimental activities, a conclusion and recommendations for future research.

17 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

References

[1]  M.  A.  Vidulich  and  P.  S.  Tsang,  "Mental  workload  and  situation  awareness  "  in  Handbook  of  Human  Factors and Ergonomics, vol. 4, G. Salvendy, Ed.  Hoboken, New Jersey: John Wiley & Sons, 2012.

[2]

J. P. Brown, "The Effect of Automation on Human Factors in Aviation," The Journal of Instrumentation,  Automation and Systems, vol. 3, no. 2, pp. 31‐46, August 2016.

[3]

K. Funk et al., "Flight Deck Automation issues," The International Journal of Aviation Psychology, vol. 9,  no. 2, pp. 109‐123, 1999.

[4]  C. D. Wickens, B. A. Clegg, A. Z. Vieane, and A. L. Sebok, "Complacency and Automation Bias in the Use

of Imperfect Automation," Human Factors, vol. 57, no. 5, pp. 728‐739, April 2015.

[5]  A. Haslbeck and H.‐J. Hoermann, "Flying the Needles: Flight Deck Automation Erodes Fine‐Motor Flying  Skills Among Airline Pilots," Human Factors and Ergonomics Society, vol. 58, no. 4, pp. 533‐545, June  2016.

[6]  D.  Romero,  P.  Bernus,  O.  Noran,  J.  Stahre,  and  Å.  Fast‐Berglund,  "The  Operator  4.0:  Human  Cyber‐ Physical  Systems  &  Adaptive  Automation  Towards  Human‐Automation  Symbiosis  Work  Systems,"  in  APMS, Iguassu Falls, Brazil, 2016, pp. 677‐686.

[7]

L. J. Prinzel III and D. B. Kaber, "Adaptive and Adaptable Automation Design: A Critical Review of the  Literature and Recommendations for Future Research," Langley Research Center Hampton, September  2006.

[8]

J. Liu, A. Gardi, S. Ramasamy, Y. Lim, and R. Sabatini, "Cognitive pilot‐aircraft interface for single‐pilot  operations," Knowledge‐Based Systems, vol. 112, pp. 37‐53, November 2016.

[9]  N. Pongsakornsathien et al., "Sensor Networks for Aerospace Human‐Machine Systems," Sensors, vol.

19, no. 16, p. 3465, August 2019.

[10]  C. R. Spitzer, U. Ferrell, and T. Ferrell, Digital avionics handbook, Third edition. ed. Boca Raton, FL: CRC

Press, 2015.

[11]  A. Gardi, R. Sabatini, and S. Ramasamy, "Multi‐objective optimisation of aircraft flight trajectories in the

ATM and avionics context," Progress in Aerospace Sciences, vol. 83, pp. 1‐36, May 2016.

[12]  T. Kistan, A. Gardi, R. Sabatini, S. Ramasamy, and E. Batuwangala, "An evolutionary outlook of air traffic  flow management techniques," Progress in Aerospace Sciences, vol. 88, pp. 15‐42, October 2016.

[13]  E.  Batuwangala, S. Ramasamy,  L.  Bogoda, and  R.  Sabatini,  "An  interoperability  assessment  model  for

CNS/ATM systems," in ATRF, Melbourne, Australia, 2016, pp. 1‐8.

[14]  Y. Lim et al., "Avionics Human‐Machine Interfaces and Interactions for Manned and Unmanned Aircraft,"

Progress in Aerospace Sciences, vol. 102, pp. 1‐46, August 2018.

[15]  Y. Lim, V. Bassien‐Capsa, S. Ramasamy, J. Liu, and R. Sabatini, "Commercial airline single‐pilot operations:  System design and pathways to certification," IEEE Aerospace and Electronic Systems Magazine, vol. 32,  no. 7, pp. 4‐21, July 2017.

[16]  Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.

10, p. 12, January 2021.

a  Representative

Simulation

in

[17]  A. Gardi, N. Pongsakornsathien, L. Planke, Y. Lim, T. Kistan, and R. Sabatini, "Development of a Cognitive  HMI  for  Air  Traffic  Management  Systems  –  Report  No.  4:  CHMI2  System‐Level  Implementation  and  Verification  Environment,"  Bundoora,  VIC,  Australia,  RMIT/SENG/CPS/003‐2019, 2019.

[18]  N. Pongsakornsathien, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "Human‐Machine Interactions in Very‐ Low‐Level  UAS  Operations  and  Traffic  Management,"  in  IEEE/AIAA  39th  Digital  Avionics  Systems  Conference, DASC2020, Piscataway, NJ, USA, 2020.

[19]  M. S. Young, K. A. Brookhuis, C. D. Wickens, and P. A. Hancock, "State of science: mental workload in

ergonomics," Ergonomics, vol. 58, no. 1, pp. 1‐17, 2015.

[20]  S. Puma, N. Matton, P.‐V. Paubel, É. Raufaste, and R. El‐Yagoubi, "Using theta and alpha band power to  assess cognitive workload in multitasking environments," International Journal of Psychophysiology, vol.  123, pp. 111‐120, October 2018.

[21]  A.  Gevins  et  al.,  "Monitoring  Working  Memory  Load  during  Computer‐Based  Tasks  with  EEG  Pattern

Recognition Methods," Human Factors, vol. 40, no. 1, pp. 79‐91, March 1998.

[22]  W. Klimesch, "EEG alpha and theta oscillations reflect cognitive and memory performance: a review and

analysis," Brain Research Reviews, vol. 29, no. 2‐3, pp. 169‐195, November 1999.

[23]  A. Gevins, M. E. Smith, L. McEvoy, and D. Yu, "High‐resolution EEG mapping of cortical activation related  to working memory: effects of task difficulty, type of processing, and practice," Cerebral Cortex, vol. 7,  no. 4, pp. 374‐385, June 1997.

[24]  B.  F.  Yuksel  et  al.,  "Learn piano  with  BACh:  An  adaptive  learning  interface  that  adjusts  task  difficulty  based on brain state," in CHI Conference on Human Factors in Computing Systems, United States, 2016,  pp. 5372‐5384.

[25]  M.  Causse,  Z.  Chua,  V.  Peysakhovich,  N.  Del  Campo,  and  N.  Matton,  "Mental  workload  and  neural  efficiency quantified in the prefrontal cortex using fNIRS," Scientific Reports, vol. 7, no. 1, p. 5222, May  2017.

[26]  M. S. Jessee, "Examining the convergent and discriminant validity of visual and mental workload using

ocular activity variables," Army Research Laboratory, March 2010.

[27]  J.  Gilland,  "Driving,  eye‐tracking  and  visual  entropy:  Exploration  of  age  and  task  effects,"  PhD,

Department of Psychology, University of South Dakota, 2008.

[28]  H.  Mansikka,  P.  Simola,  K.  Virtanen,  D.  Harris,  and  L.  Oksama,  "Fighter  pilots’  heart  rate,  heart  rate  variation and performance during instrument approaches," Ergonomics, vol. 59, no. 10, pp. 1344‐1352,  March 2016.

[29]  A. M. Hughes, G. M. Hancock, S. L. Marlow, K. Stowers, and E. Salas, "Cardiac Measures of Cognitive

Workload: A Meta‐Analysis," Human Factors, vol. 61, no. 3, pp. 393‐414, May 2019.

[30]  T. Heine, G. Lenis, P. Reichensperger, T. Beran, O. Doessel, and B. Deml, "Electrocardiographic features  for the measurement of drivers’ mental workload," Applied Ergonomics, vol. 61, pp. 31‐43, January 2017.

[31]  Y. Shi, N. Ruiz, R. Taib, E. Choi, and F. Chen, "Galvanic skin response (GSR) as an index of cognitive load,"  in CHI Conference on Human Factors in Computing Systems, United States, 2007, pp. 2651‐2656.

[32]  A. Khawaji, F. Chen, J. Zhou, and N. Marcus, "Trust and cognitive load in the text‐chat environment," in

26th Australian Computer‐Human Interaction Conference, 2014, pp. 324–327.

18 Chapter 1. Introduction

[33]  D. Tao, H. Tan, H. Wang, X. Zhang, X. Qu, and T. Zhang, "A Systematic Review of Physiological Measures  of Mental Workload," International Journal of Environmental Research and Public Health, vol. 16, no. 15,  p. 2716, July 2019.

[34]  R.  L.  Charles  and  J.  Nixon,  "Measuring  mental  workload  using  physiological  measures:  A  systematic

review," Applied Ergonomics, vol. 74, pp. 221‐232, August 2019.

[35]  W. Zongmin, Z. Damin, W. Xiaoru, L. Chen, and Z. Huan, "A model for discrimination and prediction of  mental workload of aircraft cockpit display interface," Chinese Journal of Aeronautics, vol. 27, no. 5, pp.  1070‐1077, March 2014.

[36]  G. N. Dimitrakopoulos, Y. Sun, K. Ardian, N. V. Thakor, and A. Bezerianos, "A method for cross‐task mental  workload classification based on brain connectivity," Frontiers in Human Neuroscience, vol. 10, pp. 1940‐ 1949, November 2017.

[37]  T. Radüntz, "Dual Frequency Head Maps: A New Method for Indexing Mental Workload Continuously

during Execution of Cognitive Tasks," Frontiers in Physiology, vol. 8, p. 1019, December 2017.

[38]  J. R. Comstock Jr and R. J. Arnegard, "The multi‐attribute task battery for human operator workload and

strategic behavior research," Langley Research Center, Hampton, Virginia, 1992.

[39]  B. Lorenz, F. Di Nocera, S. Röttger, and R. Parasuraman, "Automated fault‐management in a simulated  spaceflight  micro‐world,"  Aviation,  Space  and  Environmental  Medicine,  vol.  73,  no.  9,  pp.  886‐897,  October 2002.

[40]  P. Aricò et al., "Adaptive Automation Triggered by EEG‐Based Mental Workload Index: A Passive Brain‐ Computer Interface Application in Realistic Air Traffic Control Environment," Front. Hum. Neurosci., vol.  10, p. 539, October 2016.

[41]  T. Radüntz, N. Fürstenau, T. Mühlhausen, and B. Meffert, "Indexing Mental Workload During Simulated  Air Traffic Control Tasks by Means of Dual Frequency Head Maps," Frontiers in Physiology, vol. 11, p. 300,  April 2020.

[42]  Y.  Lu,  J.  Wu,  and  S.  Fu,  "A  Study  of  the  Relationship  between  Novice  Pilots’  Performance  and  Multi‐ Physiology Signals," in Engineering Psychology and Cognitive Ergonomics, Crete, Greece, 2014, pp. 344‐ 350.

[43]  K. J. Verdière, R. N. Roy, and F. Dehais, "Detecting Pilot's Engagement Using fNIRS Connectivity Features  in an Automated vs. Manual Landing Scenario," Frontiers in Human Neuroscience, vol. 12, no. 6, January  2018.

[44]  X.  Wanyan,  D.  Zhuang,  and  H.  Zhang,  "Improving  pilot  mental  workload  evaluation  with  combined

measures," Bio‐Medical Materials and Engineering, vol. 24, no. 6, pp. 2283‐2290, 2014.

[45]  M.  De  Rivecourt,  M.  N.  Kuperus,  W.  J.  Post,  and  L.  J.  M.  Mulder,  "Cardiovascular  and  eye  activity  measures as indices for momentary changes in mental effort during simulated flight," Ergonomics, vol.  51, no. 9, pp. 1295‐1319, September 2008.

[46]  G. Di Flumeri et al., "EEG‐Based Mental Workload Neurometric to Evaluate the Impact of Different Traffic  and  Road  Conditions  in  Real  Driving  Settings,"  Frontiers  in  Human  Neuroscience,  vol.  12,  p.  509,  December 2018.

[47]  F.  Dehais  et  al.,  "Monitoring  pilot’s  mental  workload  using  erps  and  spectral  power  with  a  six‐dry‐

electrode EEG system in real flight conditions," Sensors, vol. 19, no. 6, March 2019.

[48]  C. L. Baldwin and B. N. Penaranda, "Adaptive training using an artificial neural network and EEG metrics  for within‐and cross‐task workload classification," NeuroImage, vol. 59, no. 1, pp. 48‐56, January 2012.

19 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[49]  R.  Hefron,  B.  Borghetti,  C.  S.  Kabban,  J.  Christensen,  and  J.  Estepp,  "Cross‐Participant  EEG‐Based  Assessment  of  Cognitive  Workload  Using  Multi‐Path  Convolutional  Recurrent  Neural  Networks,"  Sensors, vol. 18, no. 5, p. 1339, April 2018.

[50]  Z. Yin and J. Zhang, "Cross‐session classification of mental workload levels using EEG and an adaptive

deep learning model," Biomedical Signal Processing and Control, vol. 33, pp. 30‐47, November 2017.

[51]  Z. Yin and J. Zhang, "Cross‐subject recognition of operator functional states via EEG and switching deep

belief networks with adaptive weights," Neurocomputing, vol. 260, pp. 349‐366, May 2017.

[52]  M. S. Caywood, D. M. Roberts, J. B. Colombe, H. S. Greenwald, and M. Z. Weiland, "Gaussian Process  Regression for Predictive But Interpretable Machine Learning Models: An Example of Predicting Mental  Workload across Tasks," Frontiers in Human Neuroscience, vol. 10, p. 647, January 2017.

[53]  P.  Zhang,  X.  Wang,  W.  Zhang,  and  J.  Chen,  "Learning  Spatial–Spectral–Temporal  EEG  Features  With  Recurrent  3D  Convolutional  Neural  Networks  for  Cross‐Task  Mental  Workload  Assessment,"  IEEE  Transactions on Neural Systems and Rehabilitation Engineering, vol. 27, no. 1, pp. 31‐42, January 2019.

[54]  Y. Liu, H. Ayaz, and P. A. Shewokis, "Multisubject “Learning” for Mental Workload Classification Using  Concurrent EEG, fNIRS, and Physiological Measures," Frontiers in Human Neuroscience, vol. 11, p. 389,  July 2017.

[55]  Y. Ding, Y. Cao, V. G. Duffy, Y. Wang, and X. Zhang, "Measurement and identification of mental workload  during simulated computer tasks with multimodal methods and machine learning," Ergonomics, vol. 63,  no. 7, pp. 896‐908, April 2020.

[56]  J. Zhang, Z. Yin, and R. Wang, "Recognition of Mental Workload Levels Under Complex Human Machine  Collaboration by Using Physiological Features and Adaptive Support Vector Machines," IEEE Transactions  on Human‐Machine Systems, vol. 45, no. 2, pp. 200‐214, April 2015.

[57]  M.  A.  Hogervorst,  A.‐M.  Brouwer,  and  J.  B.  F.  Van  Erp,  "Combining  and  comparing  EEG,  peripheral  physiology and eye‐related measures for the assessment of mental workload," Frontiers in Neuroscience,  vol. 8, p. 322, October 2014.

[58]  R. Wang, J. Zhang, Y. Zhang, and X. Wang, "Assessment of human operator functional state using a novel  differential  evolution  optimization  based  adaptive  fuzzy  model,"  Biomedical  Signal  Processing  and  Control, vol. 7, no. 5, pp. 490‐498, September 2012.

[59]  A. Craik, Y. He, and J. L. Contreras‐Vidal, "Deep learning for electroencephalogram (EEG) classification

tasks: a review," Journal of Neural Engineering, vol. 16, no. 3, p. 031001, April 2019.

[60]  G. F. Wilson and C. A. Russell, "Real‐Time Assessment of Mental Workload Using Psychophysiological

Measures and Artificial Neural Networks," Human Factors, vol. 45, no. 4, pp. 635‐643, 2003.

[61]  T. K. K. Ho, J. Gwak, C. M. Park, and J. I. Song, "Discrimination of Mental Workload Levels from Multi‐ Channel fNIRS Using Deep Leaning‐Based Approaches," IEEE Access, vol. 7, pp. 24392‐24403, January  2019.

[62]  G.  Zhao,  Y.‐J.  Liu,  and  Y.  Shi,  "Real‐Time  Assessment  of  the  Cross‐Task  Mental  Workload  Using  Physiological Measures During Anomaly Detection," IEEE Transactions on Human‐Machine Systems, vol.  48, no. 2, pp. 149‐160, April 2018.

[63]  R. Xiong, F. Kong, X. Yang, G. Liu, and W. Wen, "Pattern Recognition of Cognitive Load Using EEG and

ECG Signals," Sensors, vol. 20, no. 18, p. 5122, September 2020.

20 Chapter 1. Introduction

[64]  C.‐H. Ting et al., "Real‐Time Adaptive Automation System Based on Identification of Operator Functional  State in Simulated Process Control Operations," IEEE Transactions on Systems, Man, and Cybernetics,  vol. 40, no. 2, pp. 251‐262, March 2010.

[65]  D. B. Kaber, M. C. Wright, L. J. Prinzel, and M. P. Clamann, "Adaptive Automation of Human‐Machine  System  Information‐Processing  Functions,"  Human  Factors:  The  Journal  of  the  Human  Factors  and  Ergonomics Society, vol. 47, no. 4, pp. 730‐741, 2005.

[66]  J.  S.  R.  Jang,  "ANFIS:  adaptive‐network‐based  fuzzy  inference  system,"  IEEE  Transactions  on  Systems,

Man, and Cybernetics, vol. 23, no. 3, pp. 665‐685, June 1993.

[67]  J.‐H. Zhang, X.‐Y. Wang, M. Mahfouf, and D. A. Linkens, "Fuzzy Logic based Identification of Operator  Functional States Using Multiple Physiological and Performance Measures," in International Conference  on BioMedical Engineering and Informatics, Sanya, 2008, pp. 570‐574.

[68]  Y.  Ke  et  al.,  "Towards  an  effective  cross‐task  mental  workload  recognition  model  using  electroencephalography  based  on  feature  selection  and  support  vector  machine  regression,"  International Journal of Psychophysiology, vol. 98, no. 2, pp. 157‐166, October 2015.

21 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Chapter 1. Introduction 22

This page is intentionally left blank to support presswork

Chapter 2

Literature Review

Introduction

This research is multidisciplinary in nature and requires the consideration of literature from

many different areas. This review gives an overview of the existing knowledge within a range

of areas but is predominantly centred around MWL, its theoretical background as well as

means of sensing, estimating and analysing real‐time measurements during different task

load conditions. Thus, the literature search is conducted using MWL and its variants such as

cognitive  load,  cognitive  workload  and  operator  functional  state.  Here  its  theoretical

background is reviewed in relation to human factors and its relationship with other cognitive

states such as situational awareness, working memory, attention and fatigue. The review

also  considers  an  overview  of  methods  for  sensing  and  estimating  MWL  using  various

measurement methods for real‐time estimation. This includes reviewing physiological and

behavioural sensors such as EEG, ECG, eye activity tracking and control input devices, where

the sensor technology is outlined, and the features extracted are considered.

As  the  aim  of  measuring  MWL  is  driving  real‐time  system  adaptation  for  aerospace

operations,  a  review  of  human  centric  systems  such  as  adaptive  automation/  adaptive

systems/  closed  loop  system  adaptation/  CHMS/  pBCI  is  considered  as  well  as  other

aerospace  considerations  such  as  the  HMI2  and  CNS+A.  This  is  further  reviewed  for  its

23

24 Chapter 2. Literature Review

application with closed loop system adaptation for proposed aerospace concepts for SPO

and OTM UAV operations. The use of the various physiological and behavioural sensors is

reviewed for investigating methods that implement multimodal data fusion, such as the use

of  ML,  with  a  further  emphasis  on  the  ANFIS.  Generalised  inference  models  with  the

capability for cross‐task, cross‐subject and cross‐session will also be briefly reviewed. The

databases  used  to  conduct  the  literature  search  include  Google  Scholar,  Scopus,  Web  of

Science, RMIT Library database, Science Direct and JSTOR.

Human centred systems

The dynamic complex systems in modern work is becoming problematic when looking at for

example  the  human  response  to  automation.  A  number  of  complex  tasks  would  not  be

achievable without assistance from automation. As an example, within the current cockpit

of commercial aircraft, automation has a vital role for maximising the safety, efficiency and

sustainability of an aircraft. Moreover, some of the most advanced automated flight decks

in commercial aircraft can function with high levels of automation, from gear up following

take‐off and all the way to the landing performed by category III instrument landing system

approach. During flight the human operator has the role of maintaining complete oversight

of the systems, with the capability to override and operate manually at any given point in

the unlikely event of a failure. Within the flight deck the tasks that are automated include

flight  director,  auto  throttle,  autopilot,  flight  management  system  as  well  as  centralised

warning and alerting systems [1]. Nonetheless, it has been noted in the literature that the

automation has its consequences [1‐3], where some of the main contributors to aviation

accidents are attributed to human errors as a result of automation bias, complacency [4]

and a deterioration of manual flying skills [5]. As mentioned above, it has been identified

that low workload environments are a source of boredom and mental underload as a result

of inactivity [3]. In certain periods of flight, like cruise, the workload is commonly low, where

the  pilots  only  undertake  monitoring  roles  that  include  observing  the  performance

parameters of the systems, navigation as well as Air Traffic Controller (ATC) reporting. This

under‐load can lead to a negative effect on information processing and SA. In an event were

the  automation  does  not  function  as  it  should  and  an  abnormal  situation  appears  while

25 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

airborne, the pilot will quickly be exposed to mental overload and will experience a total

loss of SA  [3]. However, when operations are under normal automation conditions, human

performance is improved, the SA is increased and MWL is significantly reduced. On the other

side, if the there is an event where the automation fails, the performance can be seen to

decrease, despite the capabilities of the machine or the human [6]. One of the factors of

this is out of the loop syndrome where the operator loses mode awareness of the system.

The technological developments across industries has introduced what some refer to as an

Operator  4.0  [7].  This  new  interaction  between  operators  and  machines  departs  from

independent  automation  and  human  activities  and  evolves  more  towards  CPHS  systems.

These  human‐centric  systems  are  the  cooperation  of  humans  with  machines,  and  are

designed such that the skills and abilities of the human are not replaced, but rather they co‐

exist with and assist humans in performing more efficiently and effectively [7]. This Operator

4.0  represents  an  improved  design  and  engineering  philosophy,  where  automation  is

treated as a further expansion of the humans physical, sensorial and cognitive capabilities.

An important aspect of this is the implementation of neuroergonomics, which is the study

of  the  brains  function  to  work.  Here  it  takes  the  best  from  subjective,  behaviour  and

physiological measurements to get an overall view of mental capacity [8]. As such, a human

centric  system  is  designed  to  be  engineered  with  computational  and  communication

techniques with adaptive control systems (adaptive automation) that maintain human‐in‐

the‐loop. Henceforth, CPHS systems, as identified in the literature, aim to:

1. improve human abilities to dynamically interact with machines in the cyber‐ and

physical‐ worlds by means of ‘intelligent’ human‐machine interfaces, using human‐

computer interaction techniques designed to fit the operator;

2. improve human physical‐, sensing‐ and cognitive capabilities, by means of various

enriched and enhanced technologies (e.g. using wearable devices) [7].

Traditionally,  function  allocation  in  systems  has  been  categorised  into  comparison

allocation,  such  as  MABA‐MABA  (Machines  Are  Best  At  –  Men  Are  Best  At),  leftover

allocation and economic allocation [9]. However, humans and machines are complementary

and while the traditional approach of function allocation considers “who does what”, the

successful implementation needs to consider “who does what and when”. As such there is

26 Chapter 2. Literature Review

a  need  for  sharing  and  trading  of  control  through  intelligent  multiagent  systems  and

adaptive automation [9]. The definition of agents can be interpreted by the capability to

Observe,  Orient,  Decide  and  Act  (OODA)  loop,  which  can  be  used  as  a  method  for

engineering and designing intelligent agents. The adoption of intelligent multi agent systems

can  thus  be  implemented  through  the  use  of  hybrid  agents,  implemented  by  adaptive

automation. A form of categorising automation is the Level of Automation (LOA) scale. The

Sheridan scale by [10], is a ten point scale that arranges the tasks completed by the operator

or  system.  The  scale  can  be  seen  below,  where  the  higher  the  level  the  higher  the

1) The computer offers no assistance: Human must take all decisions and actions;

2) The computer offers a complete set of decision/action alternatives, or;

3) narrows the selection down to a few, or;

4) suggests one alternative;

i

5) executes that suggestion if the human approves, or;

6) allows the human a restricted time to veto before automatic execution, or;

H g h e r   L O A

7) executes automatically, then necessarily informs the human, and;

8) informs the human only if asked, or;

9) informs the human only if it, the computer, decides to;

10) The computer decides everything and acts autonomously, ignoring the human.

Figure 2.1. Sheridan scale [10].

automation.

The initial form of automation was static automation, which functions by turning on/off a

fixed LOA. As highlighted above the human interaction with static automation has resulted

in boredom/ underload and can lead to errors. However, implementing a system that can

provide automation dynamically, where it can change modes of automation based on the

task  demand,  could  be  less  prone  to  some  of  the  issues  highlighted.  The  adaptive  HMI2

concept as identified in the literature generally contains three elements: firstly, the ability

to  assess  the  system  and  the  environment;  secondly,  the ability  to  assess  the  operator’s

cognitive state; and lastly, the ability to adapt the HMI2 based on the first two elements

[11].  This  then  ensures  that  the  pilots/  operators  MWL  (and  other  cognitive  states)  is

maintained  with  respect  to  the  appropriate  skill  level.  To  adapt  the  different  levels  of

27 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

automation  a  triggering  mechanism  needs  to  be  implemented.  There  are  three  various

mechanisms, as outlined in the literature [12]:

1. The Critical‐event strategy, based on the a‐priori assumption that human workload

may become too high when the critical events occur;

2. The Performance‐measurement strategy, based on the use of operators’

performance during the task itself to estimate current and predicted operators’

state and to infer whether MWL is excessive or not;

3. Physiological and behavioural measurement strategy, based on the recording of

operator’s physiological and behavioural signals, such as EEG, ECG and eye activity

tracking, to infer the operators’ manifested MWL.

Going back to the example of the operations of commercial aircrafts, the current two pilot

crew operations has persisted since the introduction of Boeing 757’s cockpit design in the

1980s. Here the two pilots consist of the Captain (CA) and First Officer (FO), and interchange

between  the  role  as  the  designated  Pilot  Flying  (PF)  and  Pilot  Not  Flying  (PNF)  or  Pilot

managing  (PM).  Currently,  the  PF  and  the  PNF  have  to  perform  tasks  under  the  four

components Aviate, Navigate, Communicate and System Manage, where tasks are shared

between the two pilots [13, 14]. When looking further into the roles of the pilots, the PF is

responsible  for  controlling  the  vertical  and  horizontal  flight  path  as  well  as  energy

management by one of two means. The non‐flying pilot, however, generally has two roles

as the PNF/ PM. The responsibilities include monitoring tasks and system related tasks as

well as doing the actions requested by the PF. With the continuing technological advances

the  flight  deck  is  further  evolving  the  role  of  the  pilots  where  it  has  shifted  from  tasks

including aviate and more towards being a system manager, or flight deck manager [15].

This  trend  is  similar  to  how  the  flight  management  system  automated  the  tasks  of  the

navigator,  radio  operator  and  flight  engineer,  when  developed  and  implemented  in  the

1970’s. Moreover, previously it used to be that the automation would back up the pilot,

however it can be interpreted that even with today’s system the pilot is there to back up

the automation. This trend will likely continue in the evolution of air transport operation. As

such it is vital that the continuing developments of aerospace systems are based on human

centred design with the human as the central decision maker.

28 Chapter 2. Literature Review

Architecture for future aerospace systems

2.3.1. HMI2 in the CNS+A context

In the past the development and introduction of avionics systems was driven by the need to

meet the mission requirements while having the minimum amount of flight crew [16]. Much

in the same manner, future avionics systems will be developed in such a manner that this

trend  continues.  The  emerging  CNS+A  concepts  will  be  a  major  contributor  to  the  HMI2

evolution. Many of the advancements in avionics within the CNS/ATM area will be evolved

with the requirement to  [11]:

1. support higher accuracy and precision in flight operations;

2. improved coordination and interaction between air and ground platforms;

3. improved synthesis of information;

4. strategic 4‐Dimensional (4D) flight planning and management.

More  specifically,  the  main  CNS+A  concepts  that  will  have  significant  impact  on  the

evolution of the HMI2 design include 4D Trajectory Based Operation (4D‐TBO), System Wide

Information Management (SWIM), Performance‐Based Operation (PBO), Dynamic Airspace

Management (DAM) and Separation Assurance and Collision Avoidance (SA&CA). 4D‐TBO

has  the  goal  to  improve  efficiency  and  consistency  by  applying  real‐time  exchange  and

management of 4D trajectories between aircrafts and ground‐based systems [17]. The aim

of PBO is to enhance the operational safety and efficiency with the introduction of systems

that monitor the performance of CNS systems. With this information various performance

requirements can be made for certain classes of airspace and different flight phases [18].

SWIM  is  a  concept  that  provides  global  exchange  and  management  of  information,

supported  by  common  sets  of  standards,  governance  and  infrastructure  [19].  DAM  is  a

concept  to  optimise  the  use  and  allocation  of airspace  through  dynamically  adjusting  air

sector  boundaries.  These  boundaries  may  shift  in  response  to  changed  traffic  demands,

weather  conditions,  ATC  availability  and  other  changing  factors  [17,  18].  Lastly,  the

introduction of Unmanned Aerial Vehicles (UAVs) in non‐segregated airspace, means that

there needs to be seamless operation between manned and remotely piloted aircrafts. One

29 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

major consideration for this includes the implementation of SA&CA between the various

aircraft platforms [20]. A general point for all these CNS+A concepts is the evolution of the

HMI2 to process and present an increase of information (see Table 2.1 for detailed HMI2

considerations).  However,  the  extreme  levels  of  information  provided  with  conventional

methods will leave the pilot/ operator mentally overloaded with potential for tunnel vision

and  loss  of  situational  awareness.  These  issues  can  lead  to  performance  decrement  and

potential errors that can be detrimental to safety. Additional points include the need for

automated  computation,  as  some  of  the  CNS+A  concepts  cannot  be  completed  without

computed support, i.e. 4D‐TBO where humans are not able to process 4‐dimensional space.

Henceforth, a solution such as the CHMS addresses these issues with a human centric design

that provides the necessary adaptation in a multiagent system.

Table 2.1. Considerations for HMI2 evolution. Adapted from [11].

Considerations for HMI2 evolution

CNS+A Concept 4D‐TBO

 Address the presentation and exchange of 4D trajectory information  

Facilitate effective monitoring, planning, negotiation and validation of 4D  trajectories, in a collaborative framework

PBO

 Additional information on CNS performance   Display appropriate advisories when the performance requirements are not met    Advanced forms include predictive performance monitoring elements, which can:

o Anticipate the potential loss of performance;  o and corrective performance augmentation elements, which provide

appropriate levels of decision support to circumvent or recover from a loss  of performance.

SWIM



  

DAM

 





SA&CA



Facilitate collaboration by allowing all stakeholders to share, view and retrieve  information relevant to any operational context   Effective integration and display of information from multiple sources   Facilitate the effective display of information  Provide a common operating picture by ensuring the compatibility and  interoperability of the approaches, methods and terminologies used by all  stakeholders  Support pilots to transit seamlessly between dynamically managed sectors  Provide the necessary decision support to allow the planning, negotiation and  validation of 4D trajectories within dynamically changing airspace  Intuitive interfaces that enhance the SA of the flight crew, allowing them to  anticipate possible changes in airspace configurations and supporting free‐routing  operations at different levels of complexity  Provide a common operating picture to all stakeholders to facilitate a collaborative  decision‐making process   Provide human operators with sufficient SA to anticipate possible conflicts with both  types of aircraft

 Accurately project traffic conditions ahead of time and convey such information to

the human operator in an intuitive and timely manner

 Offer the necessary decision support tools for facilitating safe and effective de‐

confliction in the strategic, tactical or emergency timeframes

30 Chapter 2. Literature Review

2.3.2. Adaptive systems and CHMS

The concept of continuously monitoring physiological measures in a closed loop system was

first conceptualised decades ago. Here the user’s level of MWL is adjusted by feedback used

from the physiological manifestation observed from various sensors [21, 22]. In terms of

specifically adapting aerospace HMI2, there have previously been suggested a few adaptive

system  concepts  in  the  literature.  Some  of  the  notable  concepts  include  the  Cognitive

Cockpit  (CogPit)  [23],  Cognitive  Avionics  Toolset  (CATS)  [24],  the  Advanced  Cockpit  for

Reduction of Stress and Workload (ACROSS) [25], Cognitive Pilot Aircraft Interface (CPAI)

[13]  and  Virtual  Pilot  Assistant  (VPA)  [14].  A  more  detailed overview on  these  and  other

concepts can be found in [11], however most of these concepts are based on the notion of

associate systems which includes providing human like assistant to the flight crew. The more

recent developments in neuroscience and affordability of brain imaging technologies have

allowed neurophysiological monitoring of the users’ state in real‐time with the use of Brain

Computer Interface (BCI). Here the communication system that does not rely on the brain’s

conventional output routes through human’s peripheral nerves and muscles. However, the

operator’s brain activity is observed directly and produces output signals that can be applied

to control computers [26]. Initial research in BCI has been targeted towards people with

physical  disabilities  that  are  unable  to  control  their  motor  movements  and  this  form  of

control is commonly referred to as active BCI. Here the users manipulate their own brain

activity, as opposed to using motor movements, to control computers and communication

devices. The other form is passive BCI (pBCI) which measures the brains activity in response

to  external  stimuli.  This  system  then  detects  a  characteristic  brain  response,  such  as

cognitive state of the user, to then drive changes in the system [27].

A  detailed  illustration  of  the  CHMS  concept,  initially  described  in  [13,  14],  is  depicted  in

Figure 2.2 below. The CHMS requires the adoption of four fundamental modules: the human

operator,  sensing,  estimation  and  adaptation.  Various  advanced  wearable  and  remote

sensors are exploited in the CHMS sensing module to track the operators’ physiological and

behavioural parameters in real‐time. The collected data is then passed to the estimation

module  to  be  processed  to  infer  the  operators’  cognitive  states  (i.e.  MWL).  The  inferred

cognitive states are used by the adaptation module to dynamically adapt the HMI2, alerting

31 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

mode and automation behaviour. The work done previously in concepts such as pBCI aligns

with  the  architecture  in  CHMS.  However,  CHMS  further  expands  by  using  multiple  other

physiological  and  behavioural  parameters  apart  from  brain  imaging  technologies  to

determine  the  cognitive  state  of  the  user.  These  additional  measures  can  among  other

include cardiorespiratory, eye activity, control inputs, facial expression and voice pattern

analysis. The CHMS system additionally incorporates parameters from mission performance

as  well  as  environmental  and  operational  conditions  which  can  be  used  to  extract

performance  measurements  of  the  operator’s  cognitive  states.  All  the  multimodal

measurements  are  moreover  fused  to  produce  a  final  inference  of  the  various  cognitive

state (i.e. MWL, mental fatigue, attention, etc.).

Adaption

Adaptive Automation

LOA switching

Reference  cognitive  states

Task scheduling

Adaptive Interface

Actual system  conditions

Task load

Deviation  from  reference thresholds

GUI page  management

Compare

⋮

Format  managment

Actual  cognitive  states

Adaptive Alerting

Mode selector

Expertise … Time pressure

Estimation

Sensing Physiological and behavioural condition

Estimated  cognitive states

Brain activity (EEG, fNIRS)

Cardiorespiratory activity (HR, HRV, Respiration)

Mental  workload

Eye activity (gaze, blink rate, pupillometry, scan entropy)

Control inputs (mouse positions and clicks, voice instructions)

Physiological  and  behavioural  inference  model

Voice pattern (audio analysis)

Mental  fatigue

Facial expression (video  analysis)

Attention

Estimated  cognitive  states

Mission perf. Timeline ⋮ Coverage area

Enviro. cond. Weather ⋮ Terrain

Situational  Awareness ⋮

Performance  based  inference  model

⋮

Flight phase

Etc.

Aircraft performance  constraints

Operational condition Operational  constraints

Actual external  conditions

Figure 2.2. Full CHMS framework. Adapted from [13].

The complex nature of particular physiological phenomena and their sensor measurements,

means  that  the  use  of  multiple  parameters  is  required  for  accurate  and  reliable

determination  of  cognitive  states  [28].  However,  the  use  of  multiple  sensors  poses

32 Chapter 2. Literature Review

challenges as each sensor has different performance, such as accuracy, resolution as well as

different sampling frequencies. Hence, a sensor network scheme is needed for the design

of a reliable human‐machine system [29]. Having a sensor network further assists in the data

fusion  approach,  which  can  help  the  accuracy  when  inferring  cognitive  load.  A  sensor

network  allows  for  effective  exchange,  synchronisation  and  processing  of  measurement

data. A sensor network with its fundamental components include [29]:

1. A control element that regulates the functioning and ensures successful

recording of data from the environment with the various sensors;

2. A computational element that processes and fuses collected data, ensuring the

desired information;

3. A communication element which networks all the sensors, databases and end

user to the server that collects the raw measured data and disseminates the

processed information.

2.3.3. CHMS in future aerospace applications

The CHMS, with its capability for real‐time system adaptation will be of great use for many

aerospace applications. Among the operations the CHMS is expected to provide benefits to

OTM  UAS  operations  [30],  ATM  [31],  UTM  [32]  and  SPO  [13,  14].  The  remainder  of  this

section will emphasise some of the literature on UAS operations and the transition to SPO

in commercial airliners.

2.3.3.1. Single Pilot Operation (SPO)

One of the key components for allowing new aerospace concepts such as SPO in commercial

airliners is the evolution of the task automation systems. These systems are developed to

reduce crew MWL, that in turn allows a minimised crew operation. This has allowed the

crew to take a role closer to a supervisory/ management one. Based on previous literature

there has been identified a number of potential configurations for SPO [33, 34]. However a

likely configuration would include incorporating a number of the various elements such as

increased  automation,  an  intelligent  assistant  system,  a  remote  Ground  Operator  (GO)

personnel, a dispatcher and/or remote pilot and in‐flight personnel such as flight attendant/

33 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

air marshal [35]. The combination of this should offset the MWL that the single on‐board

pilot experiences, and the workload should be reduced to the point where only a single pilot

is  needed  on‐board.  This  can  be  deduced  as  an  increase  in  automation  should  allow  the

single  pilot  to  focus  on  managing  on‐board  systems  and  communication  with  ground

support. Thus, the single pilot will be taking on a role more similar to today’s PNF/ PM.

The introduction of a SPO, has resulted in the suggestion for a VPA which is an on‐board

autonomous pilot support system [14]. The system architecture of the VPA can be seen in

Figure 2.3, where the main components include the flight management, communication,

surveillance  and  CHMS  module  [14,  35].  The  CHMS  is  a  crucial  component  of  the  VPA

system,  providing  the  necessary  reductions  in  MWL  as  well  as  incapacitation‐detecting

capabilities that will support the case for SPO certification. The CHMS assists the pilot with

several intelligent functions such as information management, adaptive alerting, situation

assessment  as  well  as  dynamic  task  allocation.  The  combination  and  the  interactions

between these modules to support the on‐board pilot and the GO is the core of the VPA.

The system has some important capabilities that includes a reliable, secure and high‐speed

Command and Control (C2) link, where the GO can take direct control of the aircraft from

the  Ground  Control  Station  (GCS)  similarly  to  a  medium‐large  UAS.  Another  important

capability is the Airborne Surveillance and Separation Assurance Processing (ASSAP), which

provides autonomous Separation Assurance and Collision Avoidance (SA&CA).

Figure 2.3. VPA system architecture [14].

34 Chapter 2. Literature Review

As discussed Wolter and Gore [36], SPO involves various modes of operation. This can be

divided into three modes as seen in Figure 2.4 and is further discussed in [29]. The first and

nominal modes includes the single on‐board pilot and the VPA cooperating regarding the

decision  making  and  flying  tasks,  while  the  GO  provides  dispatch  information  and

communicates with ATC. In nominal operation the GO will act in this role for a dynamically

varying number of SPO aircraft determined by the adaptive CHMS framework. Hence, if a

GO is under high or low MWL the number of aircraft assigned will be adjusted accordingly.

This is an implementation of a dynamically changing OTM approach for the GO. However,

under a circumstance where the on‐board pilot is under high MWL, such as take‐off, landing

and unforeseen events, a GO will be specifically allocated to the aircraft, such that the GO

then provides dedicated assistance. Hence the GO will act as a ground located PNF, where

both human operators would continuously monitor the instruments, radio communication

and perform crosschecks when notified about changes by the VPA. In the third mode the

on‐board pilot has become partially or fully incapacitated. Here the VPA has full autonomy

of the aircraft until a team of two GO take over control authority and supervise the aircraft

to a safe landing at the nearest airport available. The ground crew is then functioning under

a Many‐to‐One (MTO) operation. To ensure the safe and efficient operation of SPO during

all phases of flight, the level of automation should be varied during different phases of the

flight profile. During cruise high level of automation take place, however during ascent and

decent  there  are  higher  workloads  involved.  Henceforth,  when  using  an  adaptive

automation approach, various predefined thresholds for the LOA, as defined by the Sheridan

scale, should be specified at the various phases of the flight profile.

35 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 2.4. Integrated Air‐Ground Concepts of Operation for SPO and UAS remote control [29].

2.3.3.2. Unmanned Aerial System (UAS)

The advances in information sharing and higher levels of automation has allowed for remote

C2 within Unmanned Aerial Systems (UAS) [37] and have given potential for other aircraft

operations  such  as  the  aforementioned  SPO.  Current  Remote  Piloted  Aircraft  Systems

(RPAS)  require  one  or  several  remote  operators,  in  so  called  one‐to‐one  or  many‐to‐one

operations.  However,  the  increasing  autonomous  systems  means  the  potential  for  OTM

operations,  where  one  operator  can  command  and  control  multiple  aircraft  (such  as  in

nominal operation described for SPO). In this mode, an aircraft such as a remote UAV would

function with relative high autonomy, functioning like a VPA, handling many of the aviate,

navigate and communicate functions. The human operator would then undergo higher‐level

tactical  activities  such  as  system  management,  mission  planning  and  task  coordination

between  different  UAV  platforms  [38].  Hence,  instead  of  the  operator  continuously

monitoring  and  directly  controlling  the  system  there  is  an  increased  human  machine

symbiosis.

Many of the challenges of a ground station for a SPO is similarly faced for the development

of a ground station for UAS. One of the central aspects for UAS operations and SPO is to

have higher levels of automation, both on GCS and onboard the aircraft [39]. Having UAS

integrated in civil airspace requires the interoperability between unmanned and manned

systems. Moreover, as defined by the International Civil Aviation Organisation (ICAO) there

36 Chapter 2. Literature Review

are three control modes and certain requirements for data C2 link for a UAS GCS [40]. The

three control modes include direct control, autopilot control and waypoint control. This can

be further represented by Figure 2.5. Here the lower level represents critical functions of

the UAS as a standalone system, while with higher levels the UAS is increasingly integrated

into a network of systems [38]. In the same manner the ground control for SPO will have the

similar requirements for all layers of control.

Figure 2.5. Layers of control for UAS and SPO [38].

2.3.3.3. Next generation flight deck

The Figure 2.6 illustrates a next generation flight deck conceptualised by Thales. This has

been called a One Display for a Cockpit Interactive Solution, where the concept is likely to

embrace technologies including touch screens, haptic feedback, active noise reduction, 3D

views, sound and physiological/ behavioural sensors. The head up and head down displays

are envisioned to use the emerging enhanced and synthetic vision‐based technologies. The

head  down  display  has  been  identified  to  include  a  large  3D  display  with  touch  screen

capabilities, and the information can be displayed in windows that are displayed based on

the appropriate phase of flight and the crew’s corresponding workload (using e.g. CHMS).

The head up display includes a wide‐angle synthetic display. Moreover, the next generation

flight deck has set requirements to be safer, more intuitive, easier to train for and efficient

[41].

37 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 2.6. Third generation flight deck concept by Thales [41].

2.3.4. Evolutionary paths for future multidomain traffic management

The advances in aerospace CPS support the progressive evolution of conventional platforms

by  including  improved  information  sharing  and  higher  levels  of  automation.  Among  the

significant advantages of such capabilities is the aforementioned de‐crewing of current flight

deck and further implementations of GCS. Additionally, such capabilities allow for safe and

efficient operations of very diverse platforms in a shared and unsegregated environment.

Figure  2.7  illustrates  the  evolutionary  paths  of  multidomain  air  and  space  transport

operations  (or  unified  air  and  space  transport  operation)  with  the  integration  of  UAS

operations, space launch and re‐entry platforms and SPO of commercial airliners [29]. To

allow for these evolutionary paths some of the important efforts for the implementation of

e.g. UAS is the seamless integration to the ATM framework, particularly for lower airspace

[42]. In addition, such technological advances mean that ground crew will not be restricted

to control a single UAS, rather the operator can control multiple aircrafts, such as a OTM

approach, similarly applied to SPO [11]. Lastly, the rapidly growing number of space launch

and  re‐entry  operations  currently  requires  considerable  airspace  segregation  provisions,

and would thus need to be carefully integrated to avoid disruption to civil air traffic [43].

38 Chapter 2. Literature Review

Figure 2.7. Evolutionary paths for multidomain air and space transport operations [29].

Cognitive modelling and measurements

The following sections outline the cognitive modelling and methods for measurements of

MWL.  The  first  section  (Section  2.4.1)  includes  outlining  the  conceptual  relationship

between task load, system performance and MWL. The second section (Section 2.4.2) will

go  through  a  description  of  a  theoretical  cognitive  model,  which  shows  a  conceptual

relationship for MWL and SA, and their interaction with other cognitive states. The third

section (Section 2.4.3) then outlines commonly used methods for generating task loads and

provoking MWL. While the final parts of Section 2.4.3 is an overview of all the main methods

for  measuring  MWL,  including  subjective  measures,  performance  measures,  behavioural

measures and physiological measures.

2.4.1. Conceptual relationship between task load, performance and MWL

A  significant  human  factor  concern  for  complex,  safety‐critical  aerospace  systems  is  the

prevention of suboptimal MWL such as mental underload and overload. The MWL of for

example  a  commercial  airline  flight  crew  continuously  varies  throughout  the  flight.  This

includes in routine flights or in unexpected events such as abnormal weather conditions or

aircraft malfunctions. MWL is of importance as errors can occur if the task loads exceed the

mental capacity of the human operator. The consequences of such errors can be critical to

39 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

the mission and/ or detrimental to safety. For instance it has been estimated that between

1992 and 2001 around 66 percent of hull loss accidents were a result of errors from the

flight crew [44]. Hence in high MWL conditions in flight, crews are particularly vulnerable to

error if the flight crew fails to implement effective multi‐tasking strategies. On the other

hand, during periods of low MWL, such as cruise, the source of errors can stem from low

level of arousal and complacency. The resulting effect of periods with high MWL can lead to

the pilot being diverted from her/his primary tasks, thus leading to errors in handling the

aircraft.

The relationship between MWL and system performance can be modelled with the inverted

U  function,  which  indicates  when  an  operator  enters  suboptimal  MWL  that  can  lead  to

errors and accidents [45]. This is a model that goes back to 1908 and it describes the effect

of human performance to cognitive activation [46]. The inverted U model illustrates that if

the  operator  is  overloaded  the  resulting  effect  is  a  decrease  in  performance,  while  if

underloaded  (i.e.  boredom  or  under‐stimulation)  the  operator  losses  vigilance  and  the

resulting effect is also a decrease in performance. Here it is assumed that an ideal range of

cognitive activation will result in an optimal system performance.

Figure 2.8. Inverted U model [45].

A  more  comprehensive  model  of  the  relationship  between  the  task  load,  MWL  and

performance can be seen in Figure 2.9. This model from [47], which was further adapted

from  [48],  illustrates  how  changes  in  task  load  are  related  to  available  resources  of  the

human operator and the resulting performance of the system. Here the y‐axis can represent

both  the  performance  and  the  mental  resource  supply  which  is  defined  by  the  multiple

40 Chapter 2. Literature Review

resource theory [49]. As such, this figure illustrates that if the task load exceeds the supply

of mental resources, the performance will thus decrease. Similarly, on the left end of the

curve, if sufficient mental resource is not applied to the task load, the performance can be

seen to decrease. Where the performance is seen to saturates is commonly referred to as

the redline [48].  These points are desirable to predict in real‐time, as it would allow the

system to perform changes that will prevent performance from reaching detrimental levels.

Figure 2.9. Relationship between task load, performance and MWL [47].

While the decline in performance can correspond to both overload and underload of the

MWL profile, it should be noted that these models are conceptual, as suboptimal MWL does

not  necessarily  mean  poor  performance,  at  least  for  short  durations  of  time.  However,

having suboptimal levels of MWL would make the probability of making errors higher. As

such, although not an absolute representation, these models illustrate well how there is a

dynamic and relationship between task load, task performance and MWL.

41 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

2.4.2. Cognitive modelling and definitions

The higher brain functions located in the cerebrum is what’s commonly referred to as mind

or cognition. The wide range of cognition includes perception, language, learning, emotion,

attention,  motivation,  memory  and  working  memory, reasoning, judgement,

comprehension  and  decision  making.  An  important  aspects  of  engineering  design  with

humans in  the loop is  the  consideration  of  human factors  and  ergonomics.

Neuroergonomics is an expansion of this and is a recent field of study that investigates the

human brain in response to work and everyday setting [50]. The figure below shows the

conceptual framework between MWL and SA, which is of great interest in the human factors

and ergonomics domain. The level of workload and the quality of SA are both formed by

exogenous  and  endogenous  parameters.  Exogenous  factors  include  the  task  load  and

situational  complexity/  uncertainty,  while  endogenous  factors  are  determined  by  the

persons  skill  level  or  ability.  The  figure  does  not  represent  all  the  cognitive  processes

involved, however it illustrates the relationship between the two main components. This

includes the loop between MWL and attention, and the loop between memory and SA [51].

Figure 2.10. Conceptual relationship between MWL and SA [51].

Among the various forms of cognitive states, MWL is of central importance as it influences

the  operator’s  performance  and  thus  the  system  performance  [48].  MWL  is  a  complex

construct and is challenging to define accurately [45], however MWL is assumed to be a

reflection of the level of cognitive engagement and effort as an operator performs one or

42 Chapter 2. Literature Review

more tasks. Henceforth, a general definition of MWL is “the relation between the function

relating  the  mental  resources  demanded  by  a  task  and  those  resources  available  to  be

supplied by the human operator” [52]. MWL can thus be  determined by exogenous task

demands  and  endogenous  supply  of  processing  resources  (i.e.  attention  and  working

memory). A notable distinction to make is between MWL and task load, where MWL reflects

the  operator’s  subjective  experience  while  undergoing  particular  tasks  during  certain

environments and time constraints. However task load is the amount of work or external

duties that the operator has to perform [53]. The operator’s resulting MWL can thus be an

outcome of the task demand and also endogenous factors such as experience, effort, stress

and fatigue [54].

SA, like other forms of cognition is a concept that is difficult to define precisely. Nonetheless

one of the more common definitions is “the perception of the element in the environment

within a volume of time and space, the comprehension of their meaning, and the projection

of their status in the near future” [2]. As such SA involves how the operator develops and

maintains  a  sufficient  understanding  of  “what’s  going  on”,  as  to  achieve  success  in  task

performance.  SA  has  significant  focus  in  safety  critical  operations  and  is  of  central

consideration for system design and evaluation of C2 systems. As illustrated in Figure 2.10,

SA is closely linked to the processes of perception and working memory. The final concept

included in the figure above is strategic management. This is a debated topic in the literature

[2], however strategic management is suggested as a requirement for maintaining sufficient

SA without incurring excessive workload.

MWL  and  SA  are  affected  by  many  of  the  similar  human  and  system  variables  and  thus

complement  one  another.  Whereas  they  can  support  each  other,  they  are  also  able  to

compete with each other. For example, if the tasks become more demanding, the situation

becomes more complex, as such more “work” is needed to get the job done and to assess

the situation. Additionally, higher levels of workload require more attention to perform the

task, hence less resources are available for assessing the situation. In short, high levels of

workload can correspond to both low and high degrees of SA [2, 55].

Other common theories concerning mental capacity include multiple resource theory [49],

perceptual load theory [56] and cognitive load theory [57]. All these theories illustrate that

43 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

mental capacity, such as working memory and attention, has a limit and once exceeding

those limits there are changes in mental state and thus performance is affected. However,

it is worth noting that these limits are not only determined by the task, but also the abilities

of the individual human. This means that a task load that causes overload in one person

might  result  in  adequate  load  in  another  person,  and  even  underload  for  a  particularly

talented person. Commonly the study of MWL is associated with mental overload, however

for mental underload it has been argued that it is a more elusive state and that it can be

more challenging to observe than mental overload [58]. An additional significant cognitive

state is mental fatigue and its relation to MWL. In the review by Byrne [58], the point is

raised how a task that initially resulted in a low MWL, could later result in a high MWL while

experiencing fatigue. This can be understood as fatigue builds there is a decline in attention

capacity, thus reducing performance and efficiency [59]. The relationship between fatigue

and  MWL  is  complex  and  both  mental  overload  and  underload  has  been  discussed  as

potential  causes  of  fatigue  [60].  An  additional  theory  for  the  resulting  cognitive  load  is

discussed  in  [47],  and  includes  further  breaking  down  working  memory  in  response  to

complex  tasks.  This  includes  intrinsic  load,  extraneous  load  and  germane  load,  and  the

various strains caused by these respective loads can combine to form an overall perception

of cognitive load.

2.4.3. Types of methods for measuring MWL and controllably

generating task loads

The  methods  for  measuring  MWL  generally  falls  into  one  of  four  categories  and  include

subjective  measures,  performance  measures,  behavioural  measures  and  physiological

measures. The cognitive state measure generally involves a manipulation of task demands

which then induces cognitive state changes. This section gives an overview of the type of

methods  used  for  provoking  MWL,  and  also  outlines  the  various  methods  for  measuring

MWL as well as some of the challenges associated with these measures.

2.4.3.1. Generating task loads and task analysis

For the measurement and corresponding analysis of MWL, it is vital to have task loads that

that provokes MWL in a repeatable and controlled manner. Commonly, studies have used

44 Chapter 2. Literature Review

various  task  scenarios  to  generate  task  loads  and  have  included  different  changes  in

complexity. Simpler task scenarios that are commonly used include generating task loads

with  mental  task  batteries  such  as  n‐back  task,  arithmetic  task,  Hampshire  tree  task,

Sternberg  task  and  other  equivalent  tasks  [61,  62].  More  complex  task  batteries  include

those requiring multi‐tasking such as the MATB [63] or the aCAMS [64]. Task scenarios that

generate more realistic task loads include studies that implement simulations such an ATM

simulations, driving simulations or flight simulations [12, 65‐70]. Lastly, some studies have

also performed measurements of MWL while performing real operational conditions, such

as during actual flight or actual driving conditions [71, 72].

Among the various task scenarios, the MATB application is a well‐established method for

controllably and repeatably generating task loads. The program is developed by the National

Aeronautics  and  Space  Administration  (NASA)  specifically  for  evaluating  the  humans

performance and the humans MWL [63, 73]. The tasks are generalised piloting tasks which

require the simultaneous execution of auditory monitoring, tracking, resource management

and response to event onset. Figure 2.11 shows the interface of the MATB program and

consists  of  the  system  monitoring  task  (SYSMON),  the  tracking  task  (TRACK),  the

communication  task  (COMM)  and  resource  management  (RESMAN).  There  is  also  a

scheduling window, which provides a look ahead for the expected workload, and a pump

status window, that provides information about the flow rate of the simulated pumps.

Figure 2.11. Tasks for the MATB program [73].

45 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Task  analysis  includes  identifying  what  an  operator  must  do  in  relation  to  actions  and

cognitive processes to be successful in performing a certain task. Such analytical techniques

rely on theoretical and expert knowledge and are commonly used in systems design as a

way of mapping out the task load and predicting the provoked MWL at various stages in the

task scenario. This is important for a successful system as it highlights the allocation of tasks

between the system and human operator. For a list of various task analysis methods see

[74].

2.4.3.2. Subjective measures

Subjective measures include having the operator fill out self‐report questionnaires and self‐

confrontation reports such as NASA Task Load Index (NASA‐TLX, [75]), Instantaneous Self‐

Assessment  [76]  or  Subjective  Workload  Assessment  Technique.  Among  the  subjective

measures the NASA‐TLX is considered to stand above the others [77], where it measures six

different subscales including mental demand, physical demand, temporal demand, effort,

performance  and  frustration.  For  more  than  70  years  the  use  of  subjective  MWL

measurements has been a central component to human factors research and practise [78]

and has commonly been used as it is simple and cheap to administer. Nonetheless, these

measures  are  not  performed  in  real‐time  and  are  generally  collected  following  the

completion of a task or at infrequent discrete intervals during the experiment, where the

timing of the questionnaires can also vary across studies. Moreover, as the questionnaires

are self‐reported the answers are prone to lapses in memory, bias and a peak end effect [8,

78]. For instance, it was found that the order of the tasks altered the subjective rating, as

ratings for a moderately difficult task were rated higher when paired with a high difficulty

task, while the rating was lower when paired with a low difficulty task [79].  It has also been

identified  that  self‐reporting,  such  as  NASA‐TLX,  can  in  fact  be  an  additional  source  of

workload [80]. There are also raised concerns that such measures lack construct validity,

where they measure perceived task difficulty rather than perceived MWL [77].

2.4.3.3. Performance measures

A performance measure evaluates how well a system is performing and can be categorized

into  primary  task  performance  and  secondary  task  performance  measures.  The  task

performance measures have been identified in the literature as measures that evaluate e.g.

46 Chapter 2. Literature Review

accuracy (i.e. tracking performance), reaction time or number of errors, where it can be seen

as  the  overall  effectiveness  of  human  machine  interaction  [81].  As  the  measure  should

evaluate how well a system is performing, the type of measure is highly dependent on the

type of task that is being performed and what criteria are set for successful performance.

For example, the performance of a tracking task, such as in the MATB program seen in Figure

2.11, is a result of the distance of the target from the centre. As such having a large error or

low  accuracy  in  the  tracking  task  will  then  result  in  poor  performance.  However,  a

performance  measure  can  have  some  blurred  lines  between  this  type  of  measure  and  a

behavioural measure, which will further be elaborated on in a later section.

The  primary  task  corresponds  to  the  main  task,  such  as  the  primary  mission  objective,

however  when  additional  tasks,  i.e.  secondary  mission  objectives,  are  added  to  the  task

load,  secondary  task  performance  measures  can  be  considered  separately.  A  simple

example would be having the operator performing a primary task continuously increasing in

cognitive  demand,  while  having  to  press  a  button  immediately  after  hearing  a  tone

(considering that the criteria of the performance of the secondary task is dependent of a

quick reaction time). The notion of measuring the primary task performance could in large

part provide the necessary information, as it would measure the resulting efficiency to the

task  required.  However,  the  aim  would  be  to  understand  when  and  how  the  operator

possibly  encounters  specific  conditions  that  exceed  their  capacities,  in  a  way  to  avoid

performance decrement of the system at all. For secondary task performance it is assumed

that as cognitive capacity is increased by the primary task, there is less capacity available for

the secondary task. Although a more common and more widely accepted measure for MWL,

secondary task performance can be disturbing as it interferes with the primary task and can

thus affect the outcome [82]. Additionally, an operator may seem to be performing well as

indicated by the secondary task performance but can be neglecting the main task thus giving

an incorrect indication of the performance measure of MWL. Furthermore, a secondary task

performance measure would not be viable in a real‐life operational scenario, and in some

cases system performance cannot be calculated in real‐time [47].

47 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

2.4.3.4. Physiological measures

Physiological measures include the measures derived from the operators physiology, and

include measures from two anatomically distinct structures, namely Central Nervous System

(CeNS) measures and Peripheral Nervous System (PNS) measures [83]. The CeNS comprises

the brain and spinal cord cells, while PNS are the nerves emerging from the brain and spinal

cord. The PNS are responsible for transmitting neural information as inputs to the CeNS from

the sense organs and sensory receptors and outputs from the CeNS to muscles and glands.

Moreover, the nervous system is further subdivided into Somatic Nervous System (SNS) and

Autonomic Nervous System (ANS). SNS includes activation of voluntary muscles, while ANS

involves the activation of involuntary muscles, cardiac muscles and glands. Based on these

categories the physiological responses of particular interest are the CeNS and PNS measures

from  the  ANS  category,  as  these  are  the  involuntary  reactive  responses  of  the  human

operator. CeNS measures involve electrical and metabolic activity of the brain, and among

the most promising neuroimaging sensors include EEG and fNIR. These are commonly used

as they have the opportunity to be inexpensive, safe and portable devices for neuroimaging

of the CeNS [26]. The PNS measure of notable interest include eye activity measures such

as pupil diameter, skin conductance measures and cardiac measures such as HR and HRV.

Physiological  sensors  measurements  have  in  recent  years  gained  traction  with  new

technological developments and affordable prices and can allow for objective, unobtrusive

and real‐time measurement of the physiological responses associated with MWL. Although

there are numerous technologies for performing physiological response measurements, the

current notable ones include eye activity tracking, EEG, fNIR, GSR and ECG.

Physiological  measurement  methods  have  proved  to  be  capable  of  measuring  the

physiological  manifestation  of  MWL,  even  in  simulated  operational  environment  such  as

flight simulation and ATM simulation [84‐87]. However, extensive reviews have highlighted

that although physiological measures are capable of discriminating changes in MWL, these

measures are identified to not be universally valid for all task scenarios [28, 88]. A reason

for  this  is  that  the  physiological  responses  for MWL  is  scenario  dependent,  and  are  thus

influenced  by  a  range  of  individual  differences  and  task  characteristics  [28].  Moreover,

although the physiological sensors are capable of measuring physiological responses, they

are prone to noise, including internal and external artifacts. This means it is challenging to

48 Chapter 2. Literature Review

identify the true signal from the noise. As such it is important (although challenging) to cross

reference  the  physiological  measures  with  other  real‐time  objective  measures,  such  as

performance  and  behavioural  measures,  or  reserving  a  physiological  measure  for

comparison.  Additional  challenges  with  physiological  measures  are  that  they  require

equipment that can be cumbersome to apply, as some sensors, such as the EEG, are required

to be worn in ways that can in some circumstances interfere with the operator’s task.

Nonetheless, the inference of cognitive states based on physiological data is still an active

area of research, with the most promising avenue being the use of Artificial Intelligence (AI)

techniques including supervised ML to generate models of the user’s cognitive states based

on labelled data [8, 89‐92]. With the use of ML techniques previous studies have measured

MWL with physiological sensors and have demonstrated ability to dynamically adapt task

load based on mental overload cases, including the use of EEG measures in an ATM scenario

[12]. Another study has contrarily modulated task load based on a mental underload case,

where the difficulty presented to a pianist increased when an fNIR sensor detected that the

presented  material  became  too  easy  for  the  participant  [93].  More  commonly  however,

studies have mainly measured cognitive states in response to task load without dynamic

task adaptation [89, 90, 92, 94].

2.4.3.5. Behavioural measures

A behavioural measure is a measure that can be seen to have similarities with physiological‐

and  performance‐based  measures.  However,  behavioural  measures  can  be  considered

separate as they observes feature patterns of interactive behaviour [47]. The more common

features to extract include response‐based behavioural features which are those that can

be extracted from a user’s activity, such as the ones related to voluntary/deliberate action

for  task  completion.  Some  measures  can  include  those  extracted  from  eye  gaze  tracking

[95], mouse clicking [96] and voice patterns [97].

Behavioural measures can be considered different from e.g. performance‐based measures

as the information contained in these features do not necessarily influence the outcome of

the task. This can for example be seen with reaction time, were if it’s not directly related to

the  performance  and  thresholds  have  not  been  set,  it  can  be  considered  a  behavioural

49 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

measure.  Additionally,  behavioural  measures  are  similarly  different  to  physiological

measures as they are partially or entirely under the human operator’s voluntary control. It

should be noted that features such as some eye tracking features do not neatly fall into the

behavioural category. However, features such as gaze and eye blinking are under voluntary

control and can thus be considered a behavioural feature.

Sensors and methods for real-time measurement

of MWL

This section will further detail all the various sensors for collecting physiological data and

analytical methods used for making estimations of MWL. This will include a review on: (1)

the EEG, eye activity tracking, ECG and control inputs as well as a brief overview of other

sensor  measurements;  (2)  multimodality  fusion  and;  (3)  task  and  subject  independent

measures of MWL.

2.5.1. Electroencephalogram (EEG)

The ability to record electrical activity was realised in 1929 as Hans Berger first invented the

EEG [65]. Since then electrical brain activity and its relationship to cognitive states has been

studied and used for e.g. BCI applications. In fact, the majority of current BCI systems rely

on EEG as it is relatively cheap, accessible, minimally intrusive and cannot result in any risk

to the user [98]. Moreover, the EEG has especially been highlighted as advantageous for use

in pBCI applications [99]. The recent technological improvements within EEG are results of

advancement  in  amplifier  technology  and  computerized  evaluation  which  have  made

systematic  investigation  of  the  EEG  signals  feasible.  The  EEG  uses  electrodes  that  are

positioned directly onto the scalp and the sensor measures electrical activity in the brain

produced by firing neurons. The signals of interest mainly lie within a frequency range of

0.01 to 100 Hz and voltages from about 5µV to 100µV [100]. The EEG functions by using

differential amplifiers that measure the difference in voltages between an active electrode

placed at a desired location on the scalp and a reference electrode, generally placed on the

earlobe.  The  electrode  placements  are  standardised,  following  the  international  10‐20

50 Chapter 2. Literature Review

system as seen in the detailed configuration illustrated in Figure 2.12. Here the electrode

placements are labelled based on the region of the cortex giving frontal, central, parental

temporal and occipital electrode placements.

Figure 2.12. International 10‐20 system for electrode placement.

Recording hardware

The EEG has a good temporal resolution, with measurements in tens of milliseconds, while

the spatial resolution is weaker, generally with an accuracy of about 2‐3 cm [26]. The EEG

performs  measurements  by  using  differential  amplifiers,  as  schematically  illustrated  in

Figure  2.13b.  The  circuit  functions  by  comparing  two  input  voltages  from  two  different

electrodes  and  giving  an  output  voltage  that  amplifies  the  difference  between  the  two

voltages and cancels out common voltages. The input signals can be compared in various

arrangements referred to as montages. A very commonly adopted layout is the referential

montage,  where  all  channels  are  compared  with  a  common  reference  as  seen  in  Figure

2.13a.

51 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Vout

(a) (b)

Figure 2.13. (a) Referential montage. (b) Differential amplifier circuit.

2.5.1.1. Overview of oscillatory and ERP based methods

There  are  generally  two  main  methods  used  for  BCI  applications  and  these  include

oscillatory activity or Event Related Potential (ERP) based activity. These further include the

use of either spectral, temporal or spatial information. When applied in clinical use, EEG

frequency bands have been categorised into a few different bands and include either delta

(δ , 0.5 – 4 Hz), theta (θ , 4 – 8 Hz), alpha (α, 8 – 14 Hz), beta (β, 14 – 30 Hz) and gamma (γ,

>30 Hz ) [101]. With the recorded signals the Fast Fourier Transform (FFT) can be used to

obtain the Power Spectral Density (PSD), and analysis can be performed to investigate the

power density at each frequency band within given epochs.

ERP based metrics however include measures using temporal and spatial information within

given epochs, following a particular stimulus or response event [50]. The result of the ERP

waveform is investigated for changes in amplitude and latency of the different components

of the ERP. This has generally been described with positive or negative peak activity, such

as  the  N1  or  P3  components,  or  by  the  characteristics  of  slowly  rising  activity  such  as

lateralized readiness potential. The averaged ERP waveform consists of various positive and

negative voltage fluctuations, that are named peaks, waves and components [102]. These

fluctuations are labelled as P’s and N’s that indicate positive and negative voltage peaks.

Additionally, latency is also included following either the P or the N, such as P300 indicating

a positive voltage peak at 300 milliseconds.

52 Chapter 2. Literature Review

2.5.1.2. Volume conduction, signal artifacts and other challenges with EEG

While the EEG has several strong attributes such as being affordable, accessible, minimally

intrusive  and  with  high  temporal  resolution  there  are  a  few  significant  drawbacks.  This

includes that the electrodes are placed outside the scalp such that the origin of the electrical

activity and the electrodes are separated by fluid, bone and skin. This results in a signal that

is  prone  to  artifacts  and  volume  conduction  [100,  103].  These  issues  will  further  be

elaborated on in the following sections.

Neural activation and volume conduction

The recording of electrical activity on the scalp with an EEG is the result from a large sum of

postsynaptic potentials from thousands or millions of neurons activating approximately at

the same time and where the individual neurons are spatially aligned (to avoid cancelling

out the electrical field). The current will conduct through the medium of the brain until it

reaches the surface. In particular, when the electricity reaches the high resistance of the

skull,  the  electrical  potential  will  spread  laterally.  These  factors  mean that  the  voltage  is

distributed and is significantly blurred/ spatially smeared across the surface of the scalp. In

addition, these various factors mean that an electrical activation in one part of the brain can

lead  to  a  substantial  voltage  at  another  area  of  the  scalp.  For  further  review  on  neural

activation and volume conduction see [102]. There are a few algorithms can combat and

reduce the blurring on the surface of the scalp [98, 104‐106]. Nonetheless, although the de‐

blurring can greatly improve feature extraction for classification/ inference purposes it does

not  indicate  the  actual  generated  location  of  the  neural  activation  due  the  factors

mentioned.

Artifacts

Although the EEG can detect electrical activity in the brain, the electrical field generated by

neurons is minuscule and is generally only observed by an EEG when a large enough number

of neurons are activated at similar instances. To put it in perspective the EEG signals need

to be amplified by a factor of 10,000 to 50,000 prior to being recorded [102]. As such the

resulting EEG signals are mainly on the scale of microvolts and are thus prone to be masked

by artifactual sources. This mean the EEG has a low signal to noise ratio as well as being

highly  non‐stationary  [98].  The  artifacts  associated  with  the  EEG  signal  can  come  from  a

53 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

variety  of  different  artifacts  and  can  either  be  electromagnetic  noise  caused  by

neurophysiological  or  non‐neurophysiological  sources  [103].  The  former  can  include

physiological  artifacts  such  as  those  originating  from  ocular,  muscular  or  cardiac  activity

[100]. These can include eye blinks, muscle activity close to the head, heart beat pulse or

Mayer waves [106]. Although these can mask the neural signal of interest, a number of blind

source separation techniques have been implemented such as ICA for removal of undesired

noise in the EEG signal both in post processing and in real‐time [106, 107].

The non‐physiological artifacts are ones originating from technical sources and among other

include  Electromagnetic  Interference  (EMI)  from  line  humming  and  power  supplies/

transformers as well as additional artifacts such as electrode movements and compromised

wire contacts  [104]. The artifacts generated from external electrical sources are a result of

oscillating voltages in a conductor, thus inducing a decreased oscillating voltage in a close

by conductor. There are generally two main sources that are highlighted as contributing to

alternating current conductors and these include mains power, florescent lamps and video

monitors  [102,  103,  108].  Mains  power  can  either  be  50  Hz  or  60  Hz  depending  on  the

country,  while  the  refresh  rate  of  a  monitor  is  generally  between  50  and  120  Hz.

Nonetheless,  for  much  of  the  analysis  the  frequencies  of  interest  are  below  30  Hz,  so

generally a low‐pass filter or band‐pass filter can be sufficient to attenuate such technical

interference.  A  more  extensive  method  is  to  install  a  faraday  cage  that  ensures  all

alternating  voltages  are  kept  outside  the  cage.  Luck  [102],  also  describes  a  method

presented for detecting and tracking down electrical noise present in a recording room. This

includes  creating  a  simulated  head  by  using  three  4.7  kΩ  resistors  configured  as  seen  in

Figure 2.14. below.

Figure 2.14. A simulated head for finding oscilliating voltage sources [102].

54 Chapter 2. Literature Review

2.5.1.3. Fundamental EEG processing for BCI applications

In  terms  of  using  EEG  for  BCI  application  the  fundamental  aim  is  translating  the  raw

electrode  signals  into  an  estimate  of  the  mental  state  of  the  human  operator.  For  EEG

processing  this  is  generally  achieved  using  the  two  fundamental  steps,  including  feature

extraction and classification/ inference [109]. The feature extraction step generally includes

describing the EEG signals with a few relevant values. The following classification step then

assigns the set of features to a desired pre‐determined class (e.g. corresponding to a specific

cognitive  state).  Many  of  the  current  classifiers  use  ML  techniques,  where  the  model  is

automatically tuned based on the raw feature data and labelling the data.

2.5.1.4. Overview of feature extraction for EEG

The  most  important  aspect  of  developing  ML  models  using  EEG  is  the  selection  of

appropriate features. The notion of performing a feature extraction that takes the raw EEG

data and extracts a small number of relevant values is important as the different classes

increase exponentially with the dimensionality of the feature vectors [109]. This can be seen

when e.g. considering the curse of dimensionality, which outlines that as the dimensionality

of the feature vector increases, the amount of data needed to properly describe the various

classes grows exponentially [110]. Henceforth for BCI applications there is a need for a much

more compact representation of the information with the application of various forms of

feature extraction. For BCI applications there are currently three main origins of information

that are applied to extract features from EEG signals, and these include spatial information,

spectral  information  and  temporal  information.  Various  feature  extraction  methods  that

can be implemented include using algorithms such as feature selection, channels selection

or  spatial  filtering.  Feature  selection  contains  two  main  subgroups  including  univariant

algorithms and multivariant algorithms as described in [109]. The former is an algorithm that

evaluates the discriminative effect of each individual feature. Then the algorithm selects the

N  best  features,  where  N  is  determined  by  the  human  designer.  The  latter  approach

evaluates subset of features together and then keeps the highest performing subset with

those N features. Channel selection is another way of reducing dimensionality and can e.g.

include manually choosing a smaller number of channels or use channel selection algorithms

that are originated from or similar to the feature selection algorithms, as they asses either

55 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

the usefulness of individual channels or subset of channels. Lastly spatial filtering is another

method that will be further described below.

Spatial filtering

Spatial filtering includes obtaining a smaller number of new channels that are defined based

on a linear combination of the original channels. This can be described with the following

equation:

(cid:3036)

(cid:1876)(cid:3556) (cid:3404) (cid:3533) (cid:1875)(cid:3036)(cid:1876)(cid:3036) (cid:3404) (cid:1875)(cid:1850) (2.1)

Here (cid:1876)(cid:3556) is the spatially filtered signal, with (cid:1876)(cid:3036) being the EEG signal from channel i and (cid:1875)(cid:3036)

being the weight given to that channel in the spatial filter. X is then the matrix, where the i‐

th  row  corresponds  to  (cid:1876)(cid:3036),  or  in  words  matrix  X  is  the  EEG  signals  from  all  channels.  The

number of spatial filters is generally fewer than the original number of channels. This then

significantly reduces the dimensionality of the features but is also useful as it can  locate

more accurately where the signal  originated from, as it collects the relevant information

that  is  distributed  over  several  channels.  This  is  especially  important  when  considering

effects such as volume conduction.

There are a few different methods of using spatial filters. The weights (cid:1875)(cid:3036) can either be set

manually by the designer, based on prior neurophysiological knowledge, or the weights can

be data driven, where the spatial filter is optimised using training data. The fixed spatial

filters include among others bipolar and Laplacian filters. These are local spatial filters that

attempt  to  limit  the  smearing  effect  and  some  background  noise,  and  have  shown  to

increase classification performance of BCI systems [111]. In addition to the preceding filters,

inverse  solution  is  another  method  of  fixed  spatial  filter  [112].  This  form  of  fixed  filter

estimates the origins of the sources from within the brain by using the measurements taken

by the electrode on the scalp [109, 112].

The other form of determining the weights  (cid:1875)(cid:3036) is by implementing data driven spatial filters.

These  are  so  called  adaptive  spatial  filters  and  are  optimised  for  each  subject  based  on

training  data.  This  calibration  can  be  done  either  in  an  unsupervised  manner  or  in  a

supervised manner where the training data is complemented with data labels corresponding

56 Chapter 2. Literature Review

to a particular pre‐determined class. For unsupervised spatial filters the most notable ones

are Principal Component Analysis (PCA) and Independent Component Analysis (ICA) [104].

ICA has particularly shown to be useful for artifact removal/ attenuation of muscular and

other  technical  sources  [106].  Lastly,  data  driven  spatial  filters  can  be  calibrated  in  a

supervised manner, where the weights are calibrated in a way such that the classification

performance is optimised. A commonly used adaptive spatial spectral filter is the Common

Spatial Patterns (CSP) [98, 113] which is well suited for discrete classes. While more recently

the Source Power Comodulation (SPoC), is an adaptive spatial spectral filter similar to the

CSP, but more tailored to continuous estimations [98, 105]. The following algorithms will be

further elaborated on in the following sections.

2.5.1.5. Oscillatory metrics for BCI applications

BCI  techniques  that  are  based  on  oscillatory  activity  use  the  changes  in  the  power  of

respective  frequency  bands  from  the  EEG  signals.  The  changes  in  power  is  associated  to

some specific region, this type of measure thus uses both spectral and spatial information.

The remaining part of this section will detail some of the oscillatory metrics used for BCI

application, such as the ones used for real‐time MWL inference.

Straightforward oscillatory BCI

A basic design for an oscillatory based BCI is to first band‐pass filter the EEG signal for the

respective channels with the desired frequency band. The following step is then to obtain

the signal power (either using FFT or squaring the signal), then lastly taking the average over

a certain time window to obtain a final value of the band‐power for the desired frequency

band. This methodology can be seen in Figure 2.15.

Figure 2.15. Signal processing method for a straightforward oscillatory BCI [109].

57 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

However, it is worth noting that a straightforward design such as this is not optimal, and a

stronger  performance  can  be  achieved  using  multiple  channels.  In  addition,  the  pre‐

determined frequency bands are potentially not optimal for a particular subject. As such a

stronger approach would be a subject specific design using adaptive spatial spectral filters,

where the best frequency bands and channels are dynamically calibrated for a subject. The

next section will detail some of the relevant adaptive spatial spectral filters.

Common Spatial Patterns (CSP)

Common Spatial Patterns (CSP) are adaptive spatial spectral filters that are calibrated in a

supervised manner [114]. As such the weights (cid:1875)(cid:3036) are calibrated in such a manner that the

classification  performance  is  optimised.  As  an  overview,  the  CSP  is  an  algorithm  that

determines the weights of a spatial filter such that the differences between the variance of

the band‐pass filtered data is minimised for one class and maximised for another class [98,

109].  Henceforth,  the  CSP  determines  spatial  filters  that  result  in  optimally  discriminant

band‐power features as the resulting values are maximally different between classes [109].

In mathematical terms, CSP uses the spatial filters (cid:1875)(cid:3036) that extremize (i.e. maximises and

minimises) Equation 2.2:

(cid:3021)(cid:1875)(cid:3021) (cid:3021)(cid:1875)(cid:3021) (cid:3404) Here T represents transpose, while (cid:1850)(cid:3036) denotes the bandpass filtered training signal matrix

(2.2) (cid:1836)(cid:3004)(cid:3020)(cid:3017)(cid:4666)(cid:1875)(cid:4667) (cid:3404) (cid:1875)(cid:1829)(cid:2869)(cid:1875)(cid:3021) (cid:1875)(cid:1829)(cid:2870)(cid:1875)(cid:3021) (cid:1875)(cid:1850)(cid:2869)(cid:1850)(cid:2869) (cid:1875)(cid:1850)(cid:2870)(cid:1850)(cid:2870)

for  class  (cid:1861).  Lastly,  (cid:1829)(cid:3036)  then  represents  the  spatial  covariance  matrix  for  class  (cid:1861).  More  (cid:3021)(cid:1875)(cid:3021) is specifically the term (cid:1875)(cid:1850)(cid:3036) is the spatially filtered EEG signal from class (cid:1861), while (cid:1875)(cid:1850)(cid:3036)(cid:1850)(cid:3036)

the variance of the spatially filtered signal (i.e. the band‐power). Henceforth extremizing

(cid:1836)(cid:3004)(cid:3020)(cid:3017)(cid:4666)(cid:1875)(cid:4667) then results in spatially filtered signals where the band‐power is maximally different

from one class to another. As (cid:1836)(cid:3004)(cid:3020)(cid:3017)(cid:4666)(cid:1875)(cid:4667) is a Rayleigh quotient, the extremising can be solved

with Generalized Eigen Value Decomposition (GEVD) [109]. Generally, there are six filters

used,  or  three  pairs,  where  the  three  largest  and  lowest  eigenvalues  are  used.  After  the

spatial filters have been determined the CSP features can be calculated with the following

equation:

(2.3) (cid:1858) (cid:3404) log(cid:4666)(cid:1875)(cid:1850)(cid:1850)(cid:3021)(cid:1875)(cid:3021)(cid:4667) (cid:3404) log(cid:4666)(cid:1875)(cid:1829)(cid:1875)(cid:3021)(cid:4667) (cid:3404) log (cid:4666)(cid:1874)(cid:1853)(cid:1870)(cid:4666)(cid:1875)(cid:1850)(cid:4667)(cid:4667)

58 Chapter 2. Literature Review

These  features  then  correspond  to  the  band‐power  of  the  spatially  filtered  signals.  An

example  of  the  result  from  the  spatially  filtered  signals  can  then  be  seen  in  Figure  2.16.

below.  Here  the  spatially  filtered  signals  show  a  distinct  different  in  variance  (or  band‐

power), between two different classes when a subject performs a motor imagery task (i.e.,

imagining right/ left hand movements) [113]. These clearly defined features are then well

suited for further classification using ML classification algorithms.

Figure 2.16. EEG signals spatially filtered using CSP algortihms [113].

Although the CSP algorithm has many advantages, there are a few drawbacks related to the

performance  of  CSP  when  there  is  limited  or  noisy  training  data.  Another  noteworthy

drawback is that CSP only identifies spatial info and not spectral information. For the former,

a solution has been proposed to use a regularised framework within the CSP that penalises

unlikely solutions [115]. While the latter can be handled with the use of a filter band CSP as

further explained in the following section.

Filter bank CSP

The CPS is limited in the way that it’s mainly configures using spatial information and not

spectral.  However,  among  the  ways  of  incorporating  spectral  information  is  to  identify

relevant  frequency  bands  for  the  respective  subject  and  task.  This  can  either  be  done

manually or can be achieved by looking at the average power bands for the various classes.

Another  approach  however  is  to  use  a  data  driven  method  that  includes  first  extracting

band‐power  features  in  several  bands,  followed  by  selecting  the  relevant  bands  using

59 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

feature selection. This can be achieved using the Filter Bank CSP (FBCSP) [116], as seen in

Figure 2.17. This method includes first creating a filter bank by band‐pass filtering all the

EEG  signals  into  multiple  desired  frequency  bands.  Then  for  each  respective  band,  the

previously explained CSP is applied to each respective band, producing spatial filters for each

band. Then lastly, a feature selection algorithm is performed to obtain the best spatial filters

among all the ones produced. The FBCSP then ensures that the best spectral and spatial

filters are obtained as each resulting feature associates to a specific frequency band and

spatial filter.

Figure 2.17. Filter Bank Common Spatial Pattern (FBCSP) [109].

Source Power Comodulating (SPoC)

SPoC is another type of adaptive spatial filter that optimises the weights based on training

data [105]. Here the approach extracts an oscillatory source that shows a comodulation with

the power and a given target variable. This is similarly to CSP and it is in fact considered to

be in the same algorithm family. Nonetheless, whereas the target value for a CSP is generally

binary (i.e. imagining left/ right hand movement), the SPoC is specifically designed as a form

of regression extension of CSP to estimate continuous target values. As such the SPoC is

developed to determine a spatial filter that extracts an oscillatory signal where the power

modulation  follows  a  predetermined  target  value.  This  allows  studying  how  amplitude

modulations of neural oscillations can correlate with an external variable/ stimulus. As this

method is developed for continuous target values, it is much more suited for cognitive load

estimation.

60 Chapter 2. Literature Review

The fundamental concept behind the SPoC is to firstly decompose multivariant EEG data

into sets of source components and secondly, use the information in the target variable to

guide  this  decomposition.  The  result  from  this  is  are  different  spatial  filters  w  that  are

calibrated  to  comodulate  with  a  given  target  variable  and  the  power  time  course  of  the

spatially filtered signal [105]. The following provides further information on SPoC include

the mathematical derivations [98, 105].

In  addition  to  the  conventional  SPoC  approach  there  are  further  expansions  of  the

algorithm. The first being conical SPoC, which is an unsupervised source separation tool for

neuroimaging  that  has  showed  to  outperform other  equivalent  methods    [117].  Another

extended algorithm is Filter Bank SPoC (FBSPoC) and has the same benefits as FBCSP has

over CSP. Nonetheless, FBSPoC generates a relatively large number of features, and it is thus

recommended to apply a form of sparse regression (i.e. ridge regression) on the features.

2.5.1.6. ERP metrics for BCI applications

As briefly explained above, an ERP is a brain response as a result of a specific stimulus and

contains  brain  activity  data  with  temporal  and  spatial  information.  A  general  BCI  design

using  ERP  would  include  using  the  P300  which  is  the  positive  increase  in  amplitude  300

milliseconds  after  a  subject  perceives  a  stimulus  [118‐120].  In  a  P300  BCI,  the

recommendation is to extract spatial information from electrodes located at the parietal

lobe [109]. From the various electrodes the signal can be extracted individually and generally

the  amplitude  of  the  signal  is  then  assessed.  This  is  generally  achieved  using  the

methodology  as  seen  in  Figure  2.18.  Here  the  features  from  a  temporal  signal  at  Pz  are

extracted by firstly band‐pass or low‐pass filtering the signals, commonly between 1‐12Hz

for the P300 [109]. Then a down sampling is performed such that the dimensionality of the

data is reduced. Lastly, the remaining EEG time points are collected into a feature vector

that can be applied to a classifier of choice. The classifier will then be trained to assign the

features to a class that either contains a P300 ERP or does not contain a P300 ERP.

61 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 2.18.  A generic signal processing for ERP based BCI [109].

For an ERP based BCI the number of features is commonly higher than for an oscillatory

based BCI. This is the case as although the signal is down‐sampled, the time series contains

many more data points than oscillatory activity that only contains a few frequency bands.

As  with  oscillatory  activity  the  high  dimensionality  can  be  dealt  with  by  using  channel/

feature  selection  as  well  as  spatial  filters  [109,  121].  Commonly  the  feature/  channel

algorithms  are  the  same  while  the  spatial  filtering  algorithms  are  different.  Among  the

spatial filters used for ERP is the Fisher spatial filter [122] and xDAWN [123], and these are

shown to be helpful for BCI application when there is little training data [109].

2.5.1.7. Inferring MWL with EEG

While  the  previous  section  examined  the  methods  for  extracting  features  with  EEG,  the

following will be a review on literature where the EEG has been used to estimate MWL. In

terms of EEG features associated with MWL, many studies have used the EEG to investigate

the PSD in response to a task demand. Here studies have indicated that when there is a

growing task demand there is an increase in frontal theta band (4‐8 Hz) and a decrease in

the alpha band (8‐12 Hz) [65, 94, 124‐129]. More specifically the changes are linked to be

associated  with  theta  power  in  the  midline  frontal  and  central  (F+C)  cortex,  while

suppression of the alpha band in the left and right parietal and occipital (P+O) regions [128].

Other  studies  have  just  applied  the  frontal  theta  θ  power  [87,  130],  or  just  the  α  power

[131],  as  an  indication  for  MWL.  And  previous  studies  have  also  indicated  that  4–6

electrodes are sufficient to achieve accurate EEG recordings of cognitive states [132]. These

observations have commonly been shown by provoking MWL using various task batteries

[62, 89, 94, 128, 133]. However, more recently the analysis of MWL has been tested using

more realistic task scenarios, such as performing the tasks of an Air traffic Controller (ATCo)

or aircraft pilot [12, 65, 72, 134].

62 Chapter 2. Literature Review

One study by Aricò et al. demonstrated the classification of low and high MWL using the

alpha and theta band features that were classified using a Step Wise Linear Discriminant

Analysis (SWLDA) [12]. Here the classifier was later implemented to drive some adaptive

automation functionalities of an ATCo interface. In a study by Schultze‐Kraft et al., the SPoC

was  demonstrated  to  optimise  spatial  filters  that  found  band‐power  variations  that

correlated to the changes in low and high MWL conditions [135]. The study by Dehais et al.

also used a limited number of electrodes to classify MWL during a real life piloting task [72].

Here an offline analysis was conducted using two EEG methods including an ERP based and

spectral based method using CSP and were classified between high and low MWL using a

shrinkage LDA. Another study by Radüntz showed a new method of using alpha and theta

frequency bands in Dual Frequency Head Maps (DFHM) used for feature extraction followed

by SVM for classifying between low, medium and high MWL states [62]. The results from

this study also showed that this method did not need re‐training for a new task or a new

subject. This  was  also  later  shown to  be  possible  during  an  ATCo  task  scenario  [65].  The

study  by  Ke  et  al.  also  demonstrated  the  measure  of  MWL  for  four  different  levels  of

difficulty,  but  using  SVM  regression  for  the  MWL  inference  [136].  This  is  used  as  a

continuous  measure  with  the  use  of  a  regression  algorithm  was  argued  to  be  a  truer

reflection of the behaviour of the humans MWL and can assist in cross‐task inference of

MWL. The cross‐task inference of MWL was also tested in this study but was not successful.

Lastly, in the study by Baldwin and Penaranda [90], a good classification performance was

achieved between a low and high MWL using all five of the frequency bands and trained

using ANN. For further information and an extensive review on the EEG and methods for

estimation of MWL and other cognitive states, see the following reference [129].

2.5.2. Eye activity tracking

Eye  activity  for  MWL  estimation  can  be  implemented  by  investigating  eye  activity  and

pupillometry,  and  the  devices  used  for  performing  the  measurement  can  either  be  a

wearable or remote sensor. Gaze features further include fixation, saccade, dwell, transition

and scan path, while pupillometry includes eye closure, blink rate and pupil radius [137]. In

regards  to  gaze  features,  the  gaze  position  can  allow  for  more  complex  features  to  be

extracted such as Scan Pattern Entropy (SPE) [95].

63 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Among the features, blink features have been shown to be among the more effective eye

activity measures of MWL, where it has been shown that a decrease in blink rate is related

to MWL [138‐140]. In addition, blink duration is another blink feature that has also been

shown to be negatively correlated to cognitive load [139‐141].

Other eye activity measures found to be associated with MWL include pupil diameter. Here

it has been found that the increase in pupil diameter is related to the increase in MWL [138,

141, 142]. Pupillary response is however prone to confounding effects such as changes in

illumination [47]. Henceforth, it is vital to have a contained environment with a consistent

illuminance if a pupillary response is measured.

Fixation and dwell are two measures that are closely linked. While fixation is simply the eye

fixed on one area, dwell can be a set of consecutive fixations in the same Region of Interest

(ROI) (i.e. display or instrument). The relation between fixations and MWL is less clear [143],

however  it  has  been  found  that  for  instance  expert  pilots  have  shorter  fixations  on  the

instruments  than  novice  pilots  [144].  For  dwells  however,  there  have  been  studies  that

showed how an increase in dwell duration is related to an increase in MWL [145].

Another eye activity measure of interest is proportional dwell time, and includes creating

pre‐defined ROI, and computing total viewing time for each area and then dividing by the

sum of the dwell time across all ROI within given epochs. A thorough review study from 2014

did not find many studies that had reported on the changes in proportional dwell time and

its relationship to MWL, as only one study was found that showed relationship between

proportional dwell time and air turbulence [143].

Saccades are the transition between fixations and contain information including amplitude,

duration and velocity. Among the various features, saccade amplitude or length have been

noted to be sensitive to changes in MWL. For example, it was found that increase in MWL

caused shorter saccades [146]. While there have been some studies that have reported no

relation between MWL and saccades, other eye activity such as pupil diameter and blink

rate was sensitive [138].

Higher  order  eye  movements  or  patterns  can  further  be  extracted  from  the  scanning

behaviour of the operator. One promising approach is to observe to what extent the scan

64 Chapter 2. Literature Review

pattern is random or disorderly and is defined as entropy. As such scan patterns with higher

randomness will have high entropy. Studies have shown that scan pattern entropy is also a

measure that is sensitive to MWL and was found to be more sensitive than pupil diameter

and dwell time [95].

2.5.3. Cardiac activity

Cardiac  sensors  such  as  the  ECG,  is  a  method  that  is  used  to  monitor  heart  activity.  The

sensor measures depolarisation and polarisation of electrical waves emitted by the heart

with the use of electrodes strategically placed on the skin. The resulting impulse recorded

by the ECG is a P‐QRS‐T wave as seen in Figure 2.19 [147]. There are a few cardiac features

that can be extracted from this signal. As seen in the figure, the R wave is the largest pulse

and is thus a measure that can allow for an accurate extrapolation of various features. The

more common feature extracted is HR, which is the number of R wave pulses per unit of

time and is generally given as beats per minute. The heart periods are commonly referred

to as the Interbeat Interval (IBI), which is the average time in milliseconds between pulses.

The  amplitude  of  the  R  wave  is  also  a  good  means  for  extrapolating  the  time  interval

between  two  consecutive  heart  pulses  and  is  referred  to  as  the  R‐to‐R  (RR)  interval.  In

additional  to  the  RR  interval,  a  Normal‐to‐Normal  (NN)  is  also  commonly  used,  where

abnormal  beats  are  removed.  Another  feature  that  can  then  be  extracted  from  the  ECG

signal is HRV and is the variation in pattern between IBI. The HRV can further be analysed

using the frequency, time or geometric domain. For the time based measurements of HRV

(given in milliseconds or percentage) the metrics include the Standard Deviation (SD) of RR

(SDRR) and NN (SDNN), the percentage of successive NN intervals that differ by more than

50ms  (pNN50%),  and  lastly  the  root  mean  square  of  successive  RR  interval  differences

(RMSSD) [148]. For the frequency domain analysis of HRV, the spectral analysis of the RR

interval data is obtained using the PSD of a given time series. Here the PSD for the HRV can

be  divided  into  four  frequency  bands,  including  Ultra‐Low  Frequency  (ULF),  Very‐Low

Frequency (VLF), Low Frequency (LF) and the High Frequency (HF) band. The given power

within each band can then be determined within a given epoch, and the ratio between the

LF and HF is also a measure that is assessed [148]. Lastly, the geometric analysis of the HRV

is done by converting the RR intervals into geometric plots, using Pointcaré plots. Such plots

65 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

provide the correlation between the consecutive RR intervals as RR(i) is plotted on the x‐

axis and RR(i+1) is plotted in the y‐axis. The result over a 30 seconds period is an distribution

spread in an elliptical manner, and the SD of the minor and major axis can then be taken

which then given the values SD1 and SD2 [29]. For further detail on these various measures,

including equations see the following references [29, 148].

Figure 2.19. QRS complex [29].

Studies have found that HR and HRV are sensitive to changes in MWL. Here studies have

found that HR increases and HRV decreases (except RMSSD) as task load increases [66, 149‐

152]. This has been shown by generating task loads that vary from task batteries to more

complex  scenarios  including  fighter  pilot  scenario  [66],  traffic  control  scenario  [153]  and

driving scenario [151]. Nonetheless, other studies have reported that the variations in HR

and  other  measures  of  HRV  (apart  from  SDNN)  were  not  sensitive  to  changes  in  mental

workload during a flight simulation task [154]. Similarly in a study conducted by Hsu et al.,

the time and frequency domain metrics of HRV and HR were not found to be sensitive to

changes in MWL, apart from SDNN and LF/HF ratios [94]. Lastly, in a study by Ding et al., the

ECG  based  metrics  were  also  not  found  to  be  sensitive  to  changes  in  task  loads  [155].

Henceforth there are reported some inconsistencies in the literature in terms of the efficacy

of HR and HRV ability to be sensitive to changes in MWL. However, it can be vital to perform

the experiments at the same time of day to avoid circadian effects [156].

66 Chapter 2. Literature Review

Nonetheless, cardiac measures have some advantages as they are inexpensive compared to

other physiological sensors such as EEG. Moreover, the sensor is quite unobtrusive and the

sensor is less prone to noise from artifacts such as movements and other external noise. The

cardiorespiratory  system  does  however  have  a  slower  response  compared  to  the  CeNS,

where the temporal resolution is in the range of a few seconds to about 10 seconds [157].

2.5.4. Control input measurements

Control input is another measure of MWL and includes using various control inputs such as

mouse, keyboard, joystick and other control surfaces used for active control by the human

operator. These measures can be defined as behavioural‐ or performance‐based measures

depending on what information is extracted. This can be the case as features extracted can

include behavioural features such as button clicking pressure or number of clicks in a given

time, or other more performance‐based features such as accuracy or response time. Mouse

clicking and keyboard key‐pressing behaviour are among the computer based measures that

have been shown to measure emotional state [158]. Although there are multiple control

input measures that can be used, mouse activity is generally an important part of HMI2, as

many  applications  require  some  computer  navigation  element  [47].  In  addition,  mouse

activity is non‐intrusive and the data is simply collected without additional equipment.  The

interrupts generated when the mouse is operated include events such as moved, clicked

and dragged (including time stamps). Other information includes the X and Y coordinates as

well as other application widget information.

In a study conducted by Ding et al., a measure of mouse activity was recorded were the

accuracy  and  response  time  of  the  subject  was  collected  and  showed  that  the  accuracy

decreased and the response time increased as the task load went from low, medium and

high respectively [155]. Another study used the number of mouse clicks averaged over a 3

second  epoch  [96].  However,  correlating  this  measure  with  the  number  of  aircraft  in  a

simplified ATM scenario showed that the measure did not correlated with one another. In

Khawaji et al. the mouse movements of the mouse cursors were used to derive a measure

of cognitive load during a low and high task load conditions [159]. The mouse movements

were  found  to  be  sensitive  to  changes  in  task  load,  with  correspondingly  higher  mouse

67 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

movement.  Another study also found a strong relationship between the increased number

of mouse pauses and the increase in MWL [160]. The mouse pressure applied in response

to a task is also a measure that has been arguably identified as a good measure for MWL

[161].  It  is  worth  nothing  that  although  mouse  features  have  shown  to  be  sensitive  to

changes in MWL, this measure is more task dependent than other measures. This means

that the measure is required to be used for a specific computer based task that requires

frequent navigation of the interface.

2.5.5. Other sensor measurements of MWL

In  addition  to  the  aforementioned  methods  for  measuring  MWL,  there  are  a  number  of

other modalities that have reported a sensitivity to changes in MWL. These include but not

limited to voice pattern analysis, respiratory response, Electromyography (EMG), functional

Magnetic  Resonance  Imaging  (fMRI),  Position  Emission  Tomography  (PET),  fNIR,  Electro‐

Oculogram (EOG), GSR, facial expression analysis and gait patterns.

In terms of voice analysis, there have been identified features such as pitch, speech rate,

prosody, speech energy and fundamental speech frequency that modulate with changes in

task  load  [47,  97,  162].  For  respiratory  analysis,  the  most  commonly  used  feature  is

breathing rate, where it has been shown to change with regards to higher or lower task load

in an ATCo simulation [163]. Neuroimaging technologies such fMRI and PET can both quite

accurately measure the cognitive function of the brain, however these techniques require

large scale equipment that is expensive and not practical for operational scenarios [161].

Other  more  invasive  neuroimaging  technologies  include  the  one  that  is  proposed  by

Neuralink [164]. This is a company that proposes using an automated solution to surgically

implant extremely thin electrodes into the cortex of humans. The number of electrodes are

ten‐fold  higher  than  current  invasive  solutions,  and  would  allow  for  accurately  placing

electrodes in the cortex thus overcoming some of the major issues of volume conduction

which is of significant concern for current EEG recordings. Another neuroimaging technique

however, that is relatively low cost, portable and non‐invasive is fNIR. This sensor measures

the  hemodynamic  response  of  the brain  by  emitting  light  in  the  near infra‐red  spectrum

from around 650nm – 1000nm, the light can then penetrate the skull and travel to a depth

68 Chapter 2. Literature Review

of about 1‐3 cm [165‐167]. As neurons activate with higher intensity there is an increase in

Oxygenated Hemoglobin (HbO) and a decrease in Deoxygenated Hemoglobin (HbR) for that

region [168, 169]. The fNIR has been applied in various studies for detecting MWL and other

cognitive  states.  These  include  being  sensitive  to  changes  in  task  demands  during

intelligence, surveillance and reconnaissance scenarios [8], ATM scenarios [170, 171], and

UAV scenarios [172], as well as studies that have also shown the detection of underload/

boredom situations while playing piano [93].

EOG  is  another  sensor  technology  that  is  used  for  measuring  eye  activity.  Here  pairs  of

electrodes are placed such that the electrical difference between the cornea and retina is

measured. This way the eye fixations or blinks can be recorded in another manner [173].

GSR is a sensor method that measures the conductance of the human skin and indicates the

changes in the human SNS. The method has shown to increase and decrease in response to

changing levels of task load [174].

Facial expression analysis is another technique implemented for emotion recognition. Some

of  the  studies  for  emotion  recognition  include  [175],  nonetheless  the  methods  show

potential for eventual MWL estimation [176].

Lastly, gait pattern is a method of measuring the limb movements during locomotion. The

gait patterns of participants walking on a treadmill were found to be sensitive to changes in

task load [177]. In addition, the body posture of participants was also found to be changing,

where the head movements of participants increased in relation to the number of targets

on a screen [161].

2.5.6. Multimodality fusion

An important consideration for a CHMS is implementing a sensor network with different

physiological and behavioural measurements, such as those originating from electrical and

metabolic brain activity, eye activity and cardiorespiratory activity. This is important as each

physiological  parameter  observes  different  biological  processes,  and  their  corresponding

sensors  are  thus  sensitive  to  signal  contamination  originating  from  distinctly  different

disturbances. For instance, EEG electrodes are prone to internal and external artifacts such

69 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

as eye blinks, movements, heartbeat artifacts and other electromagnetic interferences [100,

102, 103, 108], whereas blink rate and pupillometry are among other sensitive to ambient

light stimuli [178, 179]. Henceforth, in a CHMS the monitoring of multiple parameters in a

sensor  network  ensures  the  integrity  of  the  system  [29].  Such  a  sensor  network  is  also

natively  suited  to  exploit  data  fusion  of  the  physiological  measurements  to  increase  the

overall accuracy and reliability of the human operator’s estimated MWL. Although multiple

sensors are needed to improve reliability, some challenges arise with this including different

measurement  performance  (e.g.,  accuracy,  resolution,  etc.)  and  sampling  frequencies  of

each sensor [29]. The adoption of sensor networks with multimodal fusion is both a natural

and  necessary  evolution  to  effectively  exchange,  synchronise  and  process  measurement

data within a customisable operational network architecture.

The following will outline some of the literature regarding multimodal data fusion. This will

include an overview of the type of fundamental ways of performing data fusion and detail

some of the literature regarding multimodal fusion for real‐time MWL estimation.

2.5.6.1. About multimodality fusion

A  multimodal  approach  for  MWL  estimation  can  overcome  many  of  the  limitations  and

issues of individual sensor measurements. As an example the picture in Figure 2.20 shows a

number of different modalities that can be used for the measurement of MWL. The various

forms of modalities being recorded include physiological measure such as EEG, GSR and eye

tracking, as well as behavioural measures such as speech, mouse or keyboard inputs. The

combination  of  multiple  sensors  can  allow  for  increased  accuracy  and  robustness  in  the

measurement of MWL.

70 Chapter 2. Literature Review

Figure 2.20. Example of different modalities that can be used for cognitive load measuremets [47].

The  data  fusion  of  multiple  physiological  and/or  behavioural  measurements  can  include

either early or late fusion, and can follow one of the following fundamental approaches:

A. Independently estimating MWL from each sensor and then fusing these

estimations;

B. MWL estimation based on a fused pool of extracted features from each sensor and;

C. Using data from one or more sensors to extract more/ different information from

another sensor and/or for sanity check;

D. A combination of any of the approaches above [29].

As discussed in [29] and [180], approach A supports simpler statistical methods and data

analytics techniques but is less robust since individually extracted features can be impacted

by  many  factors  including  other  cognitive  states.  Approach  B  can  for  example  include

combining  features  from  various  modalities  and  is  arguably  more  reliable  than  A  as

simultaneous observation of various multimodal features reduces the ambiguity of the MWL

estimation.  Nonetheless,  this  does  require  more  complicated  data  fusion  methods.

Approach C has the potential to be the most reliable and robust but would require a deeper

understanding  of  physiological  processes  which  is  presently  not  quite  achieved.  Lastly,

approach D would include using any form of combination of the former approaches.

71 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

The Figure 2.21 below shows a high‐level architecture for a multimodal data fusion model.

Here the example from [47] depicts a “Cognitive Load Measurement” using speech and pen

as input modalities as well as an arbitrary component. This model for multimodal fusion

consists  of  the  following  fundamental  processes.  This  includes  firstly,  pre‐processing  and

data cleaning, then feature extraction, followed by MWL determination and lastly the data

fusion  of  the  various  modalities  to  produce  one  final  robust  and  accurate  estimate  of

cognitive load.

Figure 2.21. High‐level data fusion for multimodal MWL estimation [47].

2.5.6.2. Data fusion for MWL estimation

This section outlines some of the studies conducted using multimodal data fusion for the

purpose of MWL estimation. There has been explored various classification techniques from

statistics  and  computer  science  (e.g.  machine  learning),  were  these  have  shown  the

capability to determine the overall correlation and allow for fine‐tuning to the individual

subject.  Among  the  methods  applied  for  estimating  cognitive  states  from  within  a

physiological  modality  include  the  use  of  SVM  [92,  136],  ANN  [90],  convolutional  neural

network  [181],  elastic  net/  random  forest  [8],  fuzzy  systems  [182]  and  Bayesian  models

[183].  Here  the  most  common  practice  for  the  supervised  methods  is  to  label  the

72 Chapter 2. Literature Review

physiological data with task difficulty [8]. Although some studies have used other means

such as a target density which was the number of targets in a mock air warfare scenario

[138].

A  number  of  previous  studies  have  determined  and  directly  compared  several  individual

physiological features of MWL during different types of experiments [70, 94, 184]. However,

as  mentioned  above,  to  improve  the  accuracy  and  reliance  of  the  MWL  estimation,  a

multimodal  fusion  is  preferred  for  an  operational  CHMS  type  system.  Many  of  the

approaches used for fusing multimodal data for MWL estimation have included the use of

ML techniques, as done for classification within modalities. Many of the commonly used

classification  models  for  MWL  estimation  include  LDA,  classification  tree  and  k‐nearest

neighbour,  SVM,  elastic  net,  ANFIS  and  ANN  [90,  109,  155,  185‐189].  These  various

classification methods are well suited for fusion within each modality and across modalities.

Furthermore, these methods have been compared to assess the performance of the model

for thorough analysis fusion at feature level and fusion at decision level [186]. Among the

classification models it has been noted that ANN is well suited for the fusion of multiple

physiological,  as  it  is  a  non‐linear  method  and  can  be  advantageous  in  complex  task

situations [155, 187]. The various classification models have commonly used classification

accuracy as defined in Equation 2.4 below.

(2.4) (cid:1827)(cid:1855)(cid:1855)(cid:1873)(cid:1870)(cid:1853)(cid:1855)(cid:1877) (cid:3404) ∗ 100

(cid:1846)(cid:1842) (cid:3397) (cid:1846)(cid:1840) (cid:1842) (cid:3397) (cid:1840)

When using an ANN, with features from EEG, cardiac and ocular measures in an ATCo task

scenario, the results showed a classification accuracy of 85.8%, when classifying between

low and high MWL [187]. Other studies using EEG, EDA and photoplethysmography showed

93.7% accuracy, between a high and low MWL during web browsing task load [190]. One

study by Ding et al. achieved a 78.3% classification accuracy, when using the physiological

features  EDA,  ECG  and  respiratory,  which  improved  to  96.4%  when  also  including  task

performance measures (which prior to calibrating the model showed a strong ANOVA result)

in the multimodal data fusion [155]. In the study by Van Orden et al. [138], the performance

was  measured  in  a  different  way,  were  the  number  of  eye  features  including  blink  rate,

fixation frequency and pupil diameter showed a good ANOVA result with respect to number

73 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

of targets the subject had to handle. These features were fused in offline processing using

an ANN and the target density was used as labels. The result showed a correlation of 0.66

using the correlation coefficient between the output and the number of targets.

With  some  of  the  studies  the  relative  contribution  of  the  physiological  and  behavioural

sensor has not been included in the analysis, and some authors have emphasised this as a

noteworthy  factor  in  the  assessment  of  the  performance  of  the  models  [155,  186].  In

addition, the accuracy of the model is also dependent on many complex factors that are

cannot be captured in the performance accuracy. For example, in the design of the task load,

only having two difficulty levels may not be a very good representation of a true mental

requirement of the system. Also, for a given experiment various task loads (i.e. medium and

high) can be perceived by a subject to be to close in difficulty thus making it challenging for

a model to perform a good estimation. Moreover, many of these models use classification

models which thus provide a discrete result (i.e. low or high). However, MWL is more closely

a  continuous  measure  thus  regression  models  can  be  arguably  more  suited  for  MWL

inference in driving system adaptation of CHMS type systems.

Although the various ML models have shown good performance in classifying MWL between

discrete MWL states (i.e. low and high), it has been argued that commonly used models such

as ANN have some significant limitations [185, 191]. This includes that the method lacks in

explainability,  where  the  resulting  output  of  the  model  does  not  allow  for  providing

interpretation  of  the  physiological  features  that  contributed  to  the  inference  of  the

respective cognitive state. NFS, such as the ANFIS, is on the other hand a type of method

that  is  considered  more  transparent  and  interpretable  as  it  has  a  structure  with  fuzzy

linguistic rules and clearly defined fuzzy sets [185, 192]. The method is also well suited for

performing inferences where the process is too complex for precise mathematical models

to be derived. The following section further describes NFS and its derived ANFIS.

Adaptive Neuro Fuzzy Inference System (ANFIS)

NFS is a term used for AI methods that is based on both fuzzy logic and neural networks.

Fuzzy logic emulates the logical reasoning of the human brain to make an inference of an

observed state. Neural networks on the other hand are inspired by the biological function

of the human brain, with connections between nodes that are represented by weights that

74 Chapter 2. Literature Review

can be tuned in a calibration stage. NFS are similar to fuzzy controllers, however for such a

system  the  fuzzy  sets  and  rules  are  tuned  using  neural  network  techniques  in  a  training

phase, while in the execution phase they functions like a fuzzy logic system. Fuzzy set theory

was initially proposed by [192] in 1965, and the FIS consists of three main stages as follows:

1. An initial fuzzification stage is performed by taking the numerical input values and

mapping them with respect to fuzzy sets;

2. The fuzzy rules are then processed based on the firing strength of the inputs;

3. Lastly a defuzzification is performed that transforms the resulting fuzzy values to a

final crisp value.

The  fuzzy  sets,  such  as  categories  of  low,  medium  and  high  MWL,  are  represented  by

membership  functions  and  define  to  which  degree  a  given  input  belongs  to  a  set.  These

functions  have  a  value  between  zero  and  one  and  can  among  other  be  represented  by

triangular, trapezoidal or gaussian functions. When considering for example the inference

of  MWL,  the  parameters  of  the  functions  such  as  the  centre  and  spread  can  be  tailored

specifically for each human operator. Once the fuzzification is performed the behaviour of

the system is described by a number of fuzzy rules, such as:

FUZZY RULE: IF  THEN 

Further expansion of this is explained with the example given below. The rules provide an

inference in the form of a fuzzy output set that is then defuzzied to a final value. However,

the  problem  with  FIS  is  determining  the  membership  functions  and  fuzzy  rules.  As  such

implementing the principles of neural networks allows for creating a model that automates

the tuning of the FIS parameters. Among the various NFS, the ANFIS is commonly used and

can  tune  the  fuzzy  sets  and  fuzzy  rules  based  on  a  calibration  phase,  that  implements

labelled data [193, 194]. The ANFIS uses fuzzy if‐then rules based on the Takagi Sugeno type

processing technique [194], where it has previously been used in forecasting and prediction

applications.  ANFIS  models  are  however  effective  for  determining  unknown  correlations

when high measurement uncertainties are present, and it shows much better repeatability

compared  to  other  techniques  [29].  Fuzzy  logic,  including  the  ANFIS  can  also  provide  a

regression approach with continuous output values. The ANFIS framework does however

75 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

have  some  technical  limitations  including  high  computation  cost  and  the  curse  of

dimensionality [191].

The fundamental architecture for the ANFIS contain the following five layers:

1. An input layer, where each node passes receiving values to the following layer;

2. An antecedent layer, where each node then fuzzifies the inputs using membership

functions;

3. A  rule  layer,  where  each  node  combines  the  fuzzified  inputs  using  fuzzy  AND

operator. The output from this node is the rule firing strength;

4. A consequent layer, where the node can combine the firing rules using a fuzzy OR

operator.  The  output  from  this  node  is  the  membership  value  of  the  output

parameter;

5. Finally output layer, where each of the nodes performs a defuzzification from the

consequent node to obtain a final crisp output value.

The  method  for  the  calibration  of  the  ANFIS  model  consists  of  firstly  using  a  clustering

algorithm  (i.e.  Grid  Partitioning  or  Fuzzy  C‐Means)  that  provides  initial  input  and  output

membership functions. Following this the ANFIS framework is applied and includes tuning

the FIS by implementing backpropagation for iteratively tuning the parameters of the input

membership  function,  and  then  using  the  least  square  method  for  determining  the

consequent parameters.

An  example  of  a  calibrated  ANFIS  model  can  be  seen  in  Figure  2.22  where  the  example

illustrates  inputs  from  an  EEG,  pupil  diameter  and  blink  per  minute.  Based  on  these

hypothetical inputs and corresponding values the following rules one and three would give:

Rule 1: IF [(EEG is Very Low) AND (Dia is Low) AND (BR is High)] THEN [(MWL is Rest)]

Rule 3: IF [(EEG is Low) AND (Dia is Low) AND (BR is Medium)] THEN [(MWL is Low)]

Given the hypothetical values indicated in the figure would for example give a firing strength

that is very high for the “very low” MWL as indicated by rule one, and a moderate firing

strength  for  “low”  MWL  as  indicated  by  rule  three.  Performing  the  final  defuzzification

76 Chapter 2. Literature Review

would  give  one  final  value,  that  for  this  hypothetical  example  would  give  a  final  MWL

Layer 1 (Inputs)

Layer 2 (Antecedent)

Layer 3 (Rule)

Layer 4 (Consequent)

Layer 5 (Defuzzification)

Very low

Layer 6 (Output - between 1 and 4)

Low

EEG

Med

Rule 1

High

. . .

Very low

Very low

Very low

Rule 2

Low

Low

Low

Work -load

Pupil dia.

Med

Med

Med

Rule 3

High

High

High

. . .

Very low

Rule 4

Low

Blink rate

Med

High

indicating a very low MWL, hence indicating that the participant is in a resting state.

Figure 2.22. Example of an architecture of an ANFIS.

The ANFIS has been used in a few cases for multimodal fusion of various cognitive states

[185, 195‐197]. In the studies by Zhang et al. [185, 197], the use of EEG and cardiac features

were implemented during a simulated cabin air management system, were the calibration

and  validation  was  conducted  offline.  Here  the  optimisation  of  the  FIS  parameters  was

achieved by using both a GA based Mamdani fuzzy model and an ANFIS model, and had an

interval  taken  at  every  7.5  minutes.  While  the  GA‐based  Mamdani  fuzzy  model  showed

77 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

promising results in that study, the ANFIS model implemented did seem to overfit the data

and did not perform well on the unseen validation data. Similarly, in the study by Wang et

al. [196], the work outlined above was expanded on by implementing a DE and DEACS, in a

way to optimise the FIS parameters. The same features were extracted although a shorter

sampling interval of 2 minutes was used. While the DE and DEACS methods showed good

performance on the unseen validation data, the study also presented results that showed

that the ANFIS performed poorly on the unseen validation data.

In the study by Lim et al. [195], an ANFIS model was also implemented and calibrated on

data  from  cardiac  features  (HR  and  HRV),  eye  activity  features  (BPM  and  a  scan  pattern

entropy feature) and features from an fNIR (oxygenation and blood volume). The features

and  target  values  were  in  this  study  normalised  between  0  and  1  before  calibrating  the

model. Following this an initial offline calibration and validation was performed on all the

data that showed a low error. A following online validation showed the resulting inference

from the model to have poor correlation level with the target value, and a relatively high

error, which could seem too have been a result of overfitting during the offline calibration

stage as the error was low. Lastly, the study by Azadeh et al. [198] also implemented an

ANFIS as well as an ANN to assess the performance of the respective models. Nonetheless,

the collected data used was purely subjective questionnaires and is henceforth not quite

comparable with the other studies.

Fusing EEG and fNIR features

The fusion between the EEG and fNIR features is a particularly promising area of research

for MWL estimation as they are complementary sensor techniques where one measures the

electrical  activation  and  the  other  the  hemodynamic  response  of  the  brain.  With  its

promising implementation for CHMS, this section outlines the comparison between the EEG

and fNIR, and also outlines some literature on their use for MWL estimation.

EEG is the most widely used sensor for physiological measure of MWL. The EEG has excellent

temporal  resolution,  with  millisecond  range,  however  it  has  poor  spatial  resolution  as  a

result of volume conduction, which leads to resolution limits in source localisation [199].

Additionally, the amplitudes of EEG signals are very small, and are thus prone to artifacts

caused by ocular, muscular, cardiac and movement containments as well as other artifacts

78 Chapter 2. Literature Review

such as power line interference and other EMI [100, 103, 108]. fNIRs however, have good

spatial resolution but low temporal resolution as a result of the slow hemodynamic delay.

The hemodynamic response to a stimulus evolves over a period of 10‐12 seconds, and within

this  period  the  neural  activation  can  happen  again  [200].  Nonetheless,  the  fNIR  signal  is

resilient  to  ocular,  cardiac,  muscular  and  other  external  EMI  contaminants  [201].

Furthermore, the fNIR is simple and quick to set up and is tolerant to minor movements.

With its complementarities, the fusion of EEG and fNIR features could prove beneficial for

the multimodal estimation of MWL. The fusion of the two sensor technologies is also highly

compatible as the EEG and fNIR do not interfere with one another. The fusion of EEG and

fNIR  data  has  been  implemented  in  various  studies  including  active  and  passive  BCI

applications  [89,  202‐205],  where  some  hybrid  systems  have  demonstrated  better

classification accuracy than using each sensor individually [206].

2.5.7. Generalised inference models

As  outlined  in  the  previous  sections,  there  have  been  a  number  of  physiological  and

behavioural  responses  associated  with  MWL.  Nonetheless,  although  physiological  and

behavioural  measures  are  capable  of  discriminating  changes  in  MWL,  extensive  reviews

have identified that the measures are not universally valid for all task scenarios [28, 88]. This

includes  both  the  physiological  responses  themselves  and  the  various  inference  models

implemented  for  estimating  MWL.  Many  of  the  classifier  models  reviewed  in  previous

sections are generally task specific, subject specific and time limited. Henceforth, a more

recent area of research is how an inference‐based model of MWL may be generalised to

new situations/ tasks, across subjects and over time. This is considered the holy grail of the

MWL  estimation,  however  it  remains  unknown  if  it  is  feasible  in  practice  to  have  an

inference model that can estimate MWL level of any subject, performing any task and on

any given day [136]. These capabilities of a model can further be characterised as cross‐task,

cross‐session and cross‐subject. Although this is also sometimes referred to as task‐, session‐

and subject‐independent models.

Cross‐task  inference  would  include  a  generalised  model  that  can  infer  MWL  correctly  in

different  tasks  and  difficulty  levels  that  the  human  operator  did  not  experience  while

79 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

collecting the calibration data [188]. Some studies attempting cross‐task classification only

achieved very low classifications, with some around chance levels [90, 136, 188]. In the study

by Baldwin and Penaranda [90], an ANN was trained from calibration data collected during

low  and  high  difficulty  levels  in  a  working  memory  task.  Following  this  the  classification

model  was  tested  on  another  working  memory  task  and  achieved  a  44.8%  classification

accuracy, while for the model trained and tested on the same task the classification was

87.1%. Another study by Zhao et al. tested both cross‐level and cross‐task capabilities, with

real‐time validation performed using an SVM and multiple physiological measures. These

results showed a 95.29% for within‐task accuracy, but a drop to 72.2% for the cross‐level

classification.  For  the  cross‐task  classification,  calibrated  on  three  difficulty  levels,  the

accuracy  was  down  to  53.83%  [188].  Although  the  cross‐task  was  quite  low,  that  study

demonstrated some abilities for cross‐level classification. Lastly, in the study conducted by

Radüntz, a new method was proposed to extract EEG features and then use an SVM, which

then demonstrated a classifier that was able to perform cross‐task classification when one

new task was added [62].

Cross‐session classifiers are another important consideration for inference models of MWL.

This includes calibrating a model in one session on one given day and validating the model

one another day. The cross‐session inference models are particularly important as reliable

inference models require substantial calibration data and time, which would be impractical

in an operational setting. In particular the EEG, has shown to be particularly challenging as

the features can be differently distributed across various sessions [207]. This challenge in

performance has partially been attributed to the variability of spectral power across, but

also within subjects [105].

Lastly, generally many of the inference models for MWL are subject specific.  Although many

of  the  models  have  shown  good  performance  for  the  specific  subject,  performing  such

models have been outlined as resource intensive for the collection and processing [133]. As

such a cross‐participant model would allow for more efficient calibration with the model

calibrated on many human subjects. One study by Wang et al. demonstrated cross‐subject

classification,  with  data  trained  on  all  eight  participants,  and  then  attempted  to  use  the

model to classify on a single subject. The study demonstrated good classification, with one

of the three cross‐subject models tested demonstration performance accuracy of around

80 Chapter 2. Literature Review

80%  using  a  hierarchical  Bayes  model,  which  was  as  good  as  the  single  subject  classifier

[183]. A study by Puma et al. also performed an analysis of the EEG features, where different

groups of subjects were subdivided based on performance, age and individual differences

[124]. A further comparison of various cross‐participant and within‐participant classification

models, was demonstrated by Xiong et al. [208]. Nonetheless, one fundamental challenge

for  cross‐participant  models  can  include  how  the  physiological  response  and  the  expert

knowledge can vary between human operators [207].

Conclusions

The  review  presented  in  this  chapter  was  multidisciplinary  in  nature  as  the  topic  of  this

research  spans  multiple  domains.  More  specifically,  the  review  has  focused  on  MWL,  its

theoretical  background  as  well  as  means  and  considerations  for  sensing  and  multimodal

fusion  for  MWL  estimation.  Overall,  this  chapter  has  included  a  review  of  MWL

measurements,  EEG,  ECG,  eye  activity  tracking,  control  inputs,  human  factors,  adaptive

automation,  closed  loop  system  adaptation,  passive  BCI,  HMI2,  CNS+A,  multimodal  data

fusion, machine learning and ANFIS. The main gaps as part of this research were detailed in

Section  1.2,  nevertheless  the  following  paragraph  summarises  the  key  areas,  issues  and

opportunities as part of this research.

Many sensors have been reported to show sensitivity to changes in MWL. Nonetheless, it

has been identified in the literature that measures of MWL are not universally valid for all

task scenarios and that the measures are sensitive depending on task type and difficulty. A

particular inconsistency is that the type of task scenario presented to the human subject can

differ quite substantially between various studies. This review identified how studies have

used  supervised  ML  techniques  for  estimating  MWL  by  implementing  classification  or

regression  models.  While  both  methods  have  demonstrated  promising  accuracy,  a

continuous  regression  measure  of  MWL  is  arguably  more  suited  for  driving  system

adaptation in a CHMS due to the continuous nature of the physiological response. NFS (i.e.

ANFIS  model)  is  of  particular  interest  as  it  can  produce  a  regression  model  which  is  well

suited  for  fusing  data  from  multiple  modalities  and  is  more  transparent  than  other  ML

methods. Previous studies have implemented fusion methods that fuse different features

81 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

from  within  a  modality  as  well  as  across  modalities.  However,  many  of  the  studies  that

perform multimodal data fusion have included ML techniques that perform the calibration

and  validation  in  offline  processing.  Real‐time  data  processing  can,  nevertheless,  show

variable and inconsistent results. While previous studies have implemented an ANFIS for

inferring MWL, there have been limitations in producing accurate results. This has included

the  use  of  quite  large  intervals  and  the  lack  for  the  general  ANFIS  paradigm  to  perform

inference of MWL in an online validation. Recent studies have additionally highlighted the

importance of investigating the respective features contribution to the model used and is

an area that has not been conducted for ANFIS models in previous studies. Lastly, many ML

classification/ inference models have shown significant limitations in their ability for cross‐

task,  cross‐level,  cross‐session  and  cross‐subject  classification/  inference  of  MWL.  The

capability for accurate cross‐task and cross‐session will be particularly vital for a CHMS to

be reliable enough to be implemented in operational aerospace systems.

82 Chapter 2. Literature Review

References

[1]

K. Funk et al., "Flight Deck Automation issues," The International Journal of Aviation Psychology, vol. 9,  no. 2, pp. 109‐123, 1999.

[2]  M.  A.  Vidulich  and  P.  S.  Tsang,  "Mental  workload  and  situation  awareness  "  in  Handbook  of  Human  Factors and Ergonomics, vol. 4, G. Salvendy, Ed.  Hoboken, New Jersey: John Wiley & Sons, 2012.

[3]

J. P. Brown, "The Effect of Automation on Human Factors in Aviation," The Journal of Instrumentation,  Automation and Systems, vol. 3, no. 2, pp. 31‐46, August 2016.

[4]  C. D. Wickens, B. A. Clegg, A. Z. Vieane, and A. L. Sebok, "Complacency and Automation Bias in the Use

of Imperfect Automation," Human Factors, vol. 57, no. 5, pp. 728‐739, April 2015.

[5]  A. Haslbeck and H.‐J. Hoermann, "Flying the Needles: Flight Deck Automation Erodes Fine‐Motor Flying  Skills Among Airline Pilots," Human Factors and Ergonomics Society, vol. 58, no. 4, pp. 533‐545, June  2016.

[6]  M. R. Endsley and D. B. Kaber, "Level of automation effects on performance, situation awareness and

workload in a dynamic control task," Ergonomics, vol. 42, no. 3, pp. 462‐492, 1999.

[7]  D.  Romero,  P.  Bernus,  O.  Noran,  J.  Stahre,  and  Å.  Fast‐Berglund,  "The  Operator  4.0:  Human  Cyber‐ Physical  Systems  &  Adaptive  Automation  Towards  Human‐Automation  Symbiosis  Work  Systems,"  in  APMS, Iguassu Falls, Brazil, 2016, pp. 677‐686.

[8]  R.  McKendrick,  B.  Feest,  A.  Harwood,  and  B.  Falcone,  "Theories  and  Methods  for  Labeling  Cognitive  Workload: Classification and Transfer Learning," Frontiers in Human Neuroscience, vol. 13, p. 295, 2019.

[9]

T. Inagaki, "Adaptive automation: Sharing and trading of control," in Handbook of cognitive task design,  vol. 1, E. Hollnagel, Ed.: CRC Press, 2003, pp. 147‐169.

[10]  T. B. Sheridan, Telerobotics, automation, and human supervisory control, London, England: MIT press,

1992.

[11]  Y. Lim et al., "Avionics Human‐Machine Interfaces and Interactions for Manned and Unmanned Aircraft,"

Progress in Aerospace Sciences, vol. 102, pp. 1‐46, August 2018.

[12]  P. Aricò et al., "Adaptive Automation Triggered by EEG‐Based Mental Workload Index: A Passive Brain‐ Computer Interface Application in Realistic Air Traffic Control Environment," Front. Hum. Neurosci., vol.  10, p. 539, October 2016.

[13]  J. Liu, A. Gardi, S. Ramasamy, Y. Lim, and R. Sabatini, "Cognitive pilot‐aircraft interface for single‐pilot

operations," Knowledge‐Based Systems, vol. 112, pp. 37‐53, November 2016.

[14]  Y. Lim, V. Bassien‐Capsa, S. Ramasamy, J. Liu, and R. Sabatini, "Commercial airline single‐pilot operations:  System design and pathways to certification," IEEE Aerospace and Electronic Systems Magazine, vol. 32,  no. 7, pp. 4‐21, July 2017.

[15]  D. Harris, "A human‐centred design agenda for the development of single crew operated commercial

aircraft," Aircraft Engineering and Aerospace Technology, vol. 79, no. 5, pp. 518‐526, 2007.

[16]  R. P. G. Collinson, Introduction to Avionics Systems, 3 ed. Dordrecht, Netherlands: Springer 2011.

[17]  A. Gardi, R. Sabatini, and S. Ramasamy, "Multi‐objective optimisation of aircraft flight trajectories in the

ATM and avionics context," Progress in Aerospace Sciences, vol. 83, pp. 1‐36, May 2016.

[18]  T. Kistan, A. Gardi, R. Sabatini, S. Ramasamy, and E. Batuwangala, "An evolutionary outlook of air traffic  flow management techniques," Progress in Aerospace Sciences, vol. 88, pp. 15‐42, October 2016.

[19]  E.  Batuwangala, S. Ramasamy,  L.  Bogoda, and  R.  Sabatini,  "An  interoperability  assessment  model  for

CNS/ATM systems," in ATRF, Melbourne, Australia, 2016, pp. 1‐8.

[20]  S.  Ramasamy,  R.  Sabatini,  and  A.  Gardi,  "A  Unified  Analytical  Framework  for  Aircraft  Separation  Assurance and UAS Sense‐and‐Avoid," Journal of Intelligent & Robotic Systems, vol. 91, no. 3, pp. 735‐ 754, September 2018.

[21]  L.  J.  Prinzel,  F.  G.  Freeman,  M.  W.  Scerbo,  P.  J.  Mikulka,  and  A.  T.  Pope,  "A  Closed‐Loop  System  for  Examining  Psychophysiological  Measures  for  Adaptive  Task  Allocation,"  The  International  Journal  of  Aviation Psychology, vol. 10, no. 4, pp. 393‐410, 2000.

[22]  D.  Schmorrow,  K.  M.  Stanney,  G.  Wilson,  and  P.  Young,  "Augmented  cognition  in  human‐system  interaction," in Handbook of human factors and ergonomics, vol. 3, G. Salvendy, Ed.: John Wiley & Sons,  2005.

[23]  M. Bonner, R. Taylor, K. Fletcher, and C. Miller, "Adaptive automation and decision aiding in the military  fast jet domain," in Human Performance, Situation Awareness and Automation, Savannah, 2000, pp. 154‐ 159.

[24]  T. Schnell, M. Keller, and P. Poolman, "Neurophysiological workload assessment in flight," in Conference

on Digital Avionics Systems (DASC), St. Paul, USA, 2008.

[25]  A. Paz Goncalves Martins et al., "ACROSS: Scope and State of the Art," Braunschweig, April 2014.

[26]  Brain‐Computer  Interfaces:  Applying  our  Minds  to  Human‐Computer  Interaction,  (Human‐Computer

Interaction Series) London: Springer, 2010.

[27]  T.  O.  Zander  and  C.  Kothe,  "Towards  passive  brain–computer  interfaces:  applying  brain–computer  interface technology to human–machine systems in general," Journal of Neural Engineering, vol. 8, no.  2, p. 025005, March 2011.

[28]  R.  L.  Charles  and  J.  Nixon,  "Measuring  mental  workload  using  physiological  measures:  A  systematic

review," Applied Ergonomics, vol. 74, pp. 221‐232, August 2019.

[29]  N. Pongsakornsathien et al., "Sensor Networks for Aerospace Human‐Machine Systems," Sensors, vol.

19, no. 16, p. 3465, August 2019.

[30]  L. J. Planke, Y. Lim, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "A Cyber‐Physical‐Human System for One‐

to‐Many UAS Operations: Cognitive Load Analysis," Sensors, vol. 20, no. 19, p. 5467, September 2020.

a  Representative

Simulation

in

[31]  A. Gardi, N. Pongsakornsathien, L. Planke, Y. Lim, T. Kistan, and R. Sabatini, "Development of a Cognitive  HMI  for  Air  Traffic  Management  Systems  –  Report  No.  4:  CHMI2  System‐Level  Implementation  and  Environment,"  Bundoora,  VIC,  Australia,  Verification  RMIT/SENG/CPS/003‐2019, 2019.

[32]  N. Pongsakornsathien, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "Human‐Machine Interactions in Very‐ Low‐Level  UAS  Operations  and  Traffic  Management,"  in  IEEE/AIAA  39th  Digital  Avionics  Systems  Conference, DASC2020, Piscataway, NJ, USA, 2020.

[33]  D. Comerford et al., "NASA’s Single‐Pilot Operations Technical Interchange Meeting: Proceedings and

Findings," Ames Research Center, Moffett Field, California, 2013.

[34]  S.  M.  Neis,  U.  Klingauf,  and  J.  Schiefele,  "Classification  and  Review  of  Conceptual  Frameworks  for

Commercial Single Pilot Operations," in Conference on Digital Avionics Systems (DASC), 2018.

83 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[35]  Y. Lim, S. Ramasamy, A. Gardi, and R. Sabatini, "A virtual pilot assistant system for single pilot operations  of commercial transport aircraft," in 17th Australian International Aerospace Congress: AIAC 2017, p.  139.

[36]  C. A. Wolter and B. F. Gore, "A Validated Task Analysis of the Single Pilot Operations Concept," Moffett

Field, California NASA/TM‐2015‐218480, 2015.

[37]  F. J. Ramos, "Overview of UAS Control Stations," in Encyclopedia of Aerospace Engineering: John Wiley

& Sons, 2016, pp. 1‐11.

[38]  Y.  Lim,  S.  Ramasamy,  A.  Gardi,  T.  Kistan,  and  R.  Sabatini,  "Cognitive  Human‐Machine  Interfaces  and  Interactions for Unmanned Aircraft," Journal of Intelligent & Robotic Systems, vol. 91, no. 3‐4, pp. 755‐ 774, 2018.

[39]  J. Lachter, S. L. Brandt, V. Battiste, S. V. Ligda, M. Matessa, and W. W. Johnson, "Toward single pilot  operations:  developing  a  ground  station,"  in  Proceedings  of  the  International  Conference  on  Human‐ Computer Interaction in Aerospace, Santa Clara, California, 2014.

[40]

ICAO, "Manual on Remotely Piloted Aircraft Systems (RPAS)," First ed. Montréal, Canada, 2015.

[41]

I. Moir, A. Seabridge, and M. Jukes, Civil Avionics Systems, Chichester, UK: John Wiley & Sons, 2013, p.  604.

[42]  A.  Gardi,  S.  Ramasamy,  T.  Kistan,  and  R.  Sabatini,  "UAS  in  the  terminal  area:  challenges  and

opportunities," Encyclopedia of Aerospace Engineering, pp. 1‐17, July 2010.

[43]  S. Hilton, R. Sabatini, A. Gardi, H. Ogawa, and P. Teofilatto, "Space traffic management: towards safe and

unsegregated space transport operations," Progress in Aerospace Sciences, vol. 105, pp. 98‐125, 2019.

[44]  R. K. Dismukes, Human error in aviation London: Routledge, 2009.

[45]  F.  Babiloni,  "Mental  Workload  Monitoring:  New  Perspectives  from  Neuroscience,"  in  Human  Mental

Workload: Models and Applications, 2019, pp. 3‐19.

[46]  R.  M.  Yerkes  and  J.  D.  Dodson,  "The  relation  of  strength  of  stimulus  to  rapidity  of  habit‐formation,"

Journal of comparative neurology psychology and Aging, vol. 18, no. 5, pp. 459‐482, 1908.

[47]  F.  Chen  et  al.,  Robust  Multimodal  Cognitive  Load  Measurement,  Cham,  SWITZERLAND:  Springer

International Publishing AG, 2016.

[48]  M. S. Young, K. A. Brookhuis, C. D. Wickens, and P. A. Hancock, "State of science: mental workload in

ergonomics," Ergonomics, vol. 58, no. 1, pp. 1‐17, 2015.

[49]  C. D. Wickens, "Multiple Resources and Mental Workload," Human Factors: The Journal of the Human

Factors and Ergonomics Society, vol. 50, no. 3, pp. 449‐455, 2008.

[50]  R. K. Mehta and R. Parasuraman, "Neuroergonomics: a review of applications to physical and cognitive

work," Frontiers in Human Neuroscience, vol. 7, 2013.

[51]  M.  A.  Vidulich  and  P.  S.  Tsang,  "Handbook  of  Human  Factors  and  Ergonomics,  Fourth  Edition,"  in  Handbook of Human Factors and Ergonomics, Fourth Edition, G. Salvendy, Ed.: John Wiley & Sons, 2012.

[52]  R. Parasuraman, T. B. Sheridan, and C. D. Wickens, "Situation Awareness, Mental Workload, and Trust in  Automation:  Viable,  Empirically  Supported  Cognitive  Engineering  Constructs,"  Journal  of  Cognitive  Engineering and Decision Making, vol. 2, no. 2, pp. 140‐160, 2008.

84 Chapter 2. Literature Review

[53]  Y.  Lean  and  F.  Shan,  "Brief  review  on  physiological  and  biochemical  evaluations  of  human  mental  workload," Human Factors and Ergonomics in Manufacturing, vol. 22, no. 3, pp. 177‐187, 2012.

[54]  B. Hilburn, "Cognitive complexity in air traffic control: A literature review," EUROCONTROL Experimental

Centre, 2004.

[55]  M.  R.  Endsley,  "Situation  awareness  and  workload‐  Flip  sides  of  the  same  coin,"  in  International

Symposium on Aviation Psychology, 7 th, Columbus, OH, 1993, pp. 906‐911.

[56]  N.  Lavie,  A.  Hirst,  J.  W.  de  Fockert,  and  E.  Viding,  "Load  Theory  of  Selective  Attention  and  Cognitive

Control," Journal of Experimental Psychology: General, vol. 133, no. 3, pp. 339‐354, 2004.

[57]  P.  Chandler  and  J.  Sweller,  "Cognitive  Load  Theory  and  the  Format  of  Instruction,"  Cognition  and

Instruction, vol. 8, no. 4, pp. 293‐332, December 1991.

[58]  A. Byrne, "Measurement of Mental Workload in Clinical Medicine: A Review Study," Anesthesiology Pain

Medicine, vol. 1, no. 2, 2011.

[59]  K.‐C.  Huang  et  al.,  "An EEG‐Based  Fatigue Detection  and  Mitigation  System,"  International  Journal of

Neural Systems, vol. 26, no. 04, p. 1650018, April 2016.

[60]  M. R. Grech, A. Neal, G. Yeo, M. Humphreys, and S. Smith, "An examination of the relationship between  workload and fatigue within and across consecutive days of work: Is the relationship static or dynamic?,"  Journal of Occupational Health Psychology, vol. 14, no. 3, pp. 231‐242, 2009.

[61]  G. N. Dimitrakopoulos, Y. Sun, K. Ardian, N. V. Thakor, and A. Bezerianos, "A method for cross‐task mental  workload classification based on brain connectivity," Frontiers in Human Neuroscience, vol. 10, pp. 1940‐ 1949, November 2017.

[62]  T. Radüntz, "Dual Frequency Head Maps: A New Method for Indexing Mental Workload Continuously

during Execution of Cognitive Tasks," Frontiers in Physiology, vol. 8, p. 1019, December 2017.

[63]  J. R. Comstock Jr and R. J. Arnegard, "The multi‐attribute task battery for human operator workload and

strategic behavior research," Langley Research Center, Hampton, Virginia, 1992.

[64]  B. Lorenz, F. Di Nocera, S. Röttger, and R. Parasuraman, "Automated fault‐management in a simulated  spaceflight  micro‐world,"  Aviation,  Space  and  Environmental  Medicine,  vol.  73,  no.  9,  pp.  886‐897,  October 2002.

[65]  T. Radüntz, N. Fürstenau, T. Mühlhausen, and B. Meffert, "Indexing Mental Workload During Simulated  Air Traffic Control Tasks by Means of Dual Frequency Head Maps," Frontiers in Physiology, vol. 11, p. 300,  April 2020.

[66]  H.  Mansikka,  P.  Simola,  K.  Virtanen,  D.  Harris,  and  L.  Oksama,  "Fighter  pilots’  heart  rate,  heart  rate  variation and performance during instrument approaches," Ergonomics, vol. 59, no. 10, pp. 1344‐1352,  March 2016.

[67]  Y.  Lu,  J.  Wu,  and  S.  Fu,  "A  Study  of  the  Relationship  between  Novice  Pilots’  Performance  and  Multi‐ Physiology Signals," in Engineering Psychology and Cognitive Ergonomics, Crete, Greece, 2014, pp. 344‐ 350.

[68]  K. J. Verdière, R. N. Roy, and F. Dehais, "Detecting Pilot's Engagement Using fNIRS Connectivity Features  in an Automated vs. Manual Landing Scenario," Frontiers in Human Neuroscience, vol. 12, no. 6, January  2018.

[69]  X.  Wanyan,  D.  Zhuang,  and  H.  Zhang,  "Improving  pilot  mental  workload  evaluation  with  combined

measures," Bio‐Medical Materials and Engineering, vol. 24, no. 6, pp. 2283‐2290, 2014.

85 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[70]  M.  De  Rivecourt,  M.  N.  Kuperus,  W.  J.  Post,  and  L.  J.  M.  Mulder,  "Cardiovascular  and  eye  activity  measures as indices for momentary changes in mental effort during simulated flight," Ergonomics, vol.  51, no. 9, pp. 1295‐1319, September 2008.

[71]  G. Di Flumeri et al., "EEG‐Based Mental Workload Neurometric to Evaluate the Impact of Different Traffic  and  Road  Conditions  in  Real  Driving  Settings,"  Frontiers  in  Human  Neuroscience,  vol.  12,  p.  509,  December 2018.

[72]  F.  Dehais  et  al.,  "Monitoring  pilot’s  mental  workload  using  erps  and  spectral  power  with  a  six‐dry‐

electrode EEG system in real flight conditions," Sensors, vol. 19, no. 6, March 2019.

[73]  Y. Santiago‐Espada, R. R. Myer, K. A. Latorella, and J. R. Comstock, "The Multi‐Attribute Task Battery II  (MATB‐II) Software for Human Performance and Workload Research: A User’s Guide ", Langley Research  Center, Hampton, Virginia, 2011.

between

human

and  machine,

Available:

[74]  EUROCONTROL,

allocation

Task

the  https://ext.eurocontrol.int/ehp/?q=taxonomy/term/108

[75]  S. G. Hart and L. E. Staveland, "Development of NASA‐TLX (Task Load Index): Results of Empirical and  Theoretical Research," in Advances in Psychology, vol. 52, P. A. Hancock and N. Meshkati, Eds.: North‐ Holland, 1988, pp. 139‐183.

[76]  T.  Hulbert,  "A  comparison  of  the  “NASA‐TLX”  and  “ISA”  subjective  workload  rating  techniques,"

Bournemouth, UK, 1989.

[77]  R. D. McKendrick and E. Cherry, "A Deeper Look at the NASA TLX and Where It Falls Short," in Proceedings

of the Human Factors and Ergonomics Society Annual Meeting, 2018, vol. 62, no. 1, pp. 44‐48.

[78]  D.  A.  Peterson  and  D.  Kozhokar,  "Peak‐End  Effects  for  Subjective  Mental  Workload  Ratings,"  in  Proceedings  of  the  Human  Factors  and  Ergonomics  Society  Annual  Meeting,  2017,  vol.  61,  no.  1,  pp.  2052–2056.

[79]  H. A. Colle and G. B. Reid, "Context Effects in Subjective Mental Workload Ratings," Human Factors, vol.

40, no. 4, pp. 591‐600, December 1998.

[80]  S. S. Monfort, J. J. Graybeal, A. E. Harwood, P. E. McKnight, and T. H. Shaw, "A single‐item assessment  for  remaining  mental  resources:  development  and  validation  of  the  Gas  Tank  Questionnaire  (GTQ),"  Theoretical Issues in Ergonomics Science, vol. 19, no. 5, pp. 530‐552, October 2018.

[81]  D.  De  Waard,  "The  measurement  of  drivers'  mental  workload,"  PhD,  Traffic  Research  Center

Netherlands, Groningen University, 1996.

[82]  R. Brunken, J. L. Plass, and D. Leutner, "Direct measurement of cognitive load in multimedia learning,"

Educational psychologist, vol. 38, no. 1, pp. 53‐61, June 2003.

[83]  C. R. Noback, N. L. Strominger, R. J. Demarest, and D. A. Ruggiero, The Human Nervous System: Structure

and Function, Sixth Edition ed. Totowa, NJ: Humana Press, 2005, p. 475.

[84]  C. Muhl, C. Jeunet, and F. Lotte, "EEG‐based workload estimation across affective contexts," Frontiers in

Neuroscience, vol. 8, June 2014.

[85]  G.  Borghini  et  al.,  "Avionic  technology  testing  by  using  a  cognitive  neurometric  index:  A  study  with  professional  helicopter  pilots,"  in  37th  Annual  International  Conference  of  the  IEEE  Engineering  in  Medicine and Biology Society (EMBC), Milan, Italy, 2015, pp. 6182‐6185.

[86]  G.  Di  Flumeri  et  al.,  "On  the  use  of  cognitive  neurometric  indexes  in  aeronautic  and  air  traffic  management environments," in International Workshop on Symbiotic Interaction, 2015, pp. 45‐56.

86 Chapter 2. Literature Review

[87]  G.  Borghini  et  al.,  "Frontal  EEG  theta  changes  assess  the  training  improvements  of  novices  in  flight  simulation  tasks,"  in  35th  Annual  International  Conference  of  the  IEEE  Engineering  in  Medicine  and  Biology Society (EMBC), 2013, pp. 6619‐6622.

[88]  D. Tao, H. Tan, H. Wang, X. Zhang, X. Qu, and T. Zhang, "A Systematic Review of Physiological Measures  of Mental Workload," International Journal of Environmental Research and Public Health, vol. 16, no. 15,  p. 2716, July 2019.

[89]  H. Aghajani, M. Garbey, and A. Omurtag, "Measuring Mental Workload with EEG+fNIRS," Frontiers in

Human Neuroscience, vol. 11, p. 359, 2017.

[90]  C. L. Baldwin and B. N. Penaranda, "Adaptive training using an artificial neural network and EEG metrics  for within‐and cross‐task workload classification," NeuroImage, vol. 59, no. 1, pp. 48‐56, January 2012.

[91]  M.  C.  Dorneich  et  al.,  "Supporting  Real‐Time  Cognitive  State  Classification  on  a  Mobile  Individual,"

Journal of Cognitive Engineering and Decision Making, vol. 1, no. 3, pp. 240‐270, 2007.

[92]  T. Gateau, G. Durantin, F. Lancelot, S. Scannella, and F. Dehais, "Real‐Time State Estimation in a Flight

Simulator Using fNIRS," PLOS ONE, vol. 10, no. 3, p. e0121279, 2015.

[93]  B.  F.  Yuksel  et  al.,  "Learn piano  with  BACh:  An  adaptive  learning  interface  that  adjusts  task  difficulty  based on brain state," in CHI Conference on Human Factors in Computing Systems, United States, 2016,  pp. 5372‐5384.

[94]  B.‐W.  Hsu, M.‐J.  J.  Wang,  C.‐Y.  Chen,  and F.  Chen,  "Effective  indices  for  monitoring  mental  workload  while performing multiple tasks," Perceptual and Motor Skills, vol. 121, no. 1, pp. 94‐117, August 2015.

[95]  J.  Gilland,  "Driving,  eye‐tracking  and  visual  entropy:  Exploration  of  age  and  task  effects,"  PhD,

Department of Psychology, University of South Dakota, 2008.

[96]  A.  Kartali,  M.  M.  Janković,  I.  Gligorijević,  P.  Mijović,  B.  Mijović,  and  M.  C.  Leva,  "Real‐Time  Mental  Workload Estimation  Using EEG,"  in  Human  Mental Workload: Models and  Applications, Rome,  Italy,  2019, pp. 20‐34.

[97]  H. Keränen et al., "Prosodic features of speech produced by military pilots during demanding tasks," in

Proceedings of the Fonetiikan Paivat Conference, 2004, pp. 88‐91.

[98]  C. Vidaurre, C. Sannelli, W. Samek, S. Dähne, and K.‐R. Müller, "Machine Learning Methods of the Berlin

Brain‐Computer Interface," in IFAC‐PapersOnLine, 2015, vol. 48, no. 20, pp. 447‐452.

[99]  P. Aricò, G. Borghini, G. Di Flumeri, A. Colosimo, S. Pozzi, and F. Babiloni, "Chapter 10 ‐ A passive brain– computer interface application for the mental workload assessment on professional air traffic controllers  during realistic air traffic control tasks," in Progress in Brain Research, vol. 228, D. Coyle, Ed.: Elsevier,  2016, pp. 295‐328.

[100] J. A. Urigüen and B. Garcia‐Zapirain, "EEG artifact removal—state‐of‐the‐art and guidelines," Journal of

Neural Engineering, vol. 12, no. 3, p. 031001, April 2015.

[101] B. J. Fisch and R. Spehlmann, Fisch and Spehlmann's EEG primer : basic principles of digital and analog

EEG, 3rd ed. Amsterdam: Elsevier, 1999.

[102] S. J. Luck, An Introduction to the Event‐Related Potential Technique, MIT Press, 2005.

[103] A. B. Usakli, "Improvement of EEG Signal Acquisition: An Electrical Aspect for State of the Art of Front

End," Computational Intelligence and Neuroscience, vol. 2010, pp. 1‐7, 2010.

87 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[104] A. Kachenoura, L. Albera, L. Senhadji, and P. Comon, "Ica: a potential tool for bci systems," IEEE SIGNAL

PROCESSING MAGAZINE, vol. 25, no. 1, pp. 57‐68, January 2008.

[105] S.  Dähne  et  al.,  "SPoC:  a  novel  framework  for  relating  the  amplitude  of  neuronal  oscillations  to

behaviorally relevant parameters," Neuroimage, vol. 86, pp. 111‐122, February 2014.

[106] M. Tangermann, I. Winkler, S. Haufe, and B. Blankertz, "Classification of artifactual ICA components,"

International Journal of Bioelectromagnetism, vol. 11, no. 2, pp. 110‐114, January 2009.

[107] T.‐P.  Jung  et  al.,  "Removing  electroencephalographic  artifacts  by  blind  source  separation,"

Psychophysiology, vol. 37, no. 2, pp. 163‐178, 2000.

[108] K. T. Sweeney, T. E. Ward, and S. F. McLoone, "Artifact Removal in Physiological Signals—Practices and  Possibilities," IEEE Transactions on Information Technology in Biomedicine, vol. 16, no. 3, pp. 488‐500,  February 2012.

[109] F. Lotte, "A tutorial on EEG signal‐processing techniques for mental‐state recognition in brain–computer

interfaces," in Guide to Brain‐Computer Music Interfacing: Springer, 2014, pp. 133‐161.

[110] J.  H.  Friedman,  "On  Bias,  Variance,  0/1—Loss,  and  the  Curse‐of‐Dimensionality,"  Data  Mining  and

Knowledge Discovery, vol. 1, no. 1, pp. 55‐77, 1997.

[111] D.  J.  McFarland,  L.  M.  McCane,  S.  V.  David,  and  J.  R.  Wolpaw,  "Spatial  filter  selection  for  EEG‐based  communication,"  Electroencephalography  and  Clinical  Neurophysiology,  vol.  103,  no.  3,  pp.  386‐394,  1997.

[112] C.  M.  Michel,  M.  M.  Murray,  G.  Lantz,  S.  Gonzalez,  L.  Spinelli,  and  R.  Grave  De  Peralta,  "EEG  source

imaging," Clinical Neurophysiology, vol. 115, no. 10, pp. 2195‐2222, July 2004.

[113] B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, and K. Muller, "Optimizing Spatial filters for Robust

EEG Single‐Trial Analysis," IEEE Signal Processing Magazine, vol. 25, no. 1, pp. 41‐56, 2008.

[114] H. Ramoser, J. Muller‐Gerking, and G. Pfurtscheller, "Optimal spatial filtering of single trial EEG during  imagined hand movement," IEEE Transactions on Rehabilitation Engineering, vol. 8, no. 4, pp. 441‐446,  2000.

[115] F.  Lotte  and  C.  Guan,  "Spatially  Regularized  Common  Spatial  Patterns  for  EEG  Classification,"  in

International Conference on Pattern Recognition, Istanbul, Turkey, 2010.

[116] K. K. Ang, Z. Y. Chin, C. Wang, C. Guan, and H. Zhang, "Filter Bank Common Spatial Pattern Algorithm on

BCI Competition IV Datasets 2a and 2b," Frontiers in Human Neuroscience, vol. 6, no. 39, March 2012.

[117] S. Dähne, V. V. Nikulin, D. Ramírez, P. J. Schreier, K.‐R. Müller, and S. Haufe, "Finding brain oscillations

with power dependencies in neuroimaging data," NeuroImage, vol. 96, pp. 334‐348, 2014.

[118] I. Käthner, S. C. Wriessnegger, G. R. Müller‐Putz, A. Kübler, and S. Halder, "Effects of mental workload  and fatigue on the P300, alpha and theta band power during operation of an ERP (P300) brain‐computer  interface," Biological Psychology, vol. 102, no. 1, pp. 118‐129, August 2014.

[119] M. Causse, E. Fabre, L. Giraudet, M. Gonzalez, and V. Peysakhovich, "EEG/ERP as a Measure of Mental

Workload in a Simple Piloting Task," Procedia Manufacturing, vol. 3, pp. 5230‐5236, 2015.

[120] R.  Fazel‐Rezai,  B.  Z.  Allison,  C.  Guger,  E.  W.  Sellers,  S.  C.  Kleih,  and  A.  Kübler,  "P300  brain  computer  interface: current challenges and emerging trends," Frontiers in Neuroengineering, vol. 5, 2012.

88 Chapter 2. Literature Review

[121] F. Lotte and C. Guan, "An Efficient P300‐based Brain‐Computer Interface with Minimal Calibration Time,"  in Assistive Machine Learning for People with Disabilities symposium (NIPS'09 Symposium), Vancouver,  Canada, 2009.

[122] U.  Hoffmann,  J.‐M.  Vesin,  and  T.  Ebrahimi,  "Spatial  filters  for  the  classification  of  event‐related

potentials," in European Symposium on Artificial Neural Networks, Bruges, 2006.

[123] B.  Rivet,  A.  Souloumiac,  V.  Attina,  and  G.  Gibert,  "xDAWN  Algorithm  to  Enhance  Evoked  Potentials:  Application to Brain–Computer Interface," IEEE Transactions on Biomedical Engineering, vol. 56, no. 8,  pp. 2035‐2043, 2009.

[124] S. Puma, N. Matton, P.‐V. Paubel, É. Raufaste, and R. El‐Yagoubi, "Using theta and alpha band power to  assess cognitive workload in multitasking environments," International Journal of Psychophysiology, vol.  123, pp. 111‐120, October 2018.

[125] M. E. Smith, A. Gevins, H. Brown, A. Karnik, and R. Du, "Monitoring Task Loading with Multivariate EEG  Measures during Complex Forms of Human‐Computer Interaction," Human Factors, vol. 43, no. 3, pp.  366‐380, 2001.

[126] W. Klimesch, "EEG alpha and theta oscillations reflect cognitive and memory performance: a review and

analysis," Brain Research Reviews, vol. 29, no. 2‐3, pp. 169‐195, November 1999.

[127] A. Gevins, M. E. Smith, L. McEvoy, and D. Yu, "High‐resolution EEG mapping of cortical activation related  to working memory: effects of task difficulty, type of processing, and practice," Cerebral Cortex, vol. 7,  no. 4, pp. 374‐385, June 1997.

[128] A.  Gevins  et  al.,  "Monitoring  Working  Memory  Load  during  Computer‐Based  Tasks  with  EEG  Pattern

Recognition Methods," Human Factors, vol. 40, no. 1, pp. 79‐91, March 1998.

[129] P. Aricò, G. Borghini, G. Di Flumeri, N. Sciaraffa, and F. Babiloni, "Passive BCI beyond the lab: current

trends and future directions," Physiological Measurement, vol. 39, no. 8, August 2018.

[130] K. Inanaga, "Frontal midline theta rhythm and mental activity," Psychiatry and Clinical Neurosciences,

vol. 52, no. 6, pp. 555‐566, 1998.

[131] K. Ryu and R. Myung, "Evaluation of mental workload with a combined measure based on physiological  indices  during  a  dual  task  of  tracking  and  mental  arithmetic,"  International  Journal  of  Industrial  Ergonomics, vol. 35, no. 11, pp. 991‐1009, 2005.

[132] M.  Mikhail,  K.  El‐Ayat,  J.  A.  Coan,  and  J.  J.  Allen,  "Using  minimal  number  of  electrodes  for  emotion  detection  using  brain  signals  produced  from  a  new  elicitation  technique,"  International  Journal  of  Autonomous Adaptive Communications Systems, vol. 6, no. 1, pp. 80‐97, 2013.

[133] R.  Hefron,  B.  Borghetti,  C.  S.  Kabban,  J.  Christensen,  and  J.  Estepp,  "Cross‐Participant  EEG‐Based  Assessment  of  Cognitive  Workload  Using  Multi‐Path  Convolutional  Recurrent  Neural  Networks,"  Sensors, vol. 18, no. 5, p. 1339, April 2018.

[134] G. Borghini, L. Astolfi, G. Vecchiato, D. Mattia, and F. Babiloni, "Measuring neurophysiological signals in  aircraft  pilots  and  car  drivers  for  the  assessment  of  mental  workload,  fatigue  and  drowsiness,"  Neuroscience & Biobehavioral Reviews, vol. 44, pp. 58‐75, 2014.

[135] M. Schultze‐Kraft, S. Dahne, B. Blankertz, and G. Curio, "Temporal and Spatial Distribution of Workload‐ Induced Power Modulations of EEG Rhythms," in Fifth International Brain‐Computer Interface Meeting,  Ann Harbor, USA, 2013.

89 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[136] Y.  Ke  et  al.,  "Towards  an  effective  cross‐task  mental  workload  recognition  model  using  electroencephalography  based  on  feature  selection  and  support  vector  machine  regression,"  International Journal of Psychophysiology, vol. 98, no. 2, pp. 157‐166, October 2015.

[137] K. Holmqvist, M. Nyström, R. Andersson, R. Dewhurst, H. Jarodzka, and J. Van de Weijer, Eye tracking: A

comprehensive guide to methods and measures, Oxford, UK: Oxford University Press, 2011.

[138] K. F. Van Orden, W. Limbert, S. Makeig, and T.‐P. Jung, "Eye Activity Correlates of Workload during a  Visuospatial Memory Task," Human Factors: The Journal of the Human Factors and Ergonomics Society,  vol. 43, no. 1, pp. 111‐121, 2001.

[139] M. S. Jessee, "Examining the convergent and discriminant validity of visual and mental workload using

ocular activity variables," Army Research Laboratory, March 2010.

[140] S. Benedetto, M. Pedrotti, L. Minin, T. Baccino, A. Re, and R. Montanari, "Driver workload and eye blink  duration," Transportation Research Part F: Traffic Psychology and Behaviour, vol. 14, no. 3, pp. 199‐208,  December 2011.

[141] U. Ahlstrom and F. J. Friedman‐Berg, "Using eye movement activity as a correlate of cognitive workload,"

International Journal of Industrial Ergonomics, vol. 36, no. 7, pp. 623‐636, 2006.

[142] L.  L.  Di  Stasi,  A.  Antolí,  M.  Gea,  and  J.  J.  Cañas,  "A  neuroergonomic  approach  to  evaluating  mental  workload in hypermedia interactions," International Journal of Industrial Ergonomics, vol. 41, no. 3, pp.  298‐304, 2011.

[143] M. G. Glaholt, "Eye tracking in the cockpit: a review of the relationships between eye movements and

the aviators cognitive state," Defence Research and Development Canada, December 2014.

[144] A.  F.  Kramer  et  al.,  "Instrument  scan  and  pilot  expertise,"  in  Proceedings  of  the  Human  Factors

Ergonomics Society, 1994, vol. 1, pp. 36‐40.

[145] R. L. Harris Sr, B. J. Glover, and A. A. Spady Jr, "Analytical techniques of pilot scanning behavior and their

application," National Aeronautic and Space Administration, 1986.

[146] M.  J.  Krebs,  J.  W.  Wingert,  and  T.  Cunningham,  Exploration  of  an  oculometer‐based  model  of  pilot

workload National Aeronautics and Space Administration Washington, DC, 1977.

[147] E. A. Ashley and J. Niebauer, Cardiology Explained, London: Remedica, 2004.

[148] F. Shaffer and J. P. Ginsberg, "An Overview of Heart Rate Variability Metrics and Norms," Frontiers in

Public Health, vol. 5, 2017.

[149] L. J. M. Mulder, "Measurement and analysis methods of heart rate and respiration for use in applied

environments," Biological Psychology, vol. 34, no. 2‐3, pp. 205‐236, 1992.

[150] A. M. Hughes, G. M. Hancock, S. L. Marlow, K. Stowers, and E. Salas, "Cardiac Measures of Cognitive

Workload: A Meta‐Analysis," Human Factors, vol. 61, no. 3, pp. 393‐414, May 2019.

[151] T. Heine, G. Lenis, P. Reichensperger, T. Beran, O. Doessel, and B. Deml, "Electrocardiographic features  for the measurement of drivers’ mental workload," Applied Ergonomics, vol. 61, pp. 31‐43, January 2017.

[152] J.‐H. Zhang, X.‐D. Peng, H. Liu, J. Raisch, and R.‐B. Wang, "Classifying human operator functional state  based  on  electrophysiological  and  performance  measures  and  fuzzy  clustering  method,"  Cognitive  Neurodynamics, vol. 7, no. 6, pp. 477‐494, 2013.

90 Chapter 2. Literature Review

[153] M. Fallahi, M. Motamedzade, R. Heidarimoghadam, A. R. Soltanian, and S. Miyake, "Effects of mental  workload  on  physiological  and  subjective  responses  during  traffic  density  monitoring:  A  field  study,"  Applied Ergonomics, vol. 52, pp. 95‐103, July 2016.

[154] W. Zongmin, Z. Damin, W. Xiaoru, L. Chen, and Z. Huan, "A model for discrimination and prediction of  mental workload of aircraft cockpit display interface," Chinese Journal of Aeronautics, vol. 27, no. 5, pp.  1070‐1077, March 2014.

[155] Y. Ding, Y. Cao, V. G. Duffy, Y. Wang, and X. Zhang, "Measurement and identification of mental workload  during simulated computer tasks with multimodal methods and machine learning," Ergonomics, vol. 63,  no. 7, pp. 896‐908, April 2020.

[156] C.‐H. Ting et al., "Real‐Time Adaptive Automation System Based on Identification of Operator Functional  State in Simulated Process Control Operations," IEEE Transactions on Systems, Man, and Cybernetics,  vol. 40, no. 2, pp. 251‐262, March 2010.

[157] K.  Hercegfi,  "Improved  Temporal  Resolution  Heart  Rate  Variability  Monitoring—Pilot  Results  of  Non‐ Laboratory Experiments Targeting Future Assessment of Human‐Computer Interaction," International  Journal of Occupational Safety and Ergonomics, vol. 17, no. 2, pp. 105‐117, 2011.

[158] J.  Liu,  C.  K.  Wong,  and  K.  K.  Hui,  "An  adaptive  user  interface  based  on  personalized  learning,"  IEEE

Intelligent Systems, vol. 18, no. 2, pp. 52‐57, April 2003.

[159] A. Khawaji, F. Chen, J. Zhou, and N. Marcus, "Trust and cognitive load in the text‐chat environment," in

26th Australian Computer‐Human Interaction Conference, 2014, pp. 324–327.

[160] S.  Arshad,  Y.  Wang,  and  F.  Chen,  "Analysing  mouse  activity  for  cognitive  load  detection,"  in  OZCHI:

Computer‐Human Interaction of Australia, Australia, 2013, pp. 115‐118.

[161] R. Matthews, N. J. McDonald, and L. J. Trejo, "Psycho‐physiological sensor techniques: an overview," in

Foundations of augmented cognition, vol. 11: Taylor and Francis, 2005, pp. 263‐272.

[162] A. Berthold and A. Jameson, "Interpreting Symptoms of Cognitive Load in Speech Input," in UM99 User

Modeling, Vienna, 1999, pp. 235‐244.

[163] R. W. Backs, H. T. Navidzadeh, and X. Xu, "Cardiorespiratory indices of mental workload during simulated  air traffic control," in Proceedings of the Human Factors and Ergonomics Society, Santa Monica, 2000,  vol. 3, p. 89.

[164] E.  Musk,  "An  integrated  brain‐machine  interface  platform  with  thousands  of  channels,"  bioRxiv,  p.

703801, 2019.

[165] S.  C.  Bunce,  M.  Izzetoglu,  K.  Izzetoglu,  B.  Onaral,  and  K.  Pourrezaei,  "Functional  near‐infrared

spectroscopy," IEEE engineering in medicine biology magazine, vol. 25, no. 4, pp. 54‐62, 2006.

[166] B.‐K.  Min,  M.  J.  Marzelli,  and  S.‐S.  Yoo,  "Neuroimaging‐based  approaches  in  the  brain–computer

interface," Trends in Biotechnology, vol. 28, no. 11, pp. 552‐560, 2010.

[167] N.  Naseer  and  K.‐S.  Hong,  "fNIRS‐based  brain‐computer  interfaces:  a  review,"  Frontiers  in  Human

Neuroscience, vol. 9, January 2015.

[168] H.  Tanaka,  T.  Katura,  and  H.  Sato,  "Task‐related  oxygenation  and  cerebral  blood  volume  changes  estimated from NIRS signals in motor and cognitive tasks," NeuroImage, vol. 94, pp. 107‐119, 2014.

[169] J. Harrison et al., "Cognitive Workload and Learning Assessment During the Implementation of a Next‐ Generation  Air  Traffic  Control  Technology  Using  Functional  Near‐Infrared  Spectroscopy,"  IEEE  Transactions on Human‐Machine Systems, vol. 44, no. 4, pp. 429‐440, August 2014.

91 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[170] H. Ayaz, P. A. Shewokis, S. Bunce, K. Izzetoglu, B. Willems, and B. Onaral, "Optical brain monitoring for  operator training and mental workload assessment," NeuroImage, vol. 59, no. 1, pp. 36‐47, June 2012.

[171] H. Ayaz et al., "Estimation of Cognitive Workload during Simulated Air Traffic Control Using Optical Brain  Imaging  Sensors,"  in Foundations of Augmented  Cognition.  Directing  the  Future  of  Adaptive Systems,  Berlin, Heidelberg, 2011, pp. 549‐558.

[172] D.  Afergan  et  al.,  "Dynamic  difficulty  using  brain  metrics  of  workload,"  in  Proceedings  of  the  SIGCHI

Conference on Human Factors in Computing Systems, Toronto, Ontario, Canada, 2014, pp. 3797–3806.

[173] G. F. Wilson and C. A. Russell, "Real‐Time Assessment of Mental Workload Using Psychophysiological

Measures and Artificial Neural Networks," Human Factors, vol. 45, no. 4, pp. 635‐643, 2003.

[174] Y. Shi, N. Ruiz, R. Taib, E. Choi, and F. Chen, "Galvanic skin response (GSR) as an index of cognitive load,"  in CHI Conference on Human Factors in Computing Systems, United States, 2007, pp. 2651‐2656.

[175] B. C. Ko, "A Brief Review of Facial Emotion Recognition Based on Visual Information," Sensors, vol. 18,

no. 2, p. 401, January 2018.

[176] F. Rivalta, N. Pongsakornsathien, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "Facial Expression Analysis  for Cognitive State Estimation in Aerospace Human‐Machine Systems," in IEEE International Conference  on Human‐Machine‐Systems Rome, Italy, 2020.

[177] J. Verrel, M. Lövdén, M. Schellenbach, S. Schaefer, and U. Lindenberger, "Interacting effects of cognitive  load and adult age on the regularity of whole‐body motion during treadmill walking," Psychology and  Aging, vol. 24, no. 1, pp. 75‐81, 2009.

[178] A.  Kar  and  P.  Corcoran,  "A  Review  and  Analysis  of  Eye‐Gaze  Estimation  Systems,  Algorithms  and

Performance Evaluation Methods in Consumer Platforms," IEEE Access, vol. 5, pp. 16495‐16519, 2017.

[179] Y. Lim, A. Gardi, N. Pongsakornsathien, R. Sabatini, N. Ezer, and T. Kistan, "Experimental characterisation  of  eye‐tracking  sensors  for  adaptive  human‐machine  systems,"  Measurement,  vol.  140,  pp.  151‐160,  2019/07/01/ 2019.

[180] N. Ruiz, "Cognitive load measurement in multimodal interfaces," PhD, School of Computer Science and

Engineering, University of New South Wales, Sydney, Australia, 2011.

[181] M. Hajinoroozi, Z. Mao, T.‐P. Jung, C.‐T. Lin, and Y. Huang, "EEG‐based prediction of driver's cognitive  performance by deep convolutional neural network," Signal Processing: Image Communication, vol. 47,  pp. 549‐555, 2016.

[182] M. Kumar, M. Weippert, R. Vilbrandt, S. Kreuzfeld, and R. Stoll, "Fuzzy Evaluation of Heart Rate Signals

for Mental Stress Assessment," IEEE Transactions on Fuzzy Systems, vol. 15, no. 5, pp. 791‐808, 2007.

[183] Z.  Wang,  R.  M.  Hope,  Z.  Wang,  Q.  Ji,  and  W.  D.  Gray,  "Cross‐subject  workload  classification  with  a

hierarchical Bayes model," NeuroImage, vol. 59, no. 1, pp. 64‐69, July 2012.

[184] G. F. Wilson, "An Analysis of Mental Workload in Pilots During Flight Using Multiple Psychophysiological

Measures," The International Journal of Aviation Psychology, vol. 12, no. 1, pp. 3‐18, November 2002.

[185] J.  Zhang  and  R.  Wang,  "Adaptive  Fuzzy  Modeling  Based  Assessment  of  Operator  Functional  State  in  Complex  Human–Machine  Systems,"  in  Complex  Systems,  G.  M.  Dimirovski,  Ed.  (Studies  in  Systems,  Decision and Control, no. 55)  Switzerland: Springer International Publishing, 2016, pp. 189‐210.

[186] M.  A.  Hogervorst,  A.‐M.  Brouwer,  and  J.  B.  F.  Van  Erp,  "Combining  and  comparing  EEG,  peripheral  physiology and eye‐related measures for the assessment of mental workload," Frontiers in Neuroscience,  vol. 8, p. 322, October 2014.

92 Chapter 2. Literature Review

[187] G.  F.  Wilson  and  C.  A.  Russell,  "Operator  Functional  State  Classification  Using  Multiple  Psychophysiological Features in an Air Traffic Control Task," Human Factors: The Journal of the Human  Factors and Ergonomics Society, vol. 45, no. 3, pp. 381‐389, 2003.

[188] G.  Zhao,  Y.‐J.  Liu,  and  Y.  Shi,  "Real‐Time  Assessment  of  the  Cross‐Task  Mental  Workload  Using  Physiological Measures During Anomaly Detection," IEEE Transactions on Human‐Machine Systems, vol.  48, no. 2, pp. 149‐160, April 2018.

[189] B.  Cinaz,  B.  Arnrich,  R.  La  Marca,  and  G.  Tröster,  "Monitoring  of  mental  workload  levels  during  an  everyday  life  office‐work  scenario,"  Personal  and  Ubiquitous  Computing,  vol.  17,  no.  2,  pp.  229‐239,  2013.

[190] A.  Jimenez‐Molina,  C.  Retamal,  and  H.  Lira,  "Using  Psychophysiological  Sensors  to  Assess  Mental

Workload During Web Browsing," Sensors, vol. 18, no. 2, p. 458, 2018.

[191] I.  T.  Y.  Zhe  and  P.  Keikhosrokiani,  "Knowledge  workers  mental  workload  prediction  using  optimised

ELANFIS," Applied Intelligence, September 2020.

[192] L. A. Zadeh, "Fuzzy sets," in Fuzzy sets, fuzzy logic, and fuzzy systems: selected papers World Scientific,

1965, pp. 394‐432.

[193] J.  S.  R.  Jang,  "ANFIS:  adaptive‐network‐based  fuzzy  inference  system,"  IEEE  Transactions  on  Systems,

Man, and Cybernetics, vol. 23, no. 3, pp. 665‐685, June 1993.

[194] J.  Vieira,  F.  M.  Dias,  and  A.  Mota,  "Neuro‐fuzzy  systems:  a  survey,"  in  5th  WSEAS  NNA  International

Conference, Udine, Italy, 2004.

[195] Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.

10, p. 12, January 2021.

[196] R. Wang, J. Zhang, Y. Zhang, and X. Wang, "Assessment of human operator functional state using a novel  differential  evolution  optimization  based  adaptive  fuzzy  model,"  Biomedical  Signal  Processing  and  Control, vol. 7, no. 5, pp. 490‐498, September 2012.

[197] J.‐H. Zhang, X.‐Y. Wang, M. Mahfouf, and D. A. Linkens, "Fuzzy Logic based Identification of Operator  Functional States Using Multiple Physiological and Performance Measures," in International Conference  on BioMedical Engineering and Informatics, Sanya, 2008, pp. 570‐574.

[198] A. Azadeh, M. Rouzbahman, M. Saberi, F. Valianpour, and A. Keramati, "Improved prediction of mental  workload versus HSE and ergonomics factors by an adaptive intelligent algorithm," vol. 58, pp. 59‐75,  2013.

[199] S.  Makeig,  A.  J.  Bell,  T.‐P.  Jung,  and  T.  J.  Sejnowski,  "Independent  component  analysis  of  electroencephalographic data," in Advances in neural information processing systems, 1996, pp. 145‐ 151.

[200] M. Izzetoglu et al., "Functional Near‐Infrared Neuroimaging," IEEE Transactions on Neural Systems and

Rehabilitation Engineering, vol. 13, no. 2, pp. 153‐159, 2005.

[201] F. C. Robertson, T. S. Douglas, and E. M. Meintjes, "Motion Artifact Removal for Functional Near Infrared  Spectroscopy: A Comparison of Methods," IEEE Transactions on Biomedical Engineering, vol. 57, no. 6,  pp. 1377‐1387, 2010.

[202] S. Fazli, S. Dahne, W. Samek, F. Bieszmann, and K.‐R. Muller, "Learning From More Than One Data Source:  Data  Fusion  Techniques  for  Sensorimotor  Rhythm‐Based  Brain–Computer  Interfaces,"  Proceedings  of  the IEEE, vol. 103, no. 6, pp. 891‐906, 2015.

93 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

[203] S.  Dahne  et  al.,  "Multivariate  Machine  Learning  Methods  for  Fusing  Multimodal  Functional

Neuroimaging Data," Proceedings of the IEEE, vol. 103, no. 9, pp. 1507‐1530, 2015.

[204] S.  Amiri,  R.  Fazel‐Rezai,  and  V.  Asadpour,  "A  Review  of  Hybrid  Brain‐Computer  Interface  Systems,"

Advances in Human‐Computer Interaction, vol. 2013, pp. 1‐8, 2013.

[205] A. P. Buccino, H. O. Keles, and A. Omurtag, "Hybrid EEG‐fNIRS Asynchronous Brain‐Computer Interface

for Multiple Motor Tasks," PLOS ONE, vol. 11, no. 1, January 2016.

[206] S. Fazli et al., "Enhanced performance by a hybrid NIRS–EEG brain computer interface," NeuroImage,

vol. 59, no. 1, pp. 519‐529, 2012.

[207] Z. Yin and J. Zhang, "Cross‐session classification of mental workload levels using EEG and an adaptive

deep learning model," Biomedical Signal Processing and Control, vol. 33, pp. 30‐47, November 2017.

[208] R. Xiong, F. Kong, X. Yang, G. Liu, and W. Wen, "Pattern Recognition of Cognitive Load Using EEG and

ECG Signals," Sensors, vol. 20, no. 18, p. 5122, September 2020.

94 Chapter 2. Literature Review

Chapter 3

Methodology and Top-Level System Design

Introduction

This chapter gives an overview of the methodology for this research project and introduces

some of the design considerations for the sensing and estimation module as needed for an

operational  CHMS.  Both  the  system  design  and  experimental  design  presented  in  this

chapter is a result of an iterative refinement process that was conducted throughout this

research project. The design requirements section will outline the top‐level requirements

and then give an outline of the processes involved for sensing and estimating MWL including

the human, sensing module and estimation module. These sections are there to drive future

design of a sensing and estimation module as needed for an operational CHMS and will assist

in the experimental design of this research.

The second part of this chapter will detail the methodology for this research. This includes

detailing the various hardware equipment used, including the EEG, ECG, eye activity tracker

and  Control  Input  (CI)  devices.  The  following  part  is  an  overview  of  the  software

infrastructure  used  in  this  research.  This  will  include  outlining  a  high‐level  software

architecture used in the various experimental activities, and a list of the various software

applications and their specifications as used in this project. A brief section will present some

95

96 Chapter 3. Methodology and Top‐level System Design

sensor  compatibility  considerations  between  the  EEG  and  eye  tracker,  and  how  this  was

addressed.

Design considerations for sensing and estimation

A CHMS will provide real‐time system adaptation by collecting physiological and behavioural

as well as environmental and other system observables which are then fused in real‐time to

provide a final estimation of the operator’s cognitive states. The estimation of the human

operators’ cognitive states will then dynamically change various system functions including

Human Machine Interface (HMI) formats and functions, level of automation and dynamically

change the alerting mode. As such optimal performance of the system can be achieved while

continuously ensuring that the human operator maintains a central role in the operation of

the system. The eventual objective of the CHMS is to create safer and more effective and

efficient  operations  of  future  aerospace  CPHS  architectures  with  optimal  interaction

between the human and machine. In its fundamental form the CHMS can be depicted as a

negative  feedback  loop  as  seen  in  Figure  3.1.  The  system  consists  of  four  fundamental

modules, the human operator, the sensing module, the estimation module (combined in the

figure) and lastly the system adaptation module.

Figure 3.1. Basic configuration of CHMS.

This research project includes the design and development of a system that collects raw

physiological  and  behavioural  data,  extracts  features  and  then  uses  ML  models  for

estimating  the  MWL  of  a  human  operator  with  the  multimodal  data.  The  reliable  and

97 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

accurate estimation of MWL is arguably the more important aspect of the CHMS as this is

the information that will drive the real‐time system adaptation. Henceforth, this research

solely focuses on the multimodal sensing and estimation of MWL.

3.2.1. Top-level requirements for sensing and estimation

The top‐level requirement for the sensing and estimation module of the CHMS are detailed

below and are described to further guide the development of the multimodal inference of

MWL.  Requirements  have  previously  been  discussed  in  other  studies  and  are  also

considered [1]. An operational sensing and estimation module shall:

A. Measure physiological and behavioural responses and estimate cognitive states in

real‐time;

B. Include sensing of multiple physiological and behavioural responses for increased

reliability;

C. Provide estimations at regular intervals as needed for optimal system adaptation;

D. Include an estimation module with a robust data fusion method that provides a

reliable and accurate inference of cognitive states;

E. Include wearable or non‐wearable sensors that will not be intrusive to the task

and/or hinder the operational effectiveness;

F. Provide estimations of cognitive states that are repeatable and consistent (i.e. no

unintentional offset and/ or drift in the resulting inferred cognitive state);

G. Be able to cope with minor or major artifacts and/or interferences;

H. Be able to dynamically adjust the model used for estimating MWL in the event a

specific sensor becomes unavailable or the quality of sensor data is reduced;

I. Provide a cross‐task inference model that is at minimum able to work well for

cross‐level inference (i.e. a similar task but with increased difficulty);

J. Include a calibrated model that is capable of cross‐session inference of MWL (i.e.

calibration shall not be required at the beginning of each session);

K. Include a calibration session of the cognitive state models that is relatively efficient

and is not needed to be conducted at frequent intervals;

98 Chapter 3. Methodology and Top‐level System Design

L. All physiological information of the human operator shall be protected, and privacy

shall be maintained;

M. Provide a method for inferring cognitive state that is explainable by quantifying, at

request from the operator, what sources/ features are driving the specific level in

cognitive state;

N. Provide a measure of cognitive states that is sensitive to the respective cognitive

state being measured and shall not be affected by other factors such as emotional

stress (unless directly related to the respective cognitive state).

3.2.2. Processes for sensing and estimation

While a fully operational CHMS is a closed loop system that dynamically changes the task

load presented to the human operator, this research will consider an open loop system. As

seen in Figure 3.2 the task load presented to the human operator is static with a controlled

task load generation that is previously determined. The system then consists of a task load,

the human, the sensing module and lastly the estimation module. The respective elements

of this and their processes will be presented in further detail below.

ESTIMATION

SENSING AND FEATURE EXTRACTION

Task load generation

Actual MWL

Task load

I N F E R R E D M W L

HUMAN

Figure 3.2. Fundamental components of sensing and estimation.

3.2.2.1. Human operator

The resulting cognitive states of the human operator is a result of the task load presented

to  the  human  operator  and  other  human  factors  such  as  experience,  cognitive  ability  or

exogenous factors such as time pressure. As outlined in Chapter 2 there are a few common

theories concerning mental capacity including multiple resource theory [2], perceptual load

99 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

theory [3] and cognitive load theory [4]. All these theories illustrate that mental capacity,

such as working memory and attention, has a limit and once exceeding those limits there

are  changes  in  mental  state.  The  human  operator  can  thus  have  different  variables  that

affect the performance of the system and the resulting experienced MWL.

3.2.2.2. Sensing

The  sensing  module  includes  a  heterogenous  sensor  network  including  the  sensors  for

measuring physiological and behavioural responses. The sensors include various advanced

wearable and remote sensors, such as an EEG, eye tracker and computer mouse. The sensing

module of the CHMS consists of two different heterogenous sensor networks, as illustrated

in  Figure  2.2,  in  Chapter  2.  One  is  the  heterogenous  network  for  the  physiological  and

behavioural sensing, while the other is for the sensing and estimation of the performance

measures  extracted  from  the  system,  operational  and  environmental  conditions.  Both

sensing  and  estimation  are  closely  interlinked,  however  the  processes  for  the  network

relating  to  the  physiological,  behavioural  and  performance  sensing  are  further  explained

below.

Physiological, behavioural and performance sensing

As  detailed  in  Chapter  2,  various  publications  have  studied  the  sensing  of  physiological,

behavioural and performance responses to changes in MWL. The sensors previously used

for measuring MWL include among other EEG [5, 6], eye tracking based features [7‐9] and

cardiorespiratory measures [10, 11]. The use of these measures has been implemented in

various scenarios from simple cognitive task batteries [12], to more complex task scenarios

including piloting an aircraft [13] or air traffic control [14]. In this research the physiological

measures  are  defined  as  ones  from  the  CeNS  and  PNS,  that  are  a  result  of  involuntary

reactive response of the human operator. Hence, performance based measure is defined

for this research as a measure of how well the system is performing, which thus includes

setting  specific  criteria  for  successful  performance  of  a  given  task.  Lastly,  behavioural

measures are defined as measure that are extracted from the user’s activity and that are

under voluntary control, e.g. control inputs or arguably BPM.

100 Chapter 3. Methodology and Top‐level System Design

Sensor network

An  operational  CHMS  should  rely  on  multiple  sensors,  and  a  number  of  studies  have

collected different physiological responses using various sensors [14‐17]. This is important

as the various physiological sensors and their biological processes are prone to distinctly

different disturbances. Although multiple sensors are needed to improve reliability, some

challenges  arise  with  this  including  different  measurement  performance  (e.g.  accuracy,

resolution,  etc.)  and  sampling  frequencies  of  each  sensor.  As  such  a  sensor  network

optimisation scheme is key when designing a reliable CHMS [18]. The adoption of sensor

networks is both a natural and necessary evolution to effectively exchange, synchronise and

process  measurement  data  within  a  customisable  operational  network  architecture.  In

addition,  a  sensor  network  is  natively  suited  to  exploit  data  fusion  of  the  physiological

measurements to increase the overall inference accuracy and reliability of the estimation

module as further discussed below.

3.2.2.3. Estimation

As mentioned above the sensing and estimation models are closely interlinked. However, as

briefly  mentioned  in  the  sensing  section,  apart  from  the  extraction  of  features  from  the

respective  sensors  and  the  physiological  responses,  the  implementation  of  various  AI

models in the form of multimodal data fusion is key for the increased reliability and accuracy

of the estimation of MWL.

The  estimation  module  includes  taking  the  multivariant  features  produced  from  the  two

different  heterogenous  sensor  networks  and  producing  an  estimate  of  the  MWL  of  the

human  operator.  The  estimation  module  can  include  various  AI  methods  for  fusing  the

multivariant  feature  data  where  supervised  ML  models  are  among  the  most  promising

approaches [19]. There are a number of potential candidates for an AI model, but many of

the  commonly  used  classification  models  for  MWL  estimation  include  LDA,  classification

tree  and  k‐nearest  neighbour,  SVM,  elastic  net  and  ANN  [14,  17,  20‐23].  Among  the

classification  models  it  has  been  noted  that  for  the  fusion  of  multiple  physiological  and

behavioural  measures,  ANN  is  well  suited,  as  it  is  a  non‐linear  method  which  can  be

advantageous  in  complex  task  situations  [14,  15].  Although  ANN  and  other  classification

models  have  shown  good  performance  in  classifying  MWL  between  low  and  high  MWL

101 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

states,  it  has  been  argued  that  models  such  as  ANN  have  some  significant  limitations,

including the lack of explainability of the model’s output [24]. As such fuzzy models have

been highlighted as they are more transparent and  interpretable. In addition, fuzzy logic,

including the ANFIS can also provide a regression approach with continuous output values.

The ANFIS has been used in a few cases for multimodal fusion of various cognitive states

[24].

These aforementioned AI models include both supervised and unsupervised models. Many

of the ML methods, either those requiring labelled data or not, are required to undergo a

calibration phase based on collected data that will be used to calibrate the models. As such,

before full implementation of a CHMS in future operational use, an initial calibration phase

would  need  to  be  performed  to  generate  and  validate  the  MWL  model  of  the  human

operator. With methods such as supervised ML however, the calibration phase should be

conducted using additional objective measures, such as secondary task performance, task

analysis  (determined  analytically  prior  to  the  experiment)  and/or  reserving  other

physiological/  behavioural  data  to  serve  as  data  labels  for  model  calibration.  Such  a

calibration phase will define the baseline and thresholds of the MWL, which will serve as the

reference MWL conditions for comparison with the operationally collected and estimated

data that will then drive system adaptation as needed for a CHMS.

Research methodology

This  section  will  detail  the  overall  methodology  implemented  in  this  research  and  the

approach taken for conducting the experimental activities.  This will include describing the

two respective task load generation used for provoking MWL in this research. In addition,

the sensor equipment used will be described including the various hardware components

and the relevant sensor specifications. The software infrastructure will also be presented

including  a  basic  data  flow  diagram  for  processing  and  collecting  the  physiological‐,

behavioural‐  and  performance‐based  measures  as  well  as  detailing  all  the  software

applications.  Furthermore,  this  section  will  detail  the  data  analysis  methods  used  for

assessing  the  results  of  the  various  measures.  The  various  methods  for  extracting  the

features as well as calibrating and validating the ML models used in this research will not be

102 Chapter 3. Methodology and Top‐level System Design

presented in this chapter but will be detailed in the respective subsequent chapters. Lastly,

the general project methodology for this research will be outlined in the sub section below

while more detail will be given regarding the individual activities presented in Section 3.4.

3.3.1. General project methodology

This research aims to develop an accurate and repeatable inference model for estimating

MWL  as  needed  for  a  CHMS  system.  In  working  towards  this  aim,  the  following  general

methodology was implemented as part of this project. The general project methodology can

be seen in Figure 3.3 below and was used for the three experimental activities (referred to

as Experimental Activity 1, 2 and 3). The full project methodology consisted of firstly using

a  task  scenario  to  controllably  generate  various  task  loads  that  were  presented  to  the

human subject. The human then performs the presented task load, which in turn resulted

in an “actual MWL” perceived by the human.

The “observe” block was then where various wearable and non‐wearable sensors measure

various physiological and behavioural responses that originated from the human performing

the given task. This included using an EEG, eye tracker, ECG and monitoring control inputs,

where the collection of the raw data and further feature extraction was performed.

Then  in  the  “orient”  module  the  various  extracted  features  were  collected,  and  the

physiological  features  were  subsequently  oriented  using  the  Pearson  CC,  to  assess  the

pairwise linear relationship with another objective measure of MWL. This could either be

the  correlation  between  the  feature  and  a  pre‐determined  task  profile,  or  a  pairwise

correlation with a secondary task performance measure.

Then  in  the  “decide”  module  an  assessment  was  made  that  decided  which  physiological

feature was best suited for MWL estimation based on the pairwise correlation results. This

assessment was then used for the “act” module, where the top performing features were

implemented  in  the  desired  inference  model  that  fused  all  the  features  into  one  final

inference of MWL.

103 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 3.3. The general project methodology.

In  working  towards  demonstrating  the  capabilities  of  a  sensing  and  estimation  module’s

ability to infer MWL in real‐time, three experimental activities were conducted using various

steps of the general project methodology presented above. Experimental Activity 1 included

an  exploratory  activity  that  assessed  some  physiological  and  behavioural  measures  that

were associated to a complex OTM UAV wildfire detection scenario. This only included using

parts of the general project methodology, where only the observe and orient sections were

implemented.

For  the  other  two  experimental  activities  (Experimental  Activity  2  and  3)  an  offline  and

online calibration and validation of a multimodal data fusion model was developed for real‐

time estimation of MWL. The terms offline validation and online validation are adopted in

this  thesis  to  reflect  the  language  used  in  the  literature  in  the  area  of  ML  for  MWL

estimation. Here the terms are used to explain that a given model is tested (or validated)

with “unseen” data either in real‐time or during offline processing. While these terms are

widely used in this thesis, experimental activities 2 and 3 are considered exploratory studies

into multimodal inference models of MWL. For these activities the full project methodology

was implemented, where the best performing features were assessed based on the CC and

was then used to fuse all the features using a supervised ML method. There were parallels

to these activities, whereas Experimental Activity 2 considered the development and offline

calibration and validation of the inference models, Experimental Activity 3 was a separate

experiment  that  considered  the  online  validation  of  the  inference  models  developed  in

activity  2.  These  three  experimental  activities  were  conducted  to  complete  the  research

objectives and answer the research question associated with this research project.

104 Chapter 3. Methodology and Top‐level System Design

3.3.2. Task load generation

As part of this research project, two different scenarios were implemented to generate the

task load for provoking MWL. This included an OTM UAV wildfire detection scenario and

using NASA’s MATB program. Further detail on the respective task scenarios are provided

below.

3.3.2.1. OTM UAV wildfire detection scenario

For this task scenario the test subjects assume the role of a UAS ground operator tasked

with coordinating the actions of multiple UAVs in a wildfire surveillance mission. The task

scenario  and  functionalities  was  developed  by  Lim  et  al,  and  was  further  detailed  in  the

following  reference,  were  it  outlines  the  architecture  and  design  of  the  UAS  simulation

environment [25]. A brief overview of the simulation scenario will nonetheless be further

presented.

With the coordination of between three to nine drones, the primary objective of the mission

scenario is to find and localize any wildfires within a given Area of Responsibility (AOR). The

secondary objectives are then to firstly maximize the search area coverage, and secondly to

ensure  that  the  UAVs  fuel  levels,  as  well  as  navigation  and  communication  (comm)

performance are within a serviceable range. Further details about the mission objectives are

provided in Table 3.1.

The sensor payload of each individual UAV comprises of either an active sensor (lidar) or a

passive sensor (Infrared (IR) camera), where the UAV can be equipped with either one or

both sensors. The lidar provides an excellent range but a narrow field of view. To operate

the lidar, it must be fired towards a ground receiver to measure the CO2 concentration of

the surrounding atmosphere (i.e., the mean column concentration of CO2), and areas with

excessive CO2 concentration are likely to contain wildfires. There are a limited number of

ground receivers within the AOR, which constrains the search area of the lidar. On the other

hand, the infrared camera possesses a smaller range but has a larger field of view. Unlike

the  lidar,  the  camera  does  not  require  the  use  of  a  ground  receiver  and  can  be  used

anywhere within the AOR. The AOR is divided into smaller regions called Team Areas, which

can then be assigned to UAV teams. The division of the AOR into smaller regions allows UAVs

105 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

to bound from area to area, initially conducting the search in the area closest to the base

before searching further out.

Table 3.1. Primary and secondary mission objectives [25].

1.1 Wildfires are initialized at the start of the scenario,  and spot fires may also be created during the mission.  The fires propagate through the AOR based on  environmental conditions.

1.2 While the UAVs are not equipped to fight the  wildfires, authorities have requested for constant  visual coverage to be maintained on the fire front  (i.e., the segment of the map where a fire is still  burning).

1. PRIMARY: Detect the presence of wildfire and track the spread of detected fires

2.1 Maximize sensor coverage of the  search area

2.2 Maintain a serviceable level of  navigation and communication  performance

a. Navigation  performance:

b. Communication  performance:

2.3 Maintain a  serviceable level  of fuel  a. UAVs with low  fuel need to be  sent back to base  for refueling

i. Excellent  navigation accuracy  is below 10 m   ii. Adequate  navigation accuracy  is between 10 and  25 m  iii. Poor navigation  accuracy is above  25m

i. Excellent comm  strength is  considered above  70%  ii. Adequate comm  strength is  considered between  50% and 70%   iii. Poor comm  strength is  considered below  50%

b. Three  measures are  used:    i. Coverage of the  active sensor (i.e.,  revisit time of the  lidar)  ii. Coverage of the  passive sensor  (i.e., revisit time  of the IR camera)  iii. Coverage of  both sensors (i.e.,  revisit times of  the lidar or IR  camera)

a. Sensor coverage  over the AOR is  tracked in terms of  revisit time:  i. Excellent revisit  time means below  20 min   ii. Adequate revisit  time means  between 20 to 30  min   iii. Poor revisit time  means more than  30 min. Implies that  the area was not  covered by the  sensor at all.

2. SECONDARY:

As seen in Figure 3.4, three drones are depicted as blue arrow shapes that indicate which

direction  the  drone  is  traveling.  In  addition  to  this  there  are  several  important  HMI

elements, such as glyphs and panels that aid in the command and control of the individual

UAV and corresponding mission. The UAV tasking can among other include “guided”, “line

search” or “tracking” as further described in Lim et al. [25]. The figure also depicts a panel

located on the left side of the map. In the top panel the “summary panel” can be seen and

provides information regarding the UAV team as well as the individual UAVs. The bottom

panel is the “info panel” and can either be in a team mode or UAV mode, that can then

provide team or UAV information and/or control for changing automation level for the UAV

or team as well as change the different views of the map.

106 Chapter 3. Methodology and Top‐level System Design

Figure 3.4. OTM UAV wildfire detection scenario [25].

3.3.2.2. Multi Attribute Task Battery (MATB)

For Experimental Activity 2 and 3, the subjects will perform task loads generated from the

MATB scenario [26]. This program is developed to controllably vary the levels of MWL, as

the scenario can be designed such that the subjects have to perform any number of tasks

simultaneously.  The  tasks  are  based  on  tasks  pilots  must  perform  while  in  flight,

nonetheless,  the  software  does  not  require  any  such  experience  and  is  thus  optimal  for

testing  large  sample  sizes  controllably,  efficiently  and  repeatably.  The  MATB  program

consist  of  four  main  components  including  the  system  monitoring  task  (SYSMON),  the

tracking  task  (TRACK),  the  communication  task  (COMM)  and  resource  management

(RESMAN) as seen in Figure 3.5 below. There is also a scheduling window (SCHED), which

provides a look ahead for the expected workload, a time window that shows elapsed time

and lastly, pump status that shows the flow rate of the pumps in the RESMAN task.

107 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 3.5. Tasks for the MATB program [27].

For further details describing the various tasks see the following list below [27]:

1. SYSMON: The system monitoring task is presented in the upper left window of the

display. The demands of monitoring gauges and warning lights are simulated here.

The subject responds to the absence of the Green light, the presence of the Red

light, and monitors the four moving pointer dials for deviation from midpoint.

2. TRACK: The demands of manual control are simulated by the tracking task. This

task is located in the upper middle window. Using a Joystick, the subject keeps the

target at the centre of the window. This task can be automated to simulate the

reduced manual demands of autopilot.

3. COMM: Subjects are also required to respond to a communication task. This task

presents pre‐recorded auditory messages to the operator at selected intervals

during the simulation. However, not all of the messages are relevant to the

operator. The subject’s task is to determine which messages are relevant and to

respond by selecting the appropriate radio and frequency on the communications

task window.

4. RESMAN: The demands of fuel management are simulated by the resource

management task. The goal is to maintain tanks A and B at 2500 units each. This is

done by turning On or Off any of the eight pumps. Pump failures can occur and are

108 Chapter 3. Methodology and Top‐level System Design

shown by a red area on the failed pump. The Resource Management window

provides a diagram of the fuel management system. The six large rectangular

regions are tanks which hold fuel. The green levels within the tanks represent the

amount of fuel in each tank, and these levels increase and decrease as the amount

of fuel in a tank changes.

Defining difficulty levels

For  the  experiments  using  the  MATB  task  scenario  (Experimental  Activity  2  and  3)  the

intended complexity and level of difficulty is designed based on a pre‐determined task level.

As seen in Table 3.2 below the various task loads during the experiment are sectioned into

pre‐defined  levels  of  difficulty.  These  are  defined  by  a  few  various  factors  that  are

dependent on the number of tasks and the number of interactions for each of the tasks. The

lowest  being  level  one  and  consists  of  two  simultaneous  tasks,  while  the  highest  level

consists of all four tasks being performed simultaneously. The various task scenarios used in

the experimental activities are defined in the respective chapters.

In addition to defining the difficulty, other requirements to the scenario includes defining

the timeouts, which is how long the subject has to respond before the action resets itself.

This applies for SYSMON and COMM and was set to 20 seconds for both. The flow rates for

the pumps where also specified prior to commencing the scenario and was set to pump 1‐6

=  600,  pump  7‐8  =  400  and  tank  A‐B  =  800.  The  communications  module  also  requires

specifying the number of communication callouts initiated per minute and also how many

are related to their callsign and how many relate to other callsigns that are not needed to

be responded to. As outlined in the Table 3.2, this is indicated in brackets with “own/other”

and is slightly different between the various scenarios detailed in the later chapters. Lastly,

the number in RESMAN specifies how many times per minute a pump fails and gets fixed.

109 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Table 3.2 Defining levels of difficulty for the MATB scenario.

Level Definition

‐ One task: One task  Level 1

o SYSMON: 3 changes per minute  o OR tracking: low‐low ‐ Two tasks Two tasks  Level 1+ o SYSMON: 3 changes per minute AND tracking: low‐low

‐ Three tasks Three tasks  Level 2

o SYSMON: 4 per minute   AND Tracking: med‐med  AND Comm: 2 per minute (own/other)

‐ Four tasks Four tasks   Level 3‐

o SYSMON: 6 per minute   AND Tracking: med‐med  AND Comm: 2 per minute (own/other)  AND RESMAN: 1 fail/ fix pump states per minute

‐ Four tasks Four tasks   Level 3

o SYSMON: 9 per minute   AND Tracking: high‐high  AND Comm: 3 per minute (own/other)  AND RESMAN: 2 fail/ fix pump states per minute

‐ Four tasks Four tasks   Level 3+

o SYSMON: 12 per minute   AND Tracking: high‐high  AND Comm: 3 per minute (own/other)  AND RESMAN: 6 fail/ fix pump states per minute

3.3.3. Participant inclusion criteria and ethics

The  participants  conducting  the  experiments  were  approached  based  on  the  separate

requirements  for  the  two  respective  task  scenarios.  For  the  OTM  UAV  wildfire  detection

scenario, the participants conducting the experiment were required to have some familiarity

in aerospace engineering and aviation. As such the participants approached were aerospace

engineering students from Royal Melbourne Institute of Technology (RMIT) University. In

addition, to participate in the experiment no prior experience in the OTM scenario was set

as a requirement.

For  the  participants  conducting  the  MATB  task  scenario  the  requirement  was  somewhat

different,  as  the  MATB  task  scenario  was  less  comprehensive  to  learn.  As  such  the

110 Chapter 3. Methodology and Top‐level System Design

participants approached for these experiments included subjects that were within a working

age  population  (i.e.  18‐67).  All  research  and  data  collection  methods  were  approved  by

RMIT University’s College Human Ethics Advisory Network (CHEAN) (ref: ASEHAPP 72‐16).

All participants volunteered for the experiment and were not paid. Informed consent was

given prior to the experiment.

3.3.4. Sensor equipment

The equipment used was part of the Aerospace Intelligent and Autonomous System (AIAS)

laboratory at RMIT University. The data collected from the various sensors mainly included

measurements collected from physiological sensors, but also measurements from a control

input device. This included measurements from an ECG, remote eye tracker and an EEG, as

well as recording mouse activity from the participant. The following sections (Section 3.3.4.1

and 3.3.4.5) outline the various hardware components from the AIAS laboratory used in this

research.

3.3.4.1. BrainProducts ActiCap Xpress

The  device  used  for  performing  EEG  measurements  was  the  actiCAP  Xpress  from

BrainProducts  (see  Figure  3.6a).  This  device  is  portable  and  has  a  cap  that  follows  the

international 10‐20 system and has 16 data electrodes that contain low noise pre‐amplifiers

built  into  each  electrode.  These  amplifiers  improve  the  signal  quality  and  allow  for

measurements  at  high  impedances,  thus  reducing  the  need  for  skin  penetration  or  the

application of conductive gel. There is also a reference electrode and a ground electrode

that are attached to the earlobe of the subject. The actiCAP Xpress is combined with the V‐

Amp  amplifier  (see  Figure  3.6.b)  that  amplifies  the  EEG  signal  as  well  as  digitises  and

transfers to a computer through a USB cable. The sampling rate of the device is up to 2000

Hz, and the EEG records voltages in a range of ±410 mV with a resolution of 0.05 µV. While

fitting  the  subject  with  the  EEG  the  minimum  impedance  accepted  was  below  5  kΩ.  To

achieve this any unsatisfactory electrode was either jiggled or gel was applied to the area.

The data can be collected in various means, but for general recording of the raw EEG data

the BrainVision Recording software is well suited. This software can also be interfaced in

111 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

real‐time with additional software’s such as applications that use C++, MATLAB or Python.

This can be done by receiving the data with the BrainVision Recorder software, and then

forwarding the data to the desired application through Remote Data Access (RDA), which

uses Transmission Control Protocol (TCP)/ Internet Protocol (IP). The data is also compatible

with Lab Streaming Layer (LSL) which can then allow the data to be interfaced, processed

and analysed in other applications such as V‐Amp connector, BCILAB and NeuroPype.

(a) (b)

Figure 3.6. (a) actiCAP Xpress form BrainProducts; (b) V‐Amp amplifier with USB cable.

3.3.4.2. Gazepoint GP3 HD

The  eye  tracker  used  for  this  research  is  the  Gazepoint  GP3  which  is  a  remotely  desk

mounted  device  (see  Figure  3.7),  that  is  generally  positioned  at  the  base  of  the  monitor

about 65 cm away from the subject. The sensor records raw eye tracking measurements

with the use of an infrared camera and illuminator, and has a sampling rate of 60 Hz.  The

device  is  connected  to  the  computer  and  receives  data  through  the  Gazepoint  control

software, which can further pass on the data with an Application Programming Interface

(API) that allows data to be transmitted with TCP/IP sockets.

The raw eye tracking data comprises of the x and y coordinates of the gaze point, the blink

rate  as  well  as  fixation  and  pupil  size.  The  system  is  setup  to  take  the  average  x  and  y

coordinates from the left and right pupil. If one pupil is not detected the system takes the x

and y coordinates of the remaining pupil. If both are not available an invalid data point is

recorded which will not be included in the data analysis. To calibrate the sensor, the subject

112 Chapter 3. Methodology and Top‐level System Design

had to perform a five‐ or nine‐point calibration, however for increased accuracy a nine‐point

calibration was solely used.

Figure 3.7. Gazepoint GP3 eye tracker.

3.3.4.3. Zephyr bioharness

The cardiorespiratory sensor used in this research is the Zephyr Bioharness 3. As depicted

in Figure 3.8, the sensor has a strap that is worn around the chest of the subject and the

device  has  an  ECG,  respiratory  and  accelerometer  sensor.  From  the  raw  sensor

measurements, the Bioharness performs other feature extractions such as calculating HR,

R‐to‐R  value,  breathing  rate,  skin  temperature  and  posture.  This  processed  data  can  be

transmitted via Bluetooth up to a range of 100m, or it can be stored internally on the device.

The precision of the heart data is specified as 0 to 240 BPM (±1 BPM) and has a sampling

rate of 250 Hz.

Figure 3.8. Zephyr Bioharness 3.

3.3.4.4. Control inputs

The  input  devices  used  for  controlling  the  various  scenarios  includes  a  consumer  grade

wireless mouse and joystick. Both input devices are from Logitech where the mouse is a

M215 wireless mouse and the joystick is the Logitech Extreme 3D Pro, as seen in Figure 3.9.

For the OTM UAV wildfire detection scenario, only the mouse is used for performing control

113 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

inputs. Here the movement of the mouse is used to locate the cursor and the right and left

button is used for navigating the program and executing commands. This is similar for the

MATB scenario, although only the right mouse button is used for executing control inputs.

In  addition  to  recording  eye  activity  data  the  Gazepoint  controller  software  also  records

mouse activity at the same sampling interval. As such, for extracting further features as used

in  the  experimental  activities  the  API  is  used  and  is  further  transmitted  to  the  desired

application  with  TCP/IP.  The  data  from  the  joystick  is  not  explicitly  used  to  extract  any

features,  however  a  tracking  error  in  the  MATB  program  is  used  to  determine  a

performance‐based measure of how far away the target is from the centre.

Figure 3.9. Logitech Extreme 3D Pro – Joystick used during the MATB task scenario.

3.3.4.5. Sensor compatibility consideration

The Gazepoint GP3 is a vison‐based sensor and uses cameras to detect the eye features of

the human. In doing so it searches for specific geometries and other components that are

associated with the eye, such as circles or round edges. When using the EEG cap together

with the eye tracker, the eye tracker can detect the electrodes on the cap as eyes and lock

onto these features. This can be seen in Figure 3.10, where in this instance the subject has

its eye’s closed. In both the left and right image, the Gazepoint identifies features of the

electrode close to the ear as eyes. In this instance this is exaggerated as the subject’s eyes

are closed, nonetheless, this was detected to occur during early testing of the experimental

design while subjects had their eyes open.

114 Chapter 3. Methodology and Top‐level System Design

Figure 3.10. Example of eye tracker mistakenly detecting features of the EEG electrodes as eyes

To combat this, a solution included cutting up a white cotton cloth to a desired shape. This

piece of fabric could then be placed on top of the EEG and tucked into the sides of the EEG

cap to hold the cloth firmly in place. As seen in Figure 3.11. the cloth then disguises any

forms that could be mistakenly detected by the Gazepoint as eye features.

(a) (b)

Figure 3.11. (a) Cloth that is placed to cover the electrodes of the EEG; (b) Cloth preventing the eye tracker  unintentionally detecting EEG electrodes as eyes.

115 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

3.3.5. Software infrastructure

This  section  outlines  the  high‐level  software  architecture  implemented  and  details

noteworthy software used for this research. The software architecture was developed to

include a centralised server that collected, processed and logged sensor data. Most of the

sensors  were  commercial  off  the  shelf  products  that  required  the  development  of

appropriate interfaces to support the processing of the raw sensor data and storing of the

raw and processed data in the centralised server. The data stored in the server was time

stamped to ensure data synchronisation in post processing. For each of the sensors there

was  a  dedicated  client  that  performed  the  initial  processing  and  included  some  form  of

receiving the data and formatting/ parsing the data. After this, other processing took place

such as filtering the data, and then calculating the desired features. The various features

could then be sent for storage and/or be sent to the inference model for fusing the data

which was then stored for later analysis. This fundamental flow of information can be seen

in Figure 3.12. The modular design of this architecture meant that there was high level of

flexibility in terms of integrating different types of sensors.

Figure 3.12. Basic data flow for physiological measurement collection.

To  allow  for  real‐time  processing  of  the  various  parameters  for  the  OTM  UAV  wildfire

detection scenario, the data was routed to a central server using the basic data flow as seen

116 Chapter 3. Methodology and Top‐level System Design

in Figure 3.12. The server was instrumental for collecting and processing the flight logs of

each  UAV,  each  including  the  position,  attitude,  task  type,  autopilot  mode,  automation

mode  and  performance  of  the  different  subsystems.  This  was  vital  to  allow  for  the

processing  of  the  eye  tracking  measurements  and  secondary  task  performance

measurements  in  real‐time.  Further  information  on  the  architecture  of  the  OTM  UAV

wildfire detection scenario was detailed by Lim et al. [25].

To conduct this research a number of key software tools were used for the collection and

processing of post processing and real‐time data. All the noteworthy software’s are listed in

Table 3.3, with the version specified as well as a description for its use in relation to this

research.

Table 3.3. All noteworthy software used as part of this research.

Software name

Version

Description and use

MATLAB

R2020b

Neuropype

2020.0.2

Node.js

v12.18.3

Python

2.7.8

MATLAB is a programming language and numeric  computation environment. Various algorithms were used for  pre‐processing, analysis and processing the data as well as the  training and validating the ANFIS models.   Neuropype is an application for offline and real‐time  processing of bio/neural signal processing and was used for  testing ML models on the EEG data.  Node.js is a JavaScript runtime environment that allows for  execution of JS code outside of a web browser. The  environment was used for developing JS code for the  collection, processing and real‐time estimation of MWL.  Python is a general‐purpose programming language and was  used to interface with the bioharness data.

BrainVision

1.21.0004  BrainVision recorder is an application used to interface with

MATB

2

Gazepoint controller

6.4.0

Gazepoint analysis

6.4.0

LSL

‐

V‐Amp connector

‐

the hardware and was used to record raw EEG data and check  impedance of the electrodes.  The MATB is a software used for controllably generating task  load.  This software is used for calibrating the Gazepoint eye  tracker.  This software can be used for recording the Gazepoint data,  the computer screen and mouse inputs.  LSL is a software developed for streaming and synchronising  data for real‐time analysis or data recording. This was used to  interface the EEG data with the NeuroPype.   The V‐Amp connector links the data from the EEG v‐amp and  passes it onto the LSL.

117 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

3.3.6. Data analysis

To analyse the efficacy of the various features and the inference model’s ability to estimate

MWL,  various  analysis  methods  were  implemented.  These  included  the  Pearson  CC,  the

multiple  one‐way  Analyses  of  Variance  (ANOVA)  test  and  lastly  using  error  calculations

including the Mean Absolute Error (MAE) and similar variants. These are outlined in further

detail  below.  For  the  different  experimental  activities,  the  CC  was  used  in  all  three

experimental activities. However, for the other data analysis methods, the use of them will

be outlined in the respective chapters (Chapters 4, 5 and 6).

Correlation Coefficient (CC)

To  investigate  the  linear  relationship  between  various  features,  the  Pearson  CC  was

calculated for all combinations of the relevant measurements. Equation (3.1) outlines the

correlation coefficient;

(cid:1866)(cid:4666)∑ (cid:1876)(cid:1877)(cid:4667) (cid:3398) (cid:4666)∑ (cid:1876)(cid:4667)(cid:4666)∑ (cid:1877)(cid:4667) (cid:1829)(cid:1829) (cid:3404) (3.1) (cid:3493)(cid:4670)(cid:1866) ∑ (cid:1876)(cid:2870) (cid:3398) (cid:4666)∑ (cid:1876)(cid:4667)(cid:2870)(cid:4671)(cid:4670)(cid:1866) ∑ (cid:1877)(cid:2870) (cid:3398) (cid:4666)∑ (cid:1877)(cid:4667)(cid:2870)(cid:4671)

here n is the number of data points while x and y are the two respective features being

analysed.  All  the  features  were  normalised  between  0  and  1  prior  to  performing  the

calculation.

Analysis of Variance (ANOVA)

Multiple one‐way Analysis of Variance (ANOVA) were carried out to determine the statistical

significance of the dependent measures in the different phases during Experimental Activity

1. Here a 5% significance level was used for all the statistical tests.

Error calculation

Lastly, the analysis from testing the inference model mainly included using the MAE and the

Normalised  MAE  (nMAE).  The  MAE  was  the  average  difference  of  the  absolute  value

(cid:3041)

between the predicted and target values and was given by;

(3.2) (cid:1839)(cid:1827)(cid:1831) (cid:3404) 1 (cid:1866) (cid:3533)|(cid:1877)(cid:3036) (cid:3398) (cid:1877)(cid:3548)(cid:3036)|   (cid:3036)(cid:2880)(cid:2869)

118 Chapter 3. Methodology and Top‐level System Design

here n was the number of samples while (cid:1877)(cid:3036) was the target value while (cid:1877)(cid:3548)(cid:3036) was the predicted

value. The second measure that was included in the analysis of the inference model results

was the nMAE which presented the MAE in percentage form and was given by;

(cid:3041) (cid:3036)(cid:2880)(cid:2869)

(3.3) 1 (cid:1866) (cid:1866)(cid:1839)(cid:1827)(cid:1831)(cid:4666)%(cid:4667) (cid:3404) ∗ 100 ∑ |(cid:1877)(cid:3036) (cid:3398) (cid:1877)(cid:3548)(cid:3036)| (cid:4666)max(cid:4666)(cid:1877)(cid:4667) (cid:3398) min(cid:4666)(cid:1877)(cid:4667)(cid:4667)

here, the MAE was divided by the largest target value minus the smallest target value and

timed by one hundred to represent the MAE in percentage for a more intuitive analysis of

the results. Lastly the RMSE was also considered for the analysis as it is commonly used.

Similarly to MAE, it provides a measure of the fit of the predicted result to the target value

(cid:3041)

and is given by;

(3.4) (cid:1844)(cid:1839)(cid:1845)(cid:1831) (cid:3404) 1 (cid:1866) (cid:3533)(cid:4666)(cid:1877)(cid:3036) (cid:3398) (cid:1877)(cid:3548)(cid:3036)(cid:4667)(cid:2870) (cid:3036)(cid:2880)(cid:2869)

Nonetheless,  as  seen  in  Equation  3.4  the  equation  takes  the  square  of  the  error,  thus

fluctuation from the target value is penalised heavier than in MAE. For the analysis in this

research  this  does  not  necessarily  reflect  the  true  relationship  of  the  result  as  later

discussed. Thus the MAE and nMAE were solely used but RMSE is included for reference in

subsequent chapters.

Normality testing

To validate the experimental results, a normality test was carried out on the outputs from

the ANFIS models in both Experimental Activity 2 and 3. The normality test was performed

to  ensure  that  no  non‐gaussian  disturbances  were  unintentionally  introduced.  The

normality test was conducted using the Kolmogorov‐Smirnov test and is well suited as it

requires  ordinal  data.  To  perform  the  Kolmogorov‐Smirnov  test,  the  “kstest”  function  in

MATLAB was used with an alpha of 0.05.

119 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Experimental approach and design

3.4.1. Experimental Activity 1

In  the  first  exploratory  Experimental  Activity  1  the  use  of  physiological,  behavioural  and

performance  features  were  implemented  and  analysed  in  a  complex  OTM  UAV  wildfire

detection scenario. This work was conducted in collaboration with Lim et al. [25], and the

contribution of this experimental activity was the extraction of an EEG index and the fusion

between the EEG index and the eye activity measure. Compared with the general project

methodology presented in Section 3.3.1, this experimental activity only implemented the

observe  and  orient  sections  of  the  general  methodology  (as  further  illustrated  in  Figure

3.13). As such in this activity the task load presented to the human operator was generated

from the OTM UAV wildfire detection scenario, where the task load was controlled in three

incremental  levels.  Depending  on  how  the  scenario  evolved  the  MWL  profile  during  this

mission could be different between one participant and another. Nonetheless, although a

simpler scenario could generate a more repeatable MWL profile, a more realistic scenario

was  used  to  evaluate  the  feasibility  of  the  OTM  UAV  concept  and  to  allow  for  known

physiological and behavioural measures to be tested on a realistic application. Complexity

and repeatability was maximized by carefully controlling independent variables such as the

number of UAVs being controlled and the geographic extent of the AOR over each phase of

the mission. This experimental activity was a collaborative project and more information

regarding the task load can be found in [28]. Nevertheless, considering that the OTM UAV

wildfire detection scenario is highly complex there are certain limitations in quantifying the

task load precisely. Further details on the scenario is presented in Chapter 4.

Figure 3.13. General methodology for Experimental Activity 1.

120 Chapter 3. Methodology and Top‐level System Design

Up  to  ten  aerospace  and  aviation  students  were  approached  to  participate  in  this

experimental  activity.  The  sensors  and  corresponding  features  collected  from  the

participants  included  ones  from  physiological,  behavioural,  performance  and  subjective

measures.  The  features  from  the  physiological  and  behavioural  measures  were  ones

calculated from an EEG, eye tracker and control input device. Also, the performance‐based

measure  was  calculated  from  the  secondary  task  performance,  as  this  is  known  to  be  a

suitable additional objective measure of MWL. The task performance‐based measure was

used as the baseline for assessing the other features. Additionally, a subjective measure was

used  for  comparison  as  this  was  considered  the  closest  to  a  ground  truth.  A  data  fusion

approach would also be implemented to assess how such a method could assist in improving

the accuracy and reliability of the features. These features were analysed, or oriented, based

on the ANOVA test and the CC. The ANOVA test was used to assess the statistical significance

between the various discrete scenario phases. While the CC was used to analyse the time

series  between  the  various  physiological,  behavioural,  performance  and  fusion  of

multivariant  features.  Henceforth,  this  exploratory  experimental  activity  studied  the

extraction  of  an  EEG  index,  and  its  relationship  between  other  measures,  as  well  as  the

application of a multivariant data fusion method. While this work was done in collaboration

with Lim et al. [25], the corresponding methodology implemented for this research can be

seen in Figure 3.14 below. The first part of this included a data collection stage, where the

subjects  would  execute  the  experiment.  Following  this  the  respective  features  would  be

extracted  followed  by  performing  the  data  fusion.  Lastly,  the  results  would  be  analysed

using the CC and the ANOVA test.

RMIT Classification: Trusted MWL analysis during a  OTM UAV wildfire  detection scenario

K = 1

K = 6

k

0 < K < 6 Execute experiment

Subject n

Extract respective  features

Familiarise with OTM  UAV scenario

Perform data fusion

Sensor fitting and  initialisation

Pre‐rest

Analyse result with ANOVA and CC

Start OTM UAV  scenario

Post‐rest

Debrief and  Data storage

K = K +1

K = 7

Finish

121 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 3.14. Overall methodology for Experimental Activity 1.

122 Chapter 3. Methodology and Top‐level System Design

3.4.2. Experimental Activity 2

Experimental Activity 2 had more emphasis on the estimation module of the CHMS, with

the development and thorough offline analysis of a data fusion approach using a multimodal

inference model of MWL. Building on the general methodology from Experimental Activity

1, this included collecting physiological and behavioural data during a more controllable task

scenario, namely NASA’s MATB program [26]. Using a task level, as pre‐determined by the

task analysis, multiple physiological and behavioural measures were analysed using the CC

between  the  task  level  and  the  features.  This  analysis  was  then  used  to  decide  what

features, including what feature combination, were more suited for offline calibration and

validation  of  the  inference  model  of  MWL.  For  rigorous  testing,  several  generic  feature

combinations were used to calibrate the ANFIS model and was done in order to assess which

combination  performed  the  best.  In  addition,  the  CC  results  would  be  implemented  for

designing a subject specific feature combination that was based on the highest performing

correlations specific for that subject. The previously determined CC results would also be

used to determine an explanation of which of the features contributed to a certain level of

performance  for  the  respective  ANFIS  model.  The  ANFIS  and  EEG  models  would  also  be

rigorously tested by using half of the collected data for calibrating the inference model and

withholding the other half for offline validation of the model. This was done to ensure that

the models did not overfitted on the training data. For both models (EEG and ANFIS models)

the  task  level  was  used  as  data  labels  for  the  supervised  calibration  and  analysis  of  the

model’s performance. The model would then be assessed based on the MAE between the

task level and the final inference, using the offline validation approach as stated above.

Figure 3.15 illustrates the full multimodal inference model for Experimental Activity 2. Here

multiple sensors were implemented for extracting features including the use of an EEG, eye

tracker, ECG and control input device. The respective features were assessed based on the

CC results and then desired feature combinations were chosen before offline calibration and

validation was performed on multiple ANFIS models. The respective models would then be

assessed using the MAE, before a conclusion was made on what feature combinations were

most suited for implementation in an ANFIS model used for online sensing and estimation

as needed for a CHMS.

123 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 3.15. Multimodal data fusion with testing of multiple inference models.

3.4.2.1. Methodology for Experimental Activity 2

The  overview  of  the  methodology  for  this  Experimental  Activity  2  can  be  seen  in  the

flowchart  (Figure  3.16)  and  included  three  main  phases:  (phase  one)  the  planning  and

development  phase;  (phase  two)  the  execution  of  the  experiment  phase;  (phase  three)

calibrating  and  analysing  the  offline  inference  model.  Phase  one  consisted  of  reviewing

some of the relevant techniques for inferring MWL for the EEG and methods for fusing the

various physiological and behavioural data. The next stage of phase one was the planning

and development of the MATB scenario, followed by developing the software required for

data collection during the experiment. Lastly, phase one consisted of approaching up to 20

subjects to perform the experiment.

Phase two then included executing the experiment with all the participants, using the MATB

task level and collecting data from all the sensors. Phase three included firstly collecting all

the data and extracting the respective features. This also included performing the offline

calibration and validation of the EEG model, before taking all the features and performing a

thorough assessment of the features’ performance using the CC. Then the desired feature

combinations, including subject specific feature combination, were used to calibrate and

validate  the  subject  specific  ANFIS  model  that  performs  an  inference  of  MWL  with

multimodal fusion. The various ANFIS models were lastly analysed using the MAE and CC.

Offline testing of  multimodal  inference models

K = 22 Developing,  training  and analysing  inference model

K

K = 1 Planning and  development stage

1 < K < 21 Executing  experiment

Collect data and  extract respective  features

Execute  experiment with  subject x

Review most  suitable inference  techniques for EEG  and multimodal  fusion

Calib. and Valid.  EEG pipeline

Explore labelling  techniques

Introduction and  MATB  familiarisation  (15 min)

Perform CC  analysis to assess  features

Suite up/ prepare  sensor and  software (15 min)

Plan and develop  MATB scenario

Pre‐rest (3 min)

Develop software  for data collection

Calib. and valid.  subject specific  ANFIS models using  different feature  combinations

Start MATB tasks (34 min)

Post‐rest (3 min)

Analyse the multi‐ modal inference  models results  using MAE and CC

Approach 20  participants  ‐ 10 females 10 males ‐ No prior experience ‐ Age 18‐ 67

Debriefing and  data storage (10  min)

K = K + 1

K = 22

Finish

124 Chapter 3. Methodology and Top‐level System Design

Figure 3.16. Detailed methodology for offline development and analysis of inference models used for  Chapter 5.

3.4.2.2. Methodology for ANFIS model

The  final  two  steps  of  phase  three  (detailed  in  Section  3.4.2.1)  are  presented  in  the

methodology  in  Figure  3.16  and  would  require  multiple  ANFIS  models  to  be  rigorously

125 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

tested. To determine the optimal ANFIS parameters a testing methodology, as seen in Figure

3.17, was performed by assessing the result after changing the feature combinations and

parameters. MATLAB was used for the offline calibration and validation of the various ANFIS

models tested. Once pre‐determined parameters were set, the calibration of the respective

model  could  commence.  This  offline  calibration  consisted  of  two  phases,  where  the  first

phase  was  the  clustering  algorithm  and  the  second  phase  was  the  tuning  of  the  FIS

parameters using the ANFIS framework. For phase one the clustering algorithms considered

included grid partition, Fuzzy C‐Means (FCM) and subtractive clustering. While for phase

two, backpropagation and least squares estimation was used. Further details on this will be

presented in Chapter 5. Once the calibration was completed the FIS parameters had been

automatically tuned. To show the efficacy of the models’ performance, a certain part of the

data, as explained in the previous subsection, would be set aside for validating the model

with unseen data. The result from this was then assessed using performance measures such

as MAE, nMAE or using the CC. Based on the performance, these results would either be

recorded, or further calibration was performed using different input features or different

ANFIS  parameters.  A  FIS  file  was  also  exported  and  later  used  for  online  cross‐session

Calibration data

ANFIS

Processed behavioural data

Clustering

Defined ANFIS  parameters

Processed physiological data

Initial  FIS

Target outputs

Backpropagation

Pre‐determined task level

Validation data Behavioural data

No

Extend calibration  session

Result  (i.e. MAE)

Physiological data

Inference  accuracy above  threshold?

Calibrated  inference  model

Task Level

Yes

Record results  & Export inference  model for online  cross‐session  validation

validation of the subject specific models.

Figure 3.17. Offline calibration and validation of ANFIS model.

126 Chapter 3. Methodology and Top‐level System Design

3.4.3. Experimental Activity 3

While  Experimental  Activity  2  investigated  the  offline  calibration  and  validation  of  a

multimodal  inference  model,  Experimental  Activity  3  included  performing  an  online

validation of the best performing inference models determined in the preceding activity.

This  activity  would  include  approaching  between  10‐15  participants  and  the  same

participants  that  took  part  in  Experimental  Activity  2  where  asked  to  participate  in

Experimental Activity 3. This was done to assess cross‐session capability of the inference

models, where models that were calibrated in Experimental Activity 2 would be used for

online validation in Experimental Activity 3. The same feature extraction method as in the

previous activity would be implemented, whereas the processing was performed in real‐

time.

Experimental Activity 3 included two rounds (Round 1 and Round 2). The participants would

perform two MATB scenario rounds where the first round included performing cross‐session

validation  for  the  subjects  that  completed  Experimental  Activity  2,  while  simultaneously

collecting calibration data for the within‐session model. After Round 1 the new inference

models would be calibrated followed by the participants performing the second round of

the  MATB  scenario.  During  Round  2  the  within‐session  inference  models  was  processed

online,  with  the  real‐time  inference  of  MWL.  Following  the  completion  of  Round  2,  the

models were analysed using the MAE and the CC to assess the multimodal inference model’s

capability for real‐time estimation of MWL.

3.4.3.1. Methodology for Experimental Activity 3

The  methodology  for  Experiment  Activity  3  consisted  of  four  main  stages  for  each

participant (see Figure 3.18). The first stage of the experiment included providing a short

briefing  of  the  experiment  to  the  subject,  which  also  included  a  familiarisation/re‐

familiarisation of the MATB program. The second stage then comprised of fitting, initialising

and calibrating the sensors used for this experiment. The third stage was then commencing

with Round 1 of the MATB task. Here two different objectives would be performed, firstly

the collection of calibration data, including the recording of each of the eye features, control

inputs  and  the  collection  of  the  raw  EEG  data.  The  second  objective  was  to,  in  parallel,

127 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

performing an online validation of different cross‐session inference models. Once the first

MATB round had been completed the subject would be instructed to rest, while an offline

calibration of the within‐session inference models was performed. This included using the

calibration data, collected from Round 1, to calibrate up to 11 different inference models.

Once  this  was  completed  the  second  MATB  round  could  commence  and  involved  online

validation  of  the  EEG  model  and  several  different  multimodal  inference  models.  Lastly,

following  the  completion  of  this,  a  debrief  took  place  before  collecting  all  the  data  and

analysing the results. In total the experiment took around 1 hour and 20 minutes for each

Online validation  of inference  models

Subject n

K = 4

K = 1

K

K = 3

K = 2

Initialise

subject.

Initiate round 1 experiment for subject n

Initiate round 2 experiment for  subject n

Offline calibration of subject specific  inference models  form round 1 data

Re‐familiarise with  MATB

Collect  calibration  data

Online validation  of EEG and ANFIS  models

Fit and initialise  sensors

Online  validation  of cross‐  session  models

K=K+1

All subjects completed

Analyse results

Figure 3.18.  Overall methodology for Experimental Activity 3.

128 Chapter 3. Methodology and Top‐level System Design

Conclusion

This  chapter  detailed  both  the  methodology  for  this  research  project  and  the  design

considerations  for  the  sensing  and  estimation  module  as  part  of  the  CHMS.  The  design

considerations included providing top‐level requirements as well as detailing the processes

involved for the sensing and estimation module. These design components are at the core

when further developing the experimental design of the sensing and estimation module in

the  following  chapters.  For  the  methodology,  this  chapter  presented  the  overall

methodology,  including  the  details  on  the  Experimental  Activities  1,  2  and  3.  The

methodology also included outlining the task load generation used, the sensor equipment

used,  software  infrastructure  implemented  and  the  various  data  analysis  methods.  This

chapter assists in outlining and further developing the experimental design for this research

project.

129 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

References

[1]  B. Cain, "A Review of the Mental Workload Literature," Defence Research and Development Toronto,

ADA474193, 2007.

[2]  C. D. Wickens, "Multiple Resources and Mental Workload," Human Factors: The Journal of the Human

Factors and Ergonomics Society, vol. 50, no. 3, pp. 449‐455, 2008.

[3]  N.  Lavie,  A.  Hirst,  J.  W.  de  Fockert,  and  E.  Viding,  "Load  Theory  of  Selective  Attention  and  Cognitive

Control," Journal of Experimental Psychology: General, vol. 133, no. 3, pp. 339‐354, 2004.

[4]

P.  Chandler  and  J.  Sweller,  "Cognitive  Load  Theory  and  the  Format  of  Instruction,"  Cognition  and  Instruction, vol. 8, no. 4, pp. 293‐332, December 1991.

[5]  H. Aghajani, M. Garbey, and A. Omurtag, "Measuring Mental Workload with EEG+fNIRS," Frontiers in

Human Neuroscience, vol. 11, p. 359, 2017.

[6]

P. Aricò et al., "Adaptive Automation Triggered by EEG‐Based Mental Workload Index: A Passive Brain‐ Computer Interface Application in Realistic Air Traffic Control Environment," Front. Hum. Neurosci., vol.  10, p. 539, October 2016.

[7]

T. De Greef, H. Lafeber, H. Van Oostendorp, and J. Lindenberg, "Eye Movement as Indicators of Mental  Workload to Trigger Adaptive Automation," Springer Berlin Heidelberg, 2009, pp. 219‐228.

[8]

F. Di Nocera, M. Camilli, and M. Terenzi, "Using the Distribution of Eye Fixations to Assess Pilots' Mental  Workload," vol. 50, no. 1, pp. 63‐65, 2006.

[9]  C. Martin, J. Cegarra, and P. Averty, "Analysis of Mental Workload during En‐route Air Traffic Control  Task Execution Based on Eye‐Tracking Technique," Springer Berlin Heidelberg, 2011, pp. 592‐597.

[10]  R.  Castaldo,  L.  Montesinos,  T.  S.  Wan,  A.  Serban,  S.  Massaro,  and  L.  Pecchia,  "Heart  Rate  Variability  Analysis and Performance during a Repeated Mental Workload Task," Springer Singapore, 2018, pp. 69‐ 72.

[11]  R. W. Backs, H. T. Navidzadeh, and X. Xu, "Cardiorespiratory indices of mental workload during simulated  air traffic control," in Proceedings of the Human Factors and Ergonomics Society, Santa Monica, 2000,  vol. 3, p. 89.

[12]  B.‐W.  Hsu, M.‐J.  J.  Wang,  C.‐Y.  Chen,  and F.  Chen,  "Effective  indices  for  monitoring  mental  workload  while performing multiple tasks," Perceptual and Motor Skills, vol. 121, no. 1, pp. 94‐117, August 2015.

[13]  G. F. Wilson, "An Analysis of Mental Workload in Pilots During Flight Using Multiple Psychophysiological

Measures," The International Journal of Aviation Psychology, vol. 12, no. 1, pp. 3‐18, November 2002.

[14]  G.  F.  Wilson  and  C.  A.  Russell,  "Operator  Functional  State  Classification  Using  Multiple  Psychophysiological Features in an Air Traffic Control Task," Human Factors: The Journal of the Human  Factors and Ergonomics Society, vol. 45, no. 3, pp. 381‐389, 2003.

[15]  Y. Ding, Y. Cao, V. G. Duffy, Y. Wang, and X. Zhang, "Measurement and identification of mental workload  during simulated computer tasks with multimodal methods and machine learning," Ergonomics, vol. 63,  no. 7, pp. 896‐908, April 2020.

[16]  M.  De  Rivecourt,  M.  N.  Kuperus,  W.  J.  Post,  and  L.  J.  M.  Mulder,  "Cardiovascular  and  eye  activity  measures as indices for momentary changes in mental effort during simulated flight," Ergonomics, vol.  51, no. 9, pp. 1295‐1319, September 2008.

[17]  M.  A.  Hogervorst,  A.‐M.  Brouwer,  and  J.  B.  F.  Van  Erp,  "Combining  and  comparing  EEG,  peripheral  physiology and eye‐related measures for the assessment of mental workload," Frontiers in Neuroscience,  vol. 8, p. 322, October 2014.

[18]  N. Pongsakornsathien et al., "Sensor Networks for Aerospace Human‐Machine Systems," Sensors, vol.

19, no. 16, p. 3465, August 2019.

[19]  R.  McKendrick,  B.  Feest,  A.  Harwood,  and  B.  Falcone,  "Theories  and  Methods  for  Labeling  Cognitive  Workload: Classification and Transfer Learning," Frontiers in Human Neuroscience, vol. 13, p. 295, 2019.

[20]  F. Lotte, "A tutorial on EEG signal‐processing techniques for mental‐state recognition in brain–computer

interfaces," in Guide to Brain‐Computer Music Interfacing: Springer, 2014, pp. 133‐161.

[21]  C. L. Baldwin and B. N. Penaranda, "Adaptive training using an artificial neural network and EEG metrics  for within‐and cross‐task workload classification," NeuroImage, vol. 59, no. 1, pp. 48‐56, January 2012.

[22]  G.  Zhao,  Y.‐J.  Liu,  and  Y.  Shi,  "Real‐Time  Assessment  of  the  Cross‐Task  Mental  Workload  Using  Physiological Measures During Anomaly Detection," IEEE Transactions on Human‐Machine Systems, vol.  48, no. 2, pp. 149‐160, April 2018.

[23]  B.  Cinaz,  B.  Arnrich,  R.  La  Marca,  and  G.  Tröster,  "Monitoring  of  mental  workload  levels  during  an  everyday  life  office‐work  scenario,"  Personal  and  Ubiquitous  Computing,  vol.  17,  no.  2,  pp.  229‐239,  2013.

[24]  J.  Zhang  and  R.  Wang,  "Adaptive  Fuzzy  Modeling  Based  Assessment  of  Operator  Functional  State  in  Complex  Human–Machine  Systems,"  in  Complex  Systems,  G.  M.  Dimirovski,  Ed.  (Studies  in  Systems,  Decision and Control, no. 55)  Switzerland: Springer International Publishing, 2016, pp. 189‐210.

[25]  Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.

10, p. 12, January 2021.

[26]  J. R. Comstock Jr and R. J. Arnegard, "The multi‐attribute task battery for human operator workload and

strategic behavior research," Langley Research Center, Hampton, Virginia, 1992.

[27]  Y. Santiago‐Espada, R. R. Myer, K. A. Latorella, and J. R. Comstock, "The Multi‐Attribute Task Battery II  (MATB‐II) Software for Human Performance and Workload Research: A User’s Guide ", Langley Research  Center, Hampton, Virginia, 2011.

[28]  Y.  Lim,  "Cognitive  human‐machine  interfaces  and  interactions  for  avionics  systems,"  PhD,  RMIT

University, 2020.

130 Chapter 3. Methodology and Top‐level System Design

Chapter 4

Experimental Activity 1:  Mental Workload in a One-to-Many UAV Scenario

Introduction

In this chapter an exploratory experimental activity was performed that used physiological,

behavioural, subjective and performance features that were implemented and analysed in

a complex OTM UAV wildfire detection scenario. This exploratory activity was conducted in

collaboration with Lim et al. [1], and expanded on the work by further developing an EEG

index  and  implementing  a  data  fusion  approach  with  the  EEG  index  and  an  eye  activity

measure. For the task scenario, the participants assumed the role of a UAS pilot controlling

multiple UAVs, where the task scenario was designed to incrementally increase in difficulty

throughout  a  30‐minute  mission.  In  this  Experimental  Activity  1,  three  sensors  were

implemented, including an EEG, eye tracker and control input device, as well as a secondary

task performance measure and a subjective questionnaire as measurements of MWL in an

OTM UAS wildfire detection mission.

For the development of the EEG index, previous studies have indicated that the changes in

MWL are observed with variations in the theta and alpha bands [2‐8]. More specifically, with

131

132 Chapter 4. Experimental Activity 1

higher MWL, the power in the theta band has been observed to increase at the frontal and

central regions [2, 3, 7], while in the alpha band a decrease in power at the left and right

occipital regions has been observed [7]. Additionally, previous studies have also indicated

that 4–6 electrodes are sufficient to achieve accurate EEG recordings of cognitive states [9].

Scan  pattern  entropy  is  a  more  complex  gaze  feature  and  is  a  measure  that  uses  the

randomness of the user’s gaze patterns. This measure is a particularly useful, as studies have

shown that scan pattern entropy is able to discriminate between control modes and flight

phases associated with different levels of MWL [10].

The scan pattern entropy, the control input measure and the secondary task performance

measure would all be used as additional objective measures for reference and comparison

with the EEG index and the fusion measure developed. Moreover, the subjective measure

was also included for reference when analysing the discrete scenario phases.

This experimental activity capitalised on existing approaches for measuring MWL with an

EEG index and proposed a multimodal approach, with the data fusion of the EEG measure

and scan pattern entropy. While a simpler scenario could generate a more repeatable MWL

profile, a more realistic scenario was used to allow for known physiological and behaviour

measures  to  be  tested  on  a  realistic  OTM  UAV  scenario.  This  exploratory  activity  thus

investigated some aspects of sensing and feature extraction and demonstrated the ability

to measure MWL with an EEG index and a straightforward data fusion approach in a complex

OTM UAS task scenario.

OTM UAS test case

4.2.1. Participants

There were five participants that took part in the experiment comprising of four males and

one  female.  The  participants  were  aerospace  students  at  Royal  Melbourne  Institute  of

Technology (RMIT) University and were selected based on their prior experience in aviation

and aerospace engineering. None of the participants had prior experience with this OTM

133 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

scenario, and as such two different familiarization sessions were conducted lasting around

an hour each.

4.2.2. Mission concept

For this scenario the test subjects assume the role of a UAS ground operator tasked with

coordinating  the  actions  of  multiple  UAVs  in  a  wildfire  surveillance  mission.  The  primary

objective of the mission was to find and localize any wildfires within the AOR. The secondary

objectives were to firstly maximize the search area coverage, and secondly to ensure that

the UAV fuel levels, as well as navigation and communication performance were within a

serviceable range. Further details about the mission design and objectives are provided in

Section 3.3.2.

The difficulty levels of the phases were controlled by changing independent variables such

as the number of UAVs being controlled and the geographic extent of the AOR over each

phase of the mission. The mission concept for the task scenario is illustrated in Figure 4.1

with  the  AOR  denoted  in  white  borders  while  the  Team  Areas  are  depicted  as  convex

polygons of different colours. In Phase 1 of the scenario, 3 UAVs were made available to the

human operator to search the area closest to the base (Team Area 1). After the Area had

been  searched,  or  when  the  mission  transits  to  Phase  2  (whichever  occurred  first),  the

operator would direct the initial UAVs, originally in Team 1, to move to Area 2 in order to

allow the new UAVs to take over the coverage of Area 1. After Area 2 had been searched,

the human operator repeated the same strategy with Area 3, moving the UAVs originally in

Area 2 into Area 3 and the UAVs originally in Area 1 into Area 2. UAVs assigned to search an

area should be assigned to the team associated with that area (i.e., Team 1 for Area 1, Team

2  for  Area  2,  etc.),  as  the  team  structure  allowed  operators  to  exploit  some  built‐in

automation support such as search area designation, path planning and platform allocation.

For further detail on the concept of operations and task analysis see Section 3.3.2 and the

following reference by Lim et al. [1, 11].

A1

A2

Phase 1: 3 UAVs operate in  the area closest to  the base

A3

Phase 3: UAVs in Area 2 shift to Area 3,  UAVs in Area 1 shift to Area 2

Phase 2: Initial UAVs are shifted to  Area 2 and new UAVs get  assigned to Area 1

134 Chapter 4. Experimental Activity 1

Figure 4.1. Mission concept illustrating the UAVs bounding strategy [1].

4.2.3. Experimental procedure

The  experimental  procedure  consisted  of  a  briefing,  sensor  fitting  and  a  rest  period,

followed by the mission. After the mission was completed, there was a second rest period

before a final debrief. The whole procedure took approximately one hour. The refresher

briefing was conducted to ensure that participants were familiar with the scenario and the

interface.  Following  that,  participants  were  fitted  with  the  EEG  device  and  the  EEG

electrodes impedances were checked to ensure they were within acceptable levels. This was

then followed by a calibration of the desk‐mounted eye tracker. Once both sensors were

set‐up, physiological data recording started, and data was logged for 5‐minutes while the

participant  rested.  After  the  resting  phase  the  OTM  UAS  wildfire  scenario  commenced,

which  consisted  of  three  back‐to‐back  10‐minute  phases  designed  to  provide  increasing

levels of difficulty. At the end of the scenario, physiological data was logged for another 5‐

minutes during a post‐mission resting phase. Subsequently, participants provided subjective

ratings for their workload and situational awareness in each of the three phases.

135 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Measurement methods

In this Experimental Activity 1, three sensors were used for recording data, including an EEG,

eye  tracker  and  control  input  device.  In  addition  to  this,  a  secondary  task  performance

measure was calculated, and a subjective questionnaire was completed at the end of the

experiment. While the experiment procedure includes Pre‐rest, Phase 1, Phase 2, Phase 3

and  Post‐rest,  the  EEG  was  the  only  sensor  that  could  perform  recording  during  all  the

stages. The remaining measurements were only conducted during Phase 1, 2 and 3 of the

OTM UAS wildfire detection mission.

4.3.1. Eye tracking data processing

The  eye  tracking  data  was  collected  using  the  Gazepoint  GP3,  which  is  a  remote  sensor

positioned at the base of the monitor about 65 cm away from the participant.  The central

server  as  outlined  in  Section  3.3.5  was  vital  for  the  processing  of  the  eye  tracking

measurements. The parameters regarding the flight logs of each UAV allowed for the real‐

time calculation of the UAV scan pattern entropy and team scan pattern entropy, which was

calculated  from  separate  transition  matrices  of  UAVs  and  UAV  teams.  However,  initial

analysis indicated that scan pattern for individual UAVs gave the best indication of workload

and  was  thus  solely  used  for  further  analysis.  The  scan  pattern  entropy  (SPE)  was

determined from gaze transitions between different ROI and were represented in a matrix.

The cells represent the number (or probability) of transitions between two interfaces. The

scan  pattern  entropy  thus  measures  the  randomness  of  the  scanning  patterns,  and  was

(cid:3041)

(cid:3040)

given by [12];

(cid:3036)(cid:2880)(cid:2869)

(cid:3037)(cid:2880)(cid:2869)

(4.1) SPE (cid:3404) (cid:3398) (cid:3533) (cid:1868)(cid:4666)(cid:1850)(cid:3036)(cid:4667) (cid:3533) (cid:1868)(cid:3435)(cid:1851)(cid:3036)(cid:3037)(cid:3627)(cid:1850)(cid:3036)(cid:3439) log(cid:2870) (cid:1868)(cid:3435)(cid:1851)(cid:3036)(cid:3037)(cid:3627)(cid:1850)(cid:3036)(cid:3439)

where n and m were the rows and columns of the transition matrix respectively, (cid:1868)(cid:3435)(cid:1851)(cid:3036)(cid:3037)(cid:3627)(cid:1850)(cid:3036)(cid:3439)

was the probability of fixation of the present state (i.e., fixation at region (cid:1851)(cid:3036)(cid:3037) given previous

fixation  at  region  (cid:1850)(cid:3036))  and  (cid:1868)(cid:4666)(cid:1850)(cid:3036)(cid:4667)  was  the  probability  of  fixation  of  the  prior  state  (i.e.,

probability of the previous fixation). A high value of SPE implied high randomness in the scan

path while a low value of SPE implied an orderly scan pattern. Therefore, higher values of

136 Chapter 4. Experimental Activity 1

SPE  indicated  periods  of  higher  workload  where  the  operator  was  unable  to  maintain  a

regular scan pattern.

4.3.2. EEG data processing

For performing the EEG recordings during the experiment, the actiCAP Xpress, from Brain

Products GmbH was used. The layout of the cap follows the international 10‐20 system, and

for  this  experiment  16  data  electrodes  were  collecting  the  raw  data  at  the  following

locations F4, Fz, F3, FC1, FC2, C3, C4, CP1, CP2, T7, T8, P3, Pz, P4, O1 and O2. After collecting

the  raw  data  the  EEG  index  was  calculated.  The  resulting  EEG  index  is  described  in  the

equation below, where it is calculated at 5 second intervals;

(cid:2875)(cid:3035)(cid:3053) (cid:1516) (cid:2872)(cid:3035)(cid:3053) (cid:2869)(cid:2870)(cid:3035)(cid:3053) (cid:1516) (cid:2876)(cid:3035)(cid:3053)

(cid:1858)(cid:4666)(cid:2019)(cid:4667)(cid:1856)(cid:2019) (4.2) (cid:1831)(cid:1831)(cid:1833) (cid:1861)(cid:1866)(cid:1856)(cid:1857)(cid:1876) (cid:3404) (cid:3404) (cid:2016)(cid:3007)(cid:2872)(cid:2878)(cid:3004)(cid:2872) α(cid:3016)(cid:2869)(cid:2878)(cid:3016)(cid:2870) (cid:1858)(cid:4666)(cid:2019)(cid:4667)(cid:1856)(cid:2019)

here  (cid:2016)(cid:3007)(cid:2872)(cid:2878)(cid:3004)(cid:2872)  refers  to  the  average  theta  power  for  electrode  positions  F4  and  C4,  while

α(cid:3016)(cid:2869)(cid:2878)(cid:3016)(cid:2870)  average  alpha  power  for  positions  O1  and  O2.  This  was  achieved  by  initially

processing  the  individual  channels  with  a  bandpass  filter  between  0.5  and  30  Hz.  A  five

second  sample  window  was  then  applied  for  each  channel  to  obtain  fixed‐length  signal

samples,  which  were  then  pre‐processed  by  applying  linear  detrending.  The  PSD  of  the

filtered sample window was then obtained and then the respective bands were integrated

to determine the band‐power. Once all channels had been processed, the band‐powers of

the respective channels were averaged and then divided to derive the EEG index. After the

EEG index was calculated for all the 5 second intervals additional smoothing was performed

prior to the analysis. This was done using a lowpass filter and highlighted the predominant

trends in the data.

For  the  EEG  data  processing,  additional  data  rejection  criteria  were  applied  where  data

points  identified  as  outliers  were  removed.  Here  the  isoutlier  function  in  MATBLAB  was

used, which returned true for all elements that were more than 3 standard deviation from

the mean. The function was performed following the calculation of the EEG index. Among

the data for all the participants there were identified outliers for one participant. Here 5

outliers were detected, which were then replaced with mean values.

137 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

4.3.3. Controller input processing

During the scenario the subject controlled and navigated the application by clicking on the

screen with the left and right mouse buttons. The mouse clicks were logged by the central

server  and  total  number  of  controller  inputs  was  counted  during  2‐minute  intervals.

Additional  processing  was  obtained  to  discriminate  between  command  inputs  and

panning/zooming inputs, however these results were not presented.

4.3.4. Secondary task performance index

As described in Section 3.3, the central server collected in real‐time the flight logs of each

of the UAVs, which included the performance of the various subsystems. A task index was

used  to  provide  an  additional  objective  and  continuous  measure  of  MWL  during  the

scenario. The main purpose of the task index was to assess the secondary task performance

of the participant by providing a weighted count of the number of pending secondary tasks

(i.e., system maintenance tasks as provided by the flight log). The number of pending tasks

was calculated from the UAV flight logs as detailed in Table 4.1 below. Each UAV could thus

had up to 6 points at any given time, indicating a high level of unsatisfactory secondary task

performance.

Table 4.1. Task index calculation for each UAV.

Penalty +1  +0.5  +0  +1

Pending secondary tasks Poor navigation performance (accuracy above 25 m)  Adequate navigation performance (accuracy between 10 and 25 m)  Excellent navigation performance (accuracy below 10 m)  Poor communication performance (comm strength below 50%)  Adequate communication performance (comm strength between 50% and 70%)  +0.5  Excellent communication performance (comm above 70%)  Critically low fuel (fuel needed to return to base less than 1.5× of fuel on board)  Low fuel (fuel needed to return to base between 1.5× and 2× of fuel on board)  Adequate fuel (fuel needed to return to base more than 2× of fuel on board)  Autopilot mode in hold  Autopilot mode off  UAV not assigned into a team  UAV is assigned into a team  UAV does not have any sensors active  UAV does have sensors active

+0  +1  +0.5  +0  +1  +0  +1  +0  +1  +0

138 Chapter 4. Experimental Activity 1

Data analysis

For data analysis the multiple one‐way Analyses of Variance (ANOVA) and Pearson CC were

carried  out  on  the  processed  data.  The  following  sections  details  these  two  analysis

methods.

4.4.1. ANOVA test

Multiple one‐way ANOVA were carried out to determine the statistical significance of the

dependent measures in the different phases of the OTM UAV wildfire detection scenario.

This test was conducted as an initial analysis and served to demonstrate the validity of the

experimental design as well as to get an idea of the average values of each measure across

the different scenario phases (i.e., Phase 1, 2 and 3).

The  dependent  measures  comprised  of  a  subjective  questionnaire,  physiological,

behavioural and performance measures. Physiological, behavioural and task performance

measures were post‐processed, where the measures were normalized by being centred to

have a mean of 0 and then scaled to provide a standard deviation of 1. Then the mean values

were  obtained  for  each  participant  and  each  phase  of  the  scenario.  This  then  gave  the

normalised  mean  values  of  the  respective  dependent  measure  in  each  of  the  phases.

However, for all the dependent measures, apart from the EEG index, the ANOVA test was

only performed for Phases 1, 2 and 3 as these measures were not available in the resting

phases. The result from performing the ANOVA test was the F value (or F statistic), where

values close to 1 indicated that there was no significant difference between the phases for

the  respective  measurement.  Derived  from  the  F  value  was  the  p  value,  which  for  this

experimental activity had a 5% significance level.

While the multiple one‐way ANOVA indicated that there was statistical significance between

two phases, it just informs that at least two phases were significantly different from one

another. As such, the Tukey’s test was performed as a post hoc test to identify what phases

were significantly different from one another.

139 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

4.4.2. Correlations between features

For each participant, pairwise correlations between six features were calculated. These six

features  included  the  EEG  index,  scan  pattern  entropy,  task  index,  control  inputs,  fused

measure one and fused measure two. The fused measure one was made up of a weighted

sum of the scan pattern entropy and EEG index while the fused measure two was made up

of a weighted sum of the task index and control inputs. Three different sets of weightings

were  explored  including  50/50,  70/30  and  30/70.  As  each  participant  had  an  individual

correlation coefficient value for each feature‐pair, a single value was obtained by determining

the mean and standard deviation of that feature‐pair across all participants.

Results

The  following  results  section  comprises  of  two  parts.  The  first  part  presents  a  statistical

comparison  between  the  mission  phases  (Phase  1,  2  and  3)  for  all  the  MWL  measures,

including  subjective,  performance,  behavioural  and  physiological  measures.  While  the

second part of the results section provides a correlation analysis of the continuous time‐

series measure from the physiological, behavioural and performance measures. The main

results include the results from the  EEG index and the fusion measure between the EEG

index and SPE, while the results from the other measures are there to serve as comparison.

4.5.1. ANOVA test

The  ANOVA  test  was  conducted  to determine  if  there  were  significant  differences  in  the

dependent  measures  across  the  different  scenario  phases.  This  was  done  to  provide  an

initial exploratory analysis and to get an idea of the average values of each measure across

the different scenario phases.

The  dependent  measures  included  in  the  ANOVA  test  comprised  of  subjective  ratings,

physiological, behavioural and performance measures. The subjective ratings included the

MWL rating and the SA rating for each mission phase. The performance measures included

the average task index value, the behavioural measure included the controller input count,

140 Chapter 4. Experimental Activity 1

while the physiological measures included the average value of EEG index and scan pattern

entropy in each phase. The EEG index measurement was performed during the pre‐ and

post‐mission resting stages and were thus analysed for all five phases as well as just the

three scenario phases.

The results of the ANOVA test are summarized in Table 4.2 below. Based on these results all

the measures showed to be significant with a p value well below the 5% significance level.

Note that the table contains the F value in which the p value is derived from. Further details

regarding the ANOVA test on the various measures are given in the following sub sections

below.

Table 4.2. Summarized results from the ANOVA test.

Subjective MWL rating   Subjective SA rating   Task index  Controller input  EEG index phase 1‐5  EEG index phase 1‐3  Scan pattern entropy

F value 24.09  25.82  88.47  22.1  16.44  19.57  34.54

p value 6.283 × 10−5  4.497 × 10−5  6.563 × 10−8  9.472 × 10−5  4.115 × 10−6  0.0002  1.051 × 10−5

4.5.1.1. Subjective rating

The ANOVA test for the subjective MWL rating showed subjective workload to be significant,

F(2,12) = 24.09, p = 6.28 × 10−5, see Table 4.2 and Figure 4.2a. Further post hoc comparison

using the Tukey HSD test indicated that all 3 groups were significantly different from one

another, Phase 1 (Mean (M) = 2.90, Standard Deviation (SD) = 0.503), Phase 2 (M = 5.9, SD

= 0.503) and Phase 3 (M = 7.80, SD = 0.503).

Performing the ANOVA test for the subjective SA rating demonstrated that the SA rating was

significant  F(2,12)  =  25.82,  p  =  4.49  ×  10−5,  see  Table  4.2  and  Figure  4.2b.  Post  hoc

comparison using the Tukey HSD test showed that all 3 groups were significantly different

from one another, Phase 1 (M = 9.6, SD = 0.555), Phase 2 (M = 6.2, SD = 0.555) and Phase 3

(M = 4, SD = 0.555).

These results indicate that the experimental design for the mission scenario was successful

in  increasing  the  task  load  and  mission  complexity  across  the  three  mission  phases,  as

141 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

indicated by an increasing MWL and decreasing SA. Although the subjective measures are

prone to bias and the measures are infrequent, these results could serve as an additional

reference  for  the  physiological  measure  and  are  useful  for  comparison  between  the

different ANOVA analyses.

(a) (b)

Figure 4.2. Subjective ratings: (a) subjective MWL of all participants, grouped by the scenario phase and; (b)  subjective SA of all participants, grouped by scenario phase.

4.5.1.2. Task index and controller input

The  ANOVA  test  performed  on  the  task  index  showed  it  to  be  significant,  with  F(2,12)  =

88.47, p = 6.56 × 10−6, see Table 4.2 and Figure 4.3a. The Tukey HSD test indicated that all 3

groups were significantly different from one another, Phase 1 (M = − 1.102, SD = 0.111), Phase

2  (M  =  0.125,  SD  =  0.111)  and  Phase  3  (M  =  0.977,  SD  =  0.111).  These  results  were  the

strongest among all the various measures, and thus indicate the task index could serve as a

proxy to measuring MWL. This result also supported the comparison between the subjective

MWL measures that similarly increases between the phases.

ANOVA showed the effect of controller input to be significant, with F(2,12) = 22.1, p = 9.47 ×

10−5, see Table 4.2 and Figure 4.3b. Post hoc comparison using the TUKEY HSD test showed that

Phase 1 (M = − 0.594, SD = 0.110) was significantly different from both Phases 2 and 3, while

controller input in Phases 2 and 3 were not significantly different from each other. The lack

of significant difference in Phases 2 and 3 implies that the control input count might not be

142 Chapter 4. Experimental Activity 1

a suitable proxy for MWL at medium to high MWL levels since it tended to saturate at these

stages, leading to decreased sensitivity.

(a) (b)

Figure 4.3. (a) Mean task index of all participants (normalized), grouped by scenario phase and; (b) mean  controller input count of all participants (normalized), grouped by scenario phase.

4.5.1.3. EEG index and scan pattern entropy

ANOVA test showed scan pattern entropy to be significant, F(2,12) = 34.54, p = 1.05e‐05,

see Table 4.2 and Figure 4.4a. Further post hoc comparison using the Tukey HSD test showed

that Phase 1 (M = − 0.903, SD = 0.136) was significantly different from Phase 2 and 3, while

the scan pattern entropy in Phase 2 and 3 were not significantly different from each other.

Although the means were increasing in line with subjective MWL measure and the task index

measure,  these  were  not  statistically  significant.  One  reason  for  the  lack  of  statistical

difference is that the scan pattern entropy measure loses sensitivity between the medium

and high workload.

For the EEG index the ANOVA analysis was performed on all mission Phases 1, 2 and 3, as

well as the performing the test on all five phases, where Pre‐ and Post‐rest Phases were

included.  For  the  mission  Phases  1–3  only,  the  ANOVA  showed  that  the  EEG  index  was

significant,  F(2,12)  =  19.57,  p  =  0.0002,  see  Table  4.2  and  Figure  4.4b.  Further  post  hoc

comparison using the Tukey HSD test showed that all three groups were significantly different

from one another, Phase 1 (M = − 0.340, SD = 0.108), Phase 2 (M = 0.198, SD = 0.108) and

Phase 3 (M = 0.612, SD = 0.108). For this analysis these results were the best for the as all

143 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

three groups were significantly different from one another. Moreover, this is comparable

with the analysis on the subjective MWL measure and the task index measure.

(a) (b)

Figure 4.4 Physiological measures: (a) mean scan pattern entropy of all participants (normalized), grouped by  the scenario phase and; (b) mean EEG index of all participants (normalized), grouped by the scenario phase.

For the ANOVA test performed on the full experiment length showed that the EEG index

was significant, F(4,20) = 16.44, p = 4.11 × 10−6, see Table 4.2 and Figure 4.5. Furthermore,

the Tukey HSD test showed that the Pre‐rest Phase (M = − 1.01, SD = 0.153) was significantly

different  from  the  four  other  groups.  Phase  1  (M  =  −  0.34,  SD  =  0.153)  was  significantly

different from Phase 3 and the Pre‐rest Phase, while Phase 2 (M = 0.19, SD = 0.153) and

Post‐rest Phase (M = 0.15, SD = 0.153) were only significantly different to the Pre‐rest Phase.

Lastly, Phase 3 (M = 0.61, SD = 0.153) was significantly different to Phase 1 and the Pre‐rest

Phase.  For  these  results  the  expected  response  would  be  that  the  Pre‐  and  Post‐resting

Phases  are  similar  (or  not  statistically  different),  while  Phases  1,  2  and  3  were  different.

Nonetheless, with the exception of the Post‐resting Phase, the means of the phases were

statistically different. This can be seen when performing the ANOVA and TUKEY test, while

excluding the Post‐rest Phase. This could be a consequence of the notion that the protocol

for post resting was not well enough enforced. This analysis indicated that the EEG index

could further discriminate between a Pre‐resting Phase and the mission Phases 1–3.

144 Chapter 4. Experimental Activity 1

Figure 4.5. Mean EEG index of all participants (normalized), grouped by scenario Phase 1, 2 and 3 as well as  Pre‐ and Post‐resting.

The ANOVA results showed that controller input and scan pattern entropy analysis could

both  discriminate  Phase  1  from  Phases  2  and  3  but  failed  to  be  statistically  significant

between Phases 2 and Phase 3. On the other hand, the subjective MWL measure, task index

measure and the EEG index measure showed greater statistical significance. These three

measures  demonstrated  a  similar  effect  of  an  increasing  mean  across  the  three  mission

phases, strongly corroborating the three different MWL measures (subjective, task‐based

and physiological) and showing that the experimental results were in‐line with expectations.

4.5.2. Correlation between features

Further results included the correlation between the time series of the different features.

Figure 4.6 plots the results for one participant and shows the comparison between the task

index  (blue)  and  the  two  physiological  measures’  scan  pattern  entropy  (yellow)  and  EEG

index (red). The x axis is time in seconds, while the values are normalized between 0 and 1

for visual comparison and statistical analysis.

145 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 4.6 Comparison for one participant between the task index (blue), scan pattern entropy (yellow) and  EEG index (red).

Table 4.3 summarizes the CC values of the most notable features for each participant. These

included  the  correlation  between  the  task  index  and  1)  the  EEG  index,  2)  scan  pattern

entropy and 3) the fused weighted sum of the two EEG and SPE measurements (weighted

50% each). Additionally, the correlation between the EEG index and scan pattern entropy

were compared for all participants. As fulfilled by the data rejection criteria a section of the

eye tracking data for participant 2 was excluded from the analysis and excluding this invalid

data did improve the pairwise correlation.

Table 4.3. Notable correlation coefficients for each participant (Task = task index, EEG = EEG index,  SPE = scan pattern entropy, Fused 1 = weighted sum of EEG and SPE).

Participant 1

Participant 2

Participant 3

Participant 4

Participant 5

Task-EEG

0.354

0.662

0.567

0.677

0.878

Task-SPE

0.441

0.799

0.761

0.606

0.631

Task-Fused 1

0.479

0.845

0.757

0.724

0.824

EEG-SPE

0.411

0.578

0.572

0.570

0.673

Table 4.4 presents the pairwise CC values in the matrix form. The values were combined

across all participants by taking the mean and standard deviation. The results indicated that

there  was  poor  correlation  between  the  control  input  and  other  features.  However,  the

146 Chapter 4. Experimental Activity 1

mean for all the participants demonstrated that the correlation between the task index and

fused measure one (a 50/50 weighted sum of the EEG index and scan pattern entropy) was

highest at CC = 0.726 ± 0.14. The second highest correlation was between the task index and

the scan pattern entropy with a CC = 0.648 ± 0.19. The mean correlation between EEG index

and the task index gave CC = 0.628 ± 0.17, while the mean correlation between the EEG

index and scan pattern entropy was CC = 0.561 ± 0.11.

Table 4.4. All feature comparison. Mean and respective standard deviation across all subjects.

EEG index

SPE

Task index

Control input

Fused 1

Fused 2

EEG index

1

0.561 ± 0.09

0.628 ± 0.19

0.037 ± 0.34

N/A

0.464 ± 0.24

1

0.648 ± 0.14

0.167 ± 0.42

N/A

0.546 ± 0.13

SPE

1

0.205 ± 0.38

0.726 ± 0.14

N/A

Task index

1

0.135 ± 0.39

N/A

Control input

0.541 ± 0.21

1

Fused 1

1

Fused 2

Further  analysis  to  explore  the  effects  of  differently  weighted  ratios  showed  that  when

weighting  the  scan  pattern  entropy  measurement  30%  and  the  EEG  index  70%  the

correlation  with  the  task  index  and  the  fused  sensors  gave  CC  =  0.710  ±  0.16.  When

weighting  the  scan  pattern  entropy  measurement  70%  and  the  EEG  index  30%  the

correlation coefficient was CC = 0.710 ± 0.14.

The correlation of the time series for the different features show that no or poor correlation

between the control input and other features was found. However, a good correlation was

found between the task index and the fused sensor measurements as well as between the task

index and the EEG index and scan pattern entropy. In addition, the correlation between the EEG

index and scan pattern entropy measurements was shown to be good. Weighting the fused

measurement  one  70/30  or  30/70  did  not  have  much  effect  on  the  results  the  correlations

remained strong.

147 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Discussion

Experimental  Activity  1  provided  insight  into  the  relationship  between an  EEG  index  and

other  behavioural  and  performance  measures  in  an  OTM  UAS  operation.  During  this

exploratory experimental activity, the task load was generated from a complex OTM UAS

wildfire detection scenario. Here the participants assumed the role of a ground operator,

taking  on  main  responsibilities  consisting  of  routine  monitoring  of  UAV  system  health,

analysing sensor data and strategically ensuring that resources were appropriately allocated

within the AOR when planning UAV sorties or re‐tasking individual UAVs. The task load was

manipulated by incrementally increasing the number of UAVs and increasing the AOR that

the participants had to monitor and control. Although a simpler task load generation could

produce a more repeatable and controlled task load, this experimental activity investigated

the use of previously implemented physiological, behavioural and performance measures

to  be  tested  on  a  more  realistic  aerospace  application.  Experimental  Activity  1  was

conducted in collaboration with Lim et al. [1], where in particular this activity focused on the

EEG index and the fusion between the EEG and eye activity measures. For the statistical

analysis in this study, the ANOVA and CC were both used to highlight two different factors.

The ANOVA test was performed as an initial analysis and served to demonstrate the validity

of the experimental design as well as to get an idea of the average values of each measure

across the different scenario phases. As such the ANOVA test would determine the statistical

significance of the measures in the different phases and was done for each of the measures

used in experiment. Following the initial ANOVA test, a more detailed comparison of the

time  series  data  was  carried  out  by  evaluating  the  pairwise  CC  between  the  various

performance, behavioural and physiological measures.

The results from the ANOVA test showed that all the measures were statistically significant

with  a  p  value  well  below  the  5%  significance  level.  However,  a  further  Tukey  test

demonstrated that measures with all three scenario phases statistically differentiating from

one another included the subjective responses for MWL and SA, as well as the task index

and EEG index. As for the control input count, the results indicated that implementing this

as  a  behavioural  measure  of  MWL  may  not  be  a  viable  option  for  this  task  scenario.

However, it could be noted that as the scenario was designed to push MWL to the limit it

148 Chapter 4. Experimental Activity 1

could be observed that the control input count saturated with high load and lost sensitivity

between Phases 2 and 3. As for the scan pattern entropy, although not statistically different

for all phases, the data was invalid for one participant during an extended period of the

experiment. This occurred when the participant moved out of range of the camera, causing

the eye tracker to lose track of the participants’ pupil. Further investigating the CC results

of that eye tracking measure showed that when excluding the section where the data was

lost (at the start of Phase 3) and then correlating with the other measures the correlation

improved.  This  highlights  the  importance  of  having  at  least  two  physiological  and/or

behavioural sensors implemented in the sensing and estimation module of a CHMS type

system,  since  physiological  and  behavioural  observables  can  be  particularly  affected  by

noise such as motion artifacts, internal artifacts or other external interferences. Multiple

sensors  can  additionally  increase  the  consistency  of  measurements  and  reliability  of  the

system. Performing the ANOVA test and corresponding Tukey test demonstrated firstly that

the subjective MWL and SA ratings (which served as the best approximation to the ground

truth) showed the validity of the experimental design and that that the increasing level of

difficulty throughout the phases was correctly determined. Moreover, the results from the

MWL and SA rating were consistent with the results for the task index and the EEG index

during Phases 1, 2 and 3. Although the task index and EEG index values were averaged across

each of the three 10‐minute phases, they provided an initial assessment to determine what

measures were suitable for further analysis.

The correlation between the time series measures using the CC demonstrated how the EEG

index and the other various performance and behavioural measures compared in a complex

OTM UAS task scenario. While subjective ratings were currently the best approximation to

a ground truth, these could only be taken after extended periods of time (e.g., at the end of

each  phase).  In  addition,  the  actual  MWL  and  SA  of  the  participant  could  fluctuate

significantly throughout each of the 10‐minute phases. For example, sudden spikes in the

task index were observed at the start of each phase for most participants since this was a

period where new UAVs were released. The task index was thereafter observed to decrease

or stabilize and only peak when the participant experienced increased load such as when

localizing fires or re‐tasking UAVs. These fluctuations in mission difficulty within each phase

could not be captured by subjective questionnaires. When comparing the task index with

149 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

the EEG index and scan pattern entropy, a relatively high correlation was expected, as they

are supposed to fundamentally measure the similar variation in MWL. The difference being

that  the  EEG  index  is  a  physiological  measure,  the  scan  pattern  entropy  is  a  behavioural

measure  (as  it  is  arguably  under  voluntary  control)  and  the  task  index  is  a  task‐based

performance measure. Looking at Figure 4.6, the graphical comparison illustrated that scan

pattern entropy correlated with the task index in certain regions where the EEG index did

not, and vice versa. This shows that the two measures, although both gradually increasing,

responded differently to the task demand of the scenario in short timeframes. The weighted

sum of the two physiological measures (a 50–50 weighted sum of the EEG index and scan

pattern entropy) demonstrated a higher correlation with the task index (CC = 0.726 ± 0.14)

than each of the individual measures. This further demonstrated the importance of having

multiple  sensor  measurements  and  fusing  methods  when  performing  the  sensing  and

estimations of MWL in a fully operational CHMS system. Different weighted sums were also

explored  including  weighting  the  scan  pattern  entropy  measurement  and  the  EEG  index

30%‐70%  and  70%‐30%  respectively.  However,  changing  the  weights  equally  across  all

subjects  did  not  show  much  effect.  This  could  potentially  be  improved  with  an  optimal

weighting strategy that is unique for each individual subject.

Some challenges associated with the respective measures extracted include that most of

them are task dependent. This included the scan pattern entropy, task index and control

input count, all of which were measures that were dependent on the task presented. For

instance, the scan pattern entropy required ROI to be defined on the HMI for the measure

to  be  calculated,  while  the  task  index  was  a  measure  calculated  from  the  secondary

performance  of  the  individual  UAVs.  Henceforth,  although  these  measures  show  a  good

correlation  with  this  task  scenario,  there  might  be  challenges  if  for  some  reason,  the

requirement of the task would change, or new difficulties are introduced. In addition, these

measures would need to be re‐customised if it was required to apply them in another task

scenario.  Thus,  these  measures  lack  in  the  potential  for  generality  across  various  tasks,

unlike the EEG measure which has a fundamental possibility to be able to include types of

features  that  are  sensitive  in  multiple  different  tasks.  However,  for  the  EEG  index,  this

measure was constructed similar to the straightforward BCI design described by Lotte [13].

The EEG index in this activity consisted of a design that band‐pass filters the EEG signal from

150 Chapter 4. Experimental Activity 1

the respective four channels and integrated within an epoch to determine the signal power.

The averages within the different bands were computed and lastly divided to get the final

EEG  index.  Nonetheless,  as  raised  in  [13],  the  design  of  such  an  approach  lacks  in  some

areas. Firstly, the four fixed channels may in fact not be the optimal locations for that specific

subject,  and  other  relevant  information  might  be  overlooked.  Moreover,  although  the

frequency bands alpha and theta have been identified as bands sensitive to changes of MWL

in previous studies, these could potentially not be the most optimal frequencies for each

individual subject. Lastly, some final limitations of this initial experimental activity were the

number  of  subjects.  However,  this  experimental  activity  was  intended  as  an  exploratory

study and was not intended to validate but to explore. Hence, although there were limited

number of subjects, the intention of the study was a proof of concept, and to provide an

initial  investigation  whether  physiological  measures  and  a  data  fusion  approach  could

measure changes in MWL during a complex OTM UAV wildfire detection scenario.

The concluding results for this study demonstrated that a moderate level of correlation was

found across all participants between the task index and EEG index CC = 0.628 ± 0.19. For

comparison  the  correlation  between  the  task  index  and  scan  pattern  entropy  was  also

shown to be good CC = 0.648 ± 0.17. Additionally, a fusing method demonstrated that fusing

the EEG index and scan pattern entropy measures produced an improved and a high‐level

correlation  with  the  task  index  CC  =  0.726  ±  0.14.  These  results  indicate  that  the  EEG

response of MWL is consistent with previous studies. This includes the EEGs observation of

fluctuation  in  theta  power  in  frontal  and  central  regions  and  alpha  power  fluctuation  in

parietal and occipital regions during increased mental task demand [2, 3, 7]. Nonetheless,

the measures of the physiological and behavioural response of MWL were conducted on a

new  type  of  mission  scenario.  The  mission  specific  task  index  was  also  implemented  to

provide an additional baseline for comparing the EEG index and fusion measures.

Henceforth, the contribution of this experimental activity was the verification of established

features  from  the  EEG  (i.e.,  alpha  and  theta)  to  create  an  EEG  index  that  was  positively

correlated with the task performance in a complex OTM UAV wildfire detection scenario.

Moreover, a straightforward data fusion method was also implemented between the EEG

index and scan pattern entropy and showed to increase correlation with the task index. The

151 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

verification of a multimodal fusion method additionally demonstrates that the approach can

improve the reliability of cognitive state measurements.

Based  on  this  study,  future  research  includes  exploring  different  data  fusion  techniques

including  expanding  on  the  weighting  strategy  by  using  an  optimal  weighting  that  is

calibrated for each individual subject. In addition, future research includes implementing

the  performance  measures  and/or  reserving  the  other  measures  as  data  labels  for  AI

techniques such as supervised ML models.

Conclusion

In this chapter an exploratory experimental activity was performed by developing an EEG

index based on alpha and theta bands, and comparing it with other behavioural, subjective

and performance measures that were implemented and analysed in a complex OTM UAV

wildfire detection scenario. This exploratory activity was a collaborative activity and expands

on the work by further developing an EEG index and implementing a data fusion approach

with the EEG index and an eye activity measure. The result from this experimental activity

demonstrated  an  EEG  index  (using  alpha  and  theta  power‐bands)  that  showed  a  good

correlation with a task performance measure (CC = 0.628 ± 0.19). Moreover, a data fusion

approach was taken between the EEG index and the scan pattern entropy and showed an

improved correlation with the task index (CC = 0.726 ± 0.14). The verification of a sensitive

EEG  index  and  a  straightforward  multimodal  fusion  method  demonstrated  that  the

approach can improve the reliability of MWL measurements.

152 Chapter 4. Experimental Activity 1

References

[1]

Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.  10, p. 12, January 2021.

[2]

S. Puma, N. Matton, P.‐V. Paubel, É. Raufaste, and R. El‐Yagoubi, "Using theta and alpha band power to  assess cognitive workload in multitasking environments," International Journal of Psychophysiology, vol.  123, pp. 111‐120, October 2018.

[3]  B.‐W.  Hsu, M.‐J.  J.  Wang,  C.‐Y.  Chen,  and F.  Chen,  "Effective  indices  for  monitoring  mental  workload  while performing multiple tasks," Perceptual and Motor Skills, vol. 121, no. 1, pp. 94‐117, August 2015.

[4]  M. E. Smith, A. Gevins, H. Brown, A. Karnik, and R. Du, "Monitoring Task Loading with Multivariate EEG  Measures during Complex Forms of Human‐Computer Interaction," Human Factors, vol. 43, no. 3, pp.  366‐380, 2001.

[5]  W. Klimesch, "EEG alpha and theta oscillations reflect cognitive and memory performance: a review and

analysis," Brain Research Reviews, vol. 29, no. 2‐3, pp. 169‐195, November 1999.

[6]  A. Gevins, M. E. Smith, L. McEvoy, and D. Yu, "High‐resolution EEG mapping of cortical activation related  to working memory: effects of task difficulty, type of processing, and practice," Cerebral Cortex, vol. 7,  no. 4, pp. 374‐385, June 1997.

[7]  A.  Gevins  et  al.,  "Monitoring  Working  Memory  Load  during  Computer‐Based  Tasks  with  EEG  Pattern

Recognition Methods," Human Factors, vol. 40, no. 1, pp. 79‐91, March 1998.

[8]

P. D. Antonenko, "The effect of leads on cognitive load and learning in a conceptually rich hypertext  environment," PhD Thesis, Iowa State University, 2007.

[9]  M.  Mikhail,  K.  El‐Ayat,  J.  A.  Coan,  and  J.  J.  Allen,  "Using  minimal  number  of  electrodes  for  emotion  detection  using  brain  signals  produced  from  a  new  elicitation  technique,"  International  Journal  of  Autonomous Adaptive Communications Systems, vol. 6, no. 1, pp. 80‐97, 2013.

[10]  S. Scanella, V. Peysakhovich, F. Ehrig, and F. Dehais, "Can flight phase be inferred using eye movements?

Evidence from real flight conditions," in 18th European Conference on Eye Movements, 2015.

[11]  Y.  Lim,  "Cognitive  human‐machine  interfaces  and  interactions  for  avionics  systems,"  PhD,  RMIT

University, 2020.

[12]  J. Gilland, "Driving, eye‐tracking and visual entropy: Exploration of age and task effects," PhD Thesis,

Department of Psychology, The University of South Dakota 2008.

[13]  F. Lotte, "A tutorial on EEG signal‐processing techniques for mental‐state recognition in brain–computer

interfaces," in Guide to Brain‐Computer Music Interfacing: Springer, 2014, pp. 133‐161.

Chapter 5

Experimental Activity 2:  Offline Calibration and Validation of a Multimodal Inference Model of MWL

Introduction

This  chapter  included  the  development  and  thorough  analysis  of  a  multimodal  inference

model  of  MWL  during  a  MATB  task  scenario.  This  involved  collecting  physiological  and

behavioural measurements from 17 participants and developing an inference model in post‐

processing  for  an  accurate  multimodal  measure  of  MWL.  While  Chapter  4  investigated

physiological sensors, with the analysis of an EEG index and the multimodal fusion with an

eye activity measure and their ability to measure MWL during a complex OTM task scenario.

This chapter (Experimental Activity 2) will further expand on this work with the development

and offline calibration and analysis of an accurate inference model that can be implemented

for real‐time MWL inference as needed for a sensing and estimation module of a CHMS.

However, to controllably and reliably test the inference model, this experimental activity

rigorously  tested  various  inference  models  using  a  variety  of  feature  combinations  from

153

154 Chapter 5. Experimental Activity 2

physiological  and  behavioural  data  collected  from  subjects  performing  the  MATB  task

scenario.  A  thorough  offline  calibration  and  validation  of  the  inference  models  would

analyse  their  ability  to  accurately  infer  MWL.  This  followed  the  general  chapter

methodology as presented in Section 3.4 with a thorough analysis of the features extracted

as well as the performance of the respective multimodal inference models. The objective of

this experimental activity was thus to verify features that were sensitive to changes in task

load as well as to assess what multimodal inference model could best estimate the task load

of the MATB scenario. This was done with the use of four sensors and respective features

from an EEG, eye activity tracker, ECG and control input device. The sensor measurements

and corresponding features would then be fused together using an ANFIS, which yields a

final inference of MWL.

Similar to Chapter 4, this chapter further details the equipment and methods for this specific

activity. This includes describing details on the design of the task scenario as well as the

methods  for  extracting  and  fusing  the  features.  The  following  sections  comprise  of  the

results and a comprehensive discussion before concluding the chapter in Section 5.8.

Experimental procedure and setup

The first step of the session in Experimental Activity 2 included conduction of a short briefing

and introduction. This included a MATB familiarisation as the participants were not familiar

with the program. The familiarisation involved each participant performing each of the four

tasks (TRACK, SYSMON, COMM, RESMAN) for about 1 minute each, or until the subjects felt

like they understood or felt comfortable with the task. After this the applicable sensors were

fitted, including strapping on the Bioharness 3 around the chest, and putting the EEG on the

head and checking the impedances. After this, the camera for the eye tracker was checked

to  make  sure  that  the  distance  and  field  of  view  was  appropriate  and  was  followed  by

performing a 9‐point calibration. Once the sensors were fitted the software for processing

and data collection was initialised. After recording started, the experiment could commence

with  the  pre‐resting,  MATB  scenario  and  post‐resting.  Once  complete,  the  software  was

stopped, and a final debrief took place before collecting all the data in a location specific for

the participant. The experiment took in total between 1 hour 20 minutes to an hour and

155 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

half, for each subject. As seen in Figure 5.1a, the experimental setup consisted of having a

subject  perform  the  MATB  task  levels,  while  being  equipped  with  the  sensor  suite  that

recorded data. During the resting phase the participants were encouraged to keep their gaze

at the cross as seen in Figure 5.1b.

A

D

B

C E

(b)

F

(a)

Figure 5.1. (a) Experimental setup while participant performed the MATB tasks. A: EEG cap with cloth  covering, B: Joystick, C: Remote eye tracker, D: MATB interface, E: Computer mouse for control input, F: EEG  amplifier. (b) The cross participant are encouraged to keep their gaze at during the resting phases.

Participants

For  this  study  17  participants  took  part  in  the  experiment.  As  described  in  the  inclusion

criteria  in  Chapter  3,  subjects  within  the  working  age  population  (18  –  67  years)  were

approached  to  participate.    There  were  10  females  and  7  males  that  participated  in  the

experiment and the average age was 29 years with a standard deviation of ±8.2. The data

collection occurred between the middle of August to the end of September 2020.

156 Chapter 5. Experimental Activity 2

MATB scenario design

With  the  pre‐defined  level  of  difficulty  as  defined  in  Section  3.3.2,  the  full  experimental

scenario can be seen in Table 5.1, with the profile seen in Figure 5.2 below. The scenario

consisted of an initial 3‐minute pre‐rest period followed by 34 minutes of performing the

MATB tasks, again followed by a 3‐minute post‐resting period.

Figure 5.2 MATB task load profile for the experiment.

The tracking task was unchanged throughout the scenario and was set to a high update and

medium  response.  This  was  done  in  order  to  analyse  if  the  tracking  task  could  be

implemented as a secondary task performance measure, as it is consistent throughout the

task  scenario.  Apart  from  this,  the  tasks  would  change  throughout  the  levels  where  the

MATB scenario consisted of two phases, where each phase consists of level 1+, 2, 3 and 3+

(see Section 3.3.2). Level 1+ was defined as easy and included performing the tracking and

system monitoring task for 5 minutes. Level 2 was defined as medium difficulty and included

tracking, an increase in system monitoring tasks and the introduction of the communication

task.  Level  3  was  defined  as  hard  and  consisted  of  performing  all  four  of  the  tasks,  with

tracking, an increase in SYSMON and COMM and introduction of RESMAN. At the end level

3 was level 3+ and again consisted of four tasks, but the difficulty of SYSMON, COMM AND

RESMAN was slightly increased for another two minutes. The RESMAN increased in difficulty

by increasing the number of pump failures. In terms of the last two minutes of level 3+, this

period was designed with what was considered the maximum number of tasks presented to

the subject, while still being theoretically possible to successfully complete all these tasks.

157 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

This period was an extension of level 3 and was intended to push the MWL of the subject to

the limit.

Table 5.1 Detailed task load profile during the experiment.

Track

SYSMON

COMM

RESMAN

REST  Level 1+   Level 2  Level 3  Level 3+  Level 1+  Level 2  Level 3  Level 3+  REST

Duration (40 min) 3 min  5 min  5 min  5 min  2 min  5 min  5 min  5 min  2 min  3 min

High – med  High – med  High – med  High – med  High – med  High – med  High – med  High – med

3 per/min  6 per/min  9 per/min  12 per/min  3 per/min  6 per/min  9 per/min  12 per/min

2 per/min (1/1)  2 per/min (2/0)  3 per/min (2/1)    2 per/min (1/1)  2 per/min (2/0)  3 per/min (2/1)

2 fail/min  6 fail/min      1 fail/min  6 fail/min

Data collection and processing

During  the  experiment  data  was  collected  from  four  different  groups  and  included

physiological  measures,  behavioural  measures,  subjective  measures,  performance

measures and task level. Figure 5.3 illustrates the various data collection groups, and their

subgroups. The task analysis group is defined in section 5.4 and is the pre‐assumed difficulty

during  the  experiment  at  the  various  phases.  The  other  four  categories  and  the

requirements for data collection are further defined below.

Data collection

Task analysis

Subjective measures

Performance measures

Physiological and behavioural measures

NASA‐TLX

EEG

Pre‐determined task  difficulty

TRACK, SYSMON, COMM  and RESMAN

Eye tracking

ECG

Control inputs

Figure 5.3. Diagram illustrating all the categories and subcategories of data collection while performing the  MATB task scenario.

158 Chapter 5. Experimental Activity 2

5.5.1. Subjective measure

At the completion of each level the subject would be prompted with the workload rating

scale, based on the NASA TLX [1]. This gave a subjective measure of the workload to cross‐

reference  with  the  physiological,  behavioural  and  performance  measures,  as  subjective

measures are the closest to a ground truth. The NASA TLX  consisted of 6 different categories

that the subjects had to score from 0 to 100 and was imbedded in the MATB program. With

this prompt the participants would need to slide the bar to the left or right to make their

answer. The six categories included mental demand, physical demand, temporal demand,

performance, effort and frustration. The final score from the NASA TLX was then calculated

from the six categories.

5.5.2. MATB performance measures

During the experiment, the MATB program measured various parameters of the four tasks

which were outputted to a Comma Separated Values (CSV) file or a text file. The intervals of

which the measures were recorded were pre‐determined and defined how much time the

subject had, before a negative performance score was logged. The experiment was designed

to always perform the tracking task, which can be considered among the most important

tasks for a pilot. Thus, the tracking performance was solely used as a performance measure.

This was done by measuring the mean square error of the tracking, where the deviation

from the centre was measured at five second increments. To ensure that the subjects did

not  only  do  the  tracking  task,  the  subjects  would  be  informed  that  all  tasks  are  equally

important prior to commencing the experiment.

5.5.3. Physiological and behavioural measurements

5.5.3.1. Electroencephalogram (EEG)

As detailed in the literature review in Chapter 2, EEG processing consists of two fundamental

steps  including  feature  extraction  and  classification/inference.  The  former  includes

describing  the  raw EEG  signals  with  a  few relevant  values,  while  the  latter  then  includes

assigning the set of features to a pre‐determined group/ class. As illustrated in Figure 5.4,

159 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

this experimental activity achieved this with the use of FBSPoC as feature extraction and a

ridge  regression  as  the  inference  method.  As  in  the  previous  experimental  activity  the

actiCAP Xpress from BrainProducts GmbH was used for performing the EEG recordings. The

layout of the cap follows the international 10‐20 system, where 16 data electrodes were

collecting data at the revised locations F4, AFz, F3, FCz, C3, C4, CPz, T7, T8, P3, POz, P4, P7,

1

1 2

2

P8, O1 and O2.

Ridge 2 Regression

INFERRED MWL

16

6

Filter Bank Source Power Comodulating

Figure 5.4. Feature extraction using FBSPoC and continuous classification using ridge regression.

To process the EEG data the NeuroPype software (Intheon Labs, San Diego) was used which

allowed for advanced signal processing with options for using a user‐friendly graphical user

interface. The software is written in Python (PY) and is a commercial product but is free for

academic  purposes. The  NeuroPype  software has  an  extensive  library  and  is  designed  to

develop  so  called  signal  pipelines  that  can  process  the  data  in  both  offline  and  real‐

time/online processing.

The signal pipeline developed for performing inference of MWL can be seen in Figure 5.5.

This methodology used a variety of supervised ML models including one for the adaptive

spatial filter using FBSPoC and a ridge regression model to make the final inference of MWL.

These methods were supervised ML models and thus required an offline calibration phase

to calibrate the respective models. To ensure that models would perform as intended and

were not subject to overfitting, an offline validation was performed using half of the data

that was previously unseen to the model. Thus, the calibration and the validation of the

model  were  two  separate  stages,  as  indicated  in  Figure  5.5  with  brown  arrows  and  blue

arrows.  For  a  screenshot  of  the  pipeline  in  NeuroPype  using  the  “Pipeline  Designer”

software see Appendix B.

Label  data

Training data

160 Chapter 5. Experimental Activity 2

Collected calibration data EEG – 16  data  channels

Epoch (3 sec)

Assign  values to  labels

Select channels (ch 1‐16)

High-pass FIR filter  (4 Hz)

Test data

Label  data

Collected validation data EEG – 16  data  channels

Machine Learning Ridge Regression

Adaptive filter Filter Bank  Source Power  Comodulation  (FBSPoC)

5‐fold validation

Analyse result

Scoring metric: Negative MAE

Feature extraction

3 pattern pairs

Offline validation  of test data

Log(variance)

(MAE,  CC)

Regularisation  parameters:  [0.1, 0.5, 1, 5, 10]

Filter bank: [4 7] [8 12] [13 30]

Figure 5.5. Pipeline for offline calibration and validation of EEG model.

For this EEG pipeline, the data was first labelled by assigning the data labels within specific

epochs.  These  labels  were  defined  based  on  the  pre‐determined  level  of  difficulty,  as

described in Section 5.4. The number of labels was determined based on the epoch used,

where the length of the epochs for this pipeline was 3 seconds. The total number of labels

were then calculated by taking the total number of seconds in a respective phase divided by

the epoch length. The following step in the pipeline was then assigning values to the labels,

as the assigned labels were initially set as a string variable. The values used for this pipeline

was “0” indicating resting and “1”, “2” and “3” indicating levels 1, 2 and 3. The next step was

then selecting the number of channels used for further processing which included using all

16 data channels on the actiCAP Xpress EEG cap. Following this a high‐pass filter was applied

to remove all frequencies below 4 Hz. A high‐pass filter was chosen as a band‐pass filter

would require too much processing time and would slow down the computation. Then as

mentioned  above  a  3  second  epoch  was  chosen  for  further  data  processing,  where  the

epoch was centred around the label as defined in the preceding step.

For this experiment the FBSPoC was used, were the result from calibrating the FBSPoC were

different spatial filters that gave a power time course that were calibrated to comodulate

with the pre‐defined task level. In this study the theta (θ , 4 – 7 Hz), alpha (α, 8 – 12 Hz) and

161 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

beta (β, 13 – 30 Hz) bands were selected as filter banks. For each filter bank there were

three pattern pairs selected, resulting in six filters for each band and a total of 18 filters. A

following feature extraction was then performed that took the logarithm of the variance

from  the  resulting  output  from  the  adaptive  spatial  spectral  filters,  which  than  gave  18

power time courses. These features were then used to calibrate a ridge regression model.

As  the  number  of  features  were  relatively  large,  a  sparse  regression  method  (ridge

regression)  was  used  since  some  features  were  expected  to  not  include  relevant

information. For the ridge regression model a negative MAE was used as the scoring metrics

and the regularisation parameters were set to 0.1, 0.5, 1, 5 and 10. The output from the

ridge regression model was one inference of MWL given the feature set. Lastly, the results

from five‐fold validation during offline calibration and the results from offline validation was

saved  to  a  CSV  file  for  each  respective  epoch.  The  recorded  data  could  then  be  further

analysed in MATLAB, including calculating the MAE when validating on the second unseen

half of the data.

5.5.3.2. Eye activity tracking features

The  eye  tracking  features  extracted  as  part  of  this  experimental  activity  included  scan

pattern entropy, blinks per minute, pupil diameter and proportional dwell time. The eye

tracking data was collected using the Gazepoint GP3, as detailed in Section 3.3.4. As further

seen  in  Figure  5.6  the  eye  tracking  features  were  calculated  in  real‐time,  with  the  ROI

defined prior to commencing the experiment. The raw gaze data was combined with the

ROI for extracting scan pattern entropy and proportional dwell time. Further detail on the

feature extraction is described in the following sections.

162 Chapter 5. Experimental Activity 2

Figure 5.6. Four features extracted from the eye tracking data.

Scan pattern entropy

Similarly, to Experimental Activity 1, the scan pattern entropy was also calculated in this

activity. This was conducted using the same method as described in Equation 4.1, where the

scan pattern entropy was determined by the gaze transition between different ROI, typically

represented in a matrix. Although the method was similar, this experiment used ROI that

were defined differently.

Two  different  scan  pattern  entropies  were  calculated  during  the  experiment  including  a

simple scan pattern with seven ROI and a more complex scan pattern entropy with 42 ROI.

For the first scan pattern entropy, the ROI were only defined around the main tasks of the

MATB HMI, as seen in Figure 5.7(a). As this only had seven ROIs the maximum value for SPE

(indicating high randomness in the scan pattern) was 2.81 as seen in Eq (5.1).  The second

scan pattern entropy was the more complex one and had 42 different ROIs, which were all

the subcategories on the MATB HMI (see Figure 5.7(b)). This scan pattern entropy then gave

a maximum SPE value of 5.39, which again indicated the maximum randomness in the scan

pattern.  All  the  ROI  were  hardcoded  into  the  software  for  calculating  the  scan  pattern

entropies.

(cid:3440) ∗ (cid:3435)7 ∗ (cid:4666)(cid:3398)0.401(cid:4667)(cid:3439) SPE(cid:2923)(cid:2911)(cid:2934) _(cid:3046)(cid:3040)(cid:3043)(cid:3039) (cid:3404) (cid:3398) (cid:3436)7 ∗ 1 7 (5.1)

SPE(cid:2923)(cid:2911)(cid:2934) _(cid:3046)(cid:3040)(cid:3043)(cid:3039) (cid:3404) 2.81

163 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

(cid:3440) ∗ (cid:3435)42 ∗ (cid:4666)(cid:3398)0.024(cid:4667)(cid:3439) SPE(cid:2923)(cid:2911)(cid:2934) _(cid:3030)(cid:3040)(cid:3043)(cid:3039)(cid:3051) (cid:3404) (cid:3398) (cid:3436)42 ∗ 1 42 (5.2)

(cid:1845)(cid:1842)(cid:1831)(cid:2923)(cid:2911)(cid:2934) _(cid:3030)(cid:3040)(cid:3043)(cid:3039)(cid:3051) (cid:3404) 5.39

(a) (b)

Figure 5.7.  ROIs for calculating: (a) simple scan pattern entropy; (b) and complex scan pattern entropy.

Blink per minute

The blinks per minute was calculated as shown in Eq (5.3). The calculation was conducted

from the Gazepoint GP3 and was the number of blinks in one minute calculated with a sliding

window.

(cid:3041) ∑ (cid:1876)(cid:3036) (cid:3036)(cid:2880)(cid:2869) 60

(5.3) BPM (cid:3404)

Pupil diameter

Pupil diameter was recorded with the Gazepoint GP3, were the diameter for each pupil was

taken at 15 samples a second. With each of the left and right pupil diameter, the average of

the two was obtained to get one measure each second. After this a moving average was

applied by using a 15 second sliding window.

Proportional dwell time

Dwell time is a measure of how long the participant’s gaze is within a given ROI. For the

proportional dwell time measure there were 4 ROI that were defined around the four main

tasks of the MATB HMI (see Figure 5.7(a)). Only the regions for system monitoring, tracking,

communication  and  resource  management  were  considered,  as  it  was  assumed  that  the

164 Chapter 5. Experimental Activity 2

participants would mainly keep their gaze within these regions.  With the dwell time for the

individual ROI obtained, all of them were summed and then averaged which would account

for the total dwell time for all the regions. Then a moving average was applied to highlight

the predominant trends in the data, which was done with a 30 second sliding window.

5.5.3.3. Heart rate monitoring

The cardiac sensor used to monitor heart activity was an ECG as detailed in Section 3.3.4.

The round device was placed just to the left, and under the armpit as this was found to give

a good ECG reading and an un‐interrupted data transfer with the computer. With the raw

cardiac signal, the HR was determined by the extrapolation of the time interval in seconds

between two consecutive R waves (R‐to‐R) and was calculated by the Bioharness 3.

5.5.3.4. Controller input feature

Along with the eye activity measures, the Control Inputs (CI) from the right mouse button

clicks were recorded using the Gazepoint GP3 hardware. Number of mouse button clicks

were recorded for each second (with 15 samples a second) and a moving average using a

sliding window of 30 seconds was then applied to highlight the trends of the CI feature.

5.5.4. Final inference model

With all the features processed, a final inference model was implemented by applying an

ANFIS  which  could  be  used  for  fusing  the  multimodal  data.  The  calibration,  analysis  and

comparison  of  the  inference  models  was  conducted  as  described  in  Section  3.4.  The  full

inference model consisted of using up to seven features for multimodal fusion, as seen in

Figure  3.14  in  Chapter  3.  The  multimodal  fusion  of  the  several  inference  models  was

conducted using an ANFIS as described in the following section.

5.5.4.1. Adaptive Neuro Fuzzy Inference System (ANFIS)

Several optimization methods can be used to automatically tune a fuzzy system, and among

them include using a neural network approach. An ANFIS is thus a method of utilising both

the advantages of FIS and neural networks. The ANFIS tuned the fuzzy sets and fuzzy rules

based on a calibration phase that implemented labelled data, where the ANFIS implemented

165 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

the Takagi Sugeno type processing technique to generate the fuzzy rules [2‐4]. In addition

to  this,  the  number  of  fuzzy  sets  needed  to  be  manually  defined  as  well  as  the  type  of

membership function used, the number of training epochs and what type of pre‐clustering

method was used.

To  determine  the  optimal  ANFIS  parameters  a  testing  methodology  was  performed  as

outlined  in  Section  3.4.2.  The  summarised  methodology  consisted  of  preparing  the

calibration  and  validation  data,  then  testing  the  performance  of  the  ANFIS  model  with

different parameters and feature combinations.  The pre‐processing of the calibration and

validation data mainly included ensuring that the vector length for each data set was the

same length. For this study the task scenario was 40 minutes, thus the vector length was

2400, as there was a data point recorded every second. For the EEG models output, the

vector  would  have  to  be  resamples  as  the  recording  was  conducted  at  three  second

intervals. Additional pre‐processing also involved excluding sections of the data that was

irrelevant to the processing, such as the data recorded while answering the questionnaires

(which was done immediately after completing each of the task levels). This was conducted

by  recording  the  time  elapsed  when  the  subject  started  and  ended  answering  the

questionnaires  (further  explained  in  Section  5.5.5).  Other  pre‐processing  also  included

smoothing the data with a moving average of up to 30 seconds, as specified in the previous

sections for each individual feature processing. With all the data used for calibrating and

validating the ANFIS, the following steps included manually defining the ANFIS parameters.

Preliminary testing showed a preferable set of ANFIS parameters and this was used for all

the results as presented in Section 5.7. For this study the number of fuzzy sets used was

four. This was used as there were four separate stages as defined by the task analysis and

consisted of resting, level 1, level 2 and level 3, which could also be interpreted as very low,

low, medium and high MWL. For the fuzzy sets the membership functions used as inputs

and  outputs  to  the  ANFIS  included  the  following.  The  input  function  to  the  ANFIS  was

(cid:2870)

described using Gaussian membership functions as shown by the following:

(cid:2870)

(5.5) (cid:3441) (cid:1858)(cid:3435)(cid:1876)(cid:3036), (cid:2026)(cid:3036)(cid:3037), (cid:1855)(cid:3036)(cid:3037)(cid:3439) (cid:3404) exp (cid:3437)(cid:3398) (cid:3435)(cid:1876)(cid:3036) (cid:3398) (cid:1855)(cid:3036)(cid:3037)`(cid:3439) 2(cid:2026)(cid:3036)(cid:3037)

166 Chapter 5. Experimental Activity 2

here, for an input (cid:1876)(cid:3036), the (cid:1862)(cid:3047)(cid:3035) membership function was described by a centre (cid:1855)(cid:3036)(cid:3037) and with a

spread of (cid:2026)(cid:3036)(cid:3037). As for the output function, this followed a Sugeno type FIS and was defined

(cid:3041)

as a linear combination of the input parameters, given as:

(cid:3036)(cid:2880)(cid:2869)

(5.6) (cid:1877)(cid:3044)(cid:4666)(cid:1876)(cid:2869), … , (cid:1876)(cid:3041)(cid:4667) (cid:3404) (cid:1868)(cid:3044)(cid:2868) (cid:3397) (cid:3533) (cid:1868)(cid:3044)(cid:3036) ∙ (cid:1876)(cid:3044)(cid:3036)

here (cid:3419)(cid:1868)(cid:3044)(cid:2868), … , (cid:1868)(cid:3044)(cid:3041)(cid:3423) were the parameters of the (cid:1869)(cid:3047)(cid:3035) output membership function. Then for

the clustering algorithm there were three options available as mentioned in Section 3.4.2.

For  this  study  Fuzzy  C‐Means  (FCM)  clustering  was  implemented  as  it  provided  less

computational time and was less prone to overfitting the data (as it showed to perform the

strongest  on  the  unseen  validation  data).  Some  elements  of  grid  partitioning  were  also

implemented in FCM clustering and are thus also outlined.

Grid Partitioning is a computationally simpler method compared to the other methods since

it partitions the data into equally spaced areas without an iterative clustering technique. For

this  method  there  were  k  input  membership  functions,  and  given  these,  the  algorithm

divided  the  space  of  each  input  (cid:1876)(cid:3036)  in  a  way  that  the  centres  and  spread  of  the

(cid:1862)(cid:3047)(cid:3035)membership function was given by:

(5.7) (cid:1855)(cid:3036)(cid:3037) (cid:3404) min(cid:4666)(cid:1876)(cid:3036)(cid:4667) (cid:3397) (cid:4666)(cid:1862) (cid:3398) 1(cid:4667) ∙ (cid:4670)max(cid:4666)(cid:1876)(cid:3036)(cid:4667) (cid:3398) min(cid:4666)(cid:1876)(cid:3036)(cid:4667)(cid:4671) (cid:1863) (cid:3398) 1

(5.8) (cid:2026)(cid:3036) (cid:3404) max(cid:4666)(cid:1876)(cid:3036)(cid:4667) (cid:3398) min(cid:4666)(cid:1876)(cid:3036)(cid:4667)   2 ∙ (cid:4666)(cid:1863) (cid:3398) 1(cid:4667) ∙ (cid:3493)2 ln(cid:4666)2(cid:4667)

FCM is a clustering method that divides a set of n data points (cid:4668)(cid:2206)(cid:2778), … , (cid:2206)(cid:2196)(cid:4669) into c fuzzy groups.

The number of groups must be defined prior to processing and was set to four for this study.

Each of the data points was then associated with a membership matrix U that indicated the

fuzzy membership of data point (cid:1876)(cid:3036) with respect to group j. The membership of each data

point needed to sum to unity across all groups as given by:

(cid:3030) (cid:3533) (cid:1873)(cid:3036)(cid:3037) (cid:3037)(cid:2880)(cid:2869)

(cid:3404) 1, (5.9) ∀(cid:3036)(cid:3404) 1, … , (cid:1866)

167 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

(cid:3030)

(cid:3041)

(cid:2870)

The cost function was then given by the following:

(cid:3040) ∙ (cid:1856)(cid:3036)(cid:3037)

(cid:3037)(cid:2880)(cid:2869)

(cid:3036)

(5.10) (cid:1836)(cid:4666)(cid:2177), (cid:2185)(cid:2778), … , (cid:2185)(cid:2185)(cid:4667) (cid:3404) (cid:3533) (cid:3533) (cid:1873)(cid:3036)(cid:3037)

Here (cid:1855)(cid:3037) was the cluster centre for a fuzzy group j, while (cid:1873)(cid:3036)(cid:3037) was the membership grade of

the data point i within group j. m was then the weighting exponent, while (cid:1856)(cid:3036)(cid:3037) (cid:3404) (cid:3630)(cid:2206)(cid:2191) (cid:3398) (cid:2185)(cid:2192)(cid:3630)

was the Euclidean distance between the (cid:1861)(cid:3047)(cid:3035) data point and (cid:1862)(cid:3047)(cid:3035) cluster centre. Increasing the

value of m increased the degree of fuzziness of each data cluster. Hence at higher values of

m,  data  points  that  were  far  away from  the  cluster  centre  had  a  significant  membership

(cid:3041)

(cid:3030)

grade. The equation below were moreover required to minimise Eq (5.10):

(cid:3036)

(cid:3037)(cid:2880)(cid:2869)

(cid:4685) (cid:1836)(cid:4666)(cid:2177), (cid:2185)(cid:2778), … , (cid:2185)(cid:2185), (cid:2019)(cid:2869), … , (cid:2019)(cid:3041)(cid:4667) (cid:3404) (cid:1836)(cid:4666)(cid:1847), (cid:1855)(cid:2869), … , (cid:1855)(cid:3030)(cid:4667) (cid:3397) (cid:3533) (cid:2019)(cid:3036) ∙ (cid:4684)(cid:3533) (cid:1873)(cid:3036)(cid:3037) (cid:3398) 1

(cid:3041)

(cid:3030)

(cid:3030)

(cid:3041)

(cid:2870)

(5.11)

(cid:3040) ∙ (cid:1856)(cid:3036)(cid:3037)

(cid:3036)

(cid:3037)(cid:2880)(cid:2869)

(cid:3037)(cid:2880)(cid:2869)

(cid:3036)

(cid:4685) (cid:3404) (cid:3533) (cid:3533) (cid:1873)(cid:3036)(cid:3037) (cid:3397) (cid:3533) (cid:2019)(cid:3036) ∙ (cid:4684)(cid:3533) (cid:1873)(cid:3036)(cid:3037) (cid:3398) 1

Here (cid:1836)(cid:4666)(cid:2177), (cid:2185)(cid:2778), … , (cid:2185)(cid:2185), (cid:2019)(cid:2869), … , (cid:2019)(cid:3041)(cid:4667) was differentiated with respect to all input arguments to find

the required minimum. Where the equation above was further given by:

(cid:3040) ∙ (cid:2206)(cid:2191) (cid:3040)

(cid:3041) ∑ (cid:1873)(cid:3036)(cid:3037) (cid:3036)(cid:2880)(cid:2869) (cid:3041) ∑ (cid:1873)(cid:3036)(cid:3037) (cid:3036)(cid:2880)(cid:2869)

(5.12) (cid:1855)(cid:3036) (cid:3404)

⁄

(cid:2870) (cid:4666)(cid:3040)(cid:2879)(cid:2869)(cid:4667)

(cid:3030) (cid:3038)(cid:2880)(cid:2869)

1 (cid:1873)(cid:3036)(cid:3037) (cid:3404) (5.13) ∑ (cid:3440) (cid:3436) (cid:1856)(cid:3036)(cid:3037) (cid:1856)(cid:3038)(cid:3037)

Using the equations above, the FCM algorithm worked by first randomly initialising the c

cluster centres. Following this the membership grade was calculated using Eq (5.9), with the

cluster centres calculated using Eq (5.7) (which was also implemented for grid partitioning).

The value of J was then calculated using Eq (5.10), following this the membership grade and

cluster  centres  were  iteratively  determined  until  J  fulfilled  a  required  threshold  or  until

(cid:3630)(cid:1847)(cid:4666)(cid:3038)(cid:2878)(cid:2869)(cid:4667) (cid:3398) (cid:1847)(cid:4666)(cid:3038)(cid:4667)(cid:3630) fulfilled a termination criterion.

168 Chapter 5. Experimental Activity 2

After the initial clustering was complete, the second phase could commence which included

further tuning the parameters of the previously generated FIS. For the input membership

functions,  backpropagation  was  used  to  tune  these  parameters.  However,  the  output

membership  functions  were  computed  using least  squares  estimation.  For  the

backpropagation the ANFIS framework allowed for the input membership functions to be

iteratively tuned over 2000 epochs. The least squares method, however, is not an iterative

learning method and was thus only generated based on the current set of training data.

5.5.5. Network during experiment

The data collection for this experiment came from several different sources and some of the

raw  data  collected  was  processed  in  real‐time  with  various  software  scripts.  As  such,  a

network for processing and collecting the data was needed as seen in Figure 5.8. For the

EEG, 16 data channels were recorded using the “recorder” software from BrainProducts and

was saved in a .vhdr file format. The cardiac sensor from zephyr bioharness was a wireless

device and transmitted the raw ECG signal via Bluetooth. This raw data was then processed

by a Python script that received, formatted the data, and then passed on the data using a

TCP/IP protocol. A following JavaScript (JS) script would then process the data, i.e. HR, which

was  then  saved  in  a  CSV  file.  The  eye  trackers  raw  data  was  received  by  a  JS  script  that

performed an initial formatting of the data, before passing the data over TCP/IP to another

JS script that defined the ROI and then calculated the scan pattern entropy and proportional

dwell time. The Gazepoint analyser also recorded mouse inputs, which were saved to a CSV

file. Lastly, the MATB program recorded various measures from the individual tasks. These

were either saved as a text file and/or as a CSV file.

EEG

Save .vhdr file

Start recording in  ‘recorder’  software

Initialise  impedance with  ‘recorder’  software

169 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Brain Products    ‐ actiCAP Xpress    ‐ Vamp   ‐ 16 data ch.

Bluetooth  transmission

Save to .csv file

Calculate HR with  JS script

Receive raw data  with PY script  ‐ Format and pass  onto with TCP

Cardiac sensor Zephyr – Bioharness ‐ Transmit signal  via bluethooth

Calculate features from Gazepoint data

Collect all data for participant X

JS script that  defines ROI

Eye tracker

CALCULATE JS script that  receives ROI and  eye data and  calculates

Save to .csv file

GazePoint GP3 ‐ Raw eye data

Receive raw data  with JS script and  format data

‐ SPE  ‐ BPM ‐ etc.

JS script to  calculate mouse  control inputs

MATB‐II

Save .txt and .csv  file

Record  performance  measures

MATB-II 34 min Scenario

Figure 5.8. Network diagram for processing and collecting the data.

For  this  activity,  each  of  the  recordings  were  initialised  a  few  seconds  apart.  As  such,  a

synchronisation  of  the  measurement  needed  to  take  place.  As  seen  in  Figure  5.9,  the

synchronisation  was  done  by  manually  noting  the  time  elapsed  until  the  resting  period

started.  This  was  performed  by  the  Gazepoint  analyser  software  which  could  record  the

screen during the experiment. A clock, showing time with seconds, was set up in the bottom

right corner of the screen to note how many seconds had passed until the resting period

started. Apart from this, other unknown time gaps where noted such as time between the

end  of  the  pre‐resting  period  and  the  start  of  the  MATB  tasks  as  well  as  the  time  the

participant took to complete each questionnaire following the completion of each level.

Start

Resting

Level 1

Level 2

Etc…

Gazepoint  analyser

X sec

Bioharness

X sec

Eye tracking  scripts

X sec

EEG recording

Chapter 5. Experimental Activity 2 170

Figure 5.9. Protocol for synchronising measurements.

Data analysis

The analysis for this experimental activity mainly included two different sections. The first

section  included  analysing  the  individual  features  processed,  while  the  second  section

included analysing the offline validation results from fusing the multimodal data using the

ANFIS. The analysis included using the CC, the MAE and the nMAE.

5.6.1. Analysing the individual features using the CC

Before moving onto the results from the ANFIS, the individual features and the correlation

with the pre‐determined task level was analysed to gain an insight into what features were

best  suited  to  calibrate  and  validate  the  ANFIS  model.  This  included  using  Pearson’s  CC,

which  showed  the  linear  relationship  between  the  features.  To  perform  the  CC,  all  the

features were normalised between 0 and 1. For each participant, the pairwise correlation

was firstly performed between all the individual calculated features and the pre‐determined

task level. Following this the average from all the pairwise correlations were calculated to

highlight  all  the  correlations,  and  to  give  an  insight  as  well  as  further  validate  the

performance of the measures as compared to one another.

171 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

5.6.2. Analysing the inference models

To perform a rigorous analysis of the performance of the ANFIS models, multiple feature

combinations  were  tested,  using  the  methodology  detailed  in  Section  3.4.2.  The

combination of the features was driven by the results from the CC results in order to provide

generic  feature  combinations  as  well  as  subject  specific  feature  combinations.  In  this

experimental  activity,  the  features  used  for  calibrating  and  validating  the  ANFIS  model

consisted of up to seven features including the EEG, SPE, CI, BPM, DIA (or, pupil diameter),

DWELL (or, proportional dwell time) and HR. The term “DIA” and “DWELL” are used in the

tables and this allows for more intuitive interpretation. The various combinations used for

calibrating and validating the ANFIS models included combinations of two, three, four, five,

six and all seven features. An analysis of feature combinations based on eye activity only

was also assessed. For the subject specific feature combinations, only the features that had

a  correlation  higher  than  CC  =  0.45  was  implemented.  For  rigorously  testing  the  ANFIS

models, half the data was used for calibrating the model, while the other half was used for

validating the model. Then for analysing the models the CC, nMAE and the MAE was used.

When  investigating  the  EEG  models  performance,  the  results  were  conducted  from

calibrating on the first half of the data, while the unseen second half was used to validate

the model. The results thus included the MAE from the five‐fold validation conducted during

the calibration, and once the model was calibrated the second half of the data was played

back or streamed, which then gave the prediction for the unseen data. The MAE for the

second half was then determined between the inferred result produced and the task level

for  the  second  half.  The  second  part  of  the  analysis  was  then  conducted  and  included

calibrating and validating the EEG model on all the data. This was done as the full time series

was required when training the ANFIS models.

Results

The results are presented in three different sections. The first section are the results from

calibrating and validating the EEG model. The following sections then present the results

from  the  pairwise  correlation  between  all  the  features  and  includes  an  analysis  for  each

172 Chapter 5. Experimental Activity 2

individual participant and the average across all subjects. Lastly, the results from calibrating

and validating the ANFIS models with several feature combinations will be presented in the

final section.

5.7.1. Calibrating and analysing the EEG model

The first part of this section presents results from calibrating the EEG model on the first half

and validating the model on the second half of the data collected. A visual comparison of

the inferred result from the EEG model and the task level can be seen in Figure 5.10. The

result is shown for participant 11, where the MAE was 0.53. The model infers MWL closely

to the task level during level one of the scenario, the inference then increases a few seconds

into level two as intended. During level three the inference then slowly increases and peaks

at the end of level three. The inference of MWL then clearly drops during the resting phase,

although  the  inference  is  maintained  at  1  point  higher  than  the  target  value  for  resting,

which was defined as zero.

Figure 5.10. Result for participant 11 after calibrating the model on the first half and using the second half  for offline validation (MAE = 0.53). Task level (red line) and inferrence of MWL (blue line).

The results for all the participants are presented in Table 5.2. below. This shows the results

from the five‐fold validation during the calibration stage and the results from validating the

model  on  the  unseen  second  half  of  the  data.  Examining  the  five‐fold  validation  results

showed an average across all subjects of MAE = 0.47 with a standard deviation of ±0.09.

173 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

When investigating the  results from validating the model on the second half of the data

demonstrated an average MAE of 0.81 with a standard deviation of ±0.38. This was a notable

increase  in  the  MAE  with  a  much  larger  standard  deviation.  The  increase  in  standard

deviation was reflected in some of the cases where the MAE was quite high for example for

participant 8, that had a MAE of 2.1. This indicated that the model did not perform well for

this subject. On the other hand, for a number of participants the model performed well,

where the lowest MAE can be seen for subject 6, where the MAE was 0.50.

Table 5.2. EEG model results for all participants.

Five‐fold validation  on first half  MAE nMAE(%) 14.7  0.44

Validation on second  half of data  MAE nMAE(%) 31.7  0.95

Participant 1.

2.

0.62

20.7

0.34

11.3

3.

0.84

28.0

0.41

13.7

4.

0.79

26.3

0.44

14.7

5.

0.66

22.0

0.55

18.3

6.

0.50

16.7

0.32

10.7

7.

0.67

22.3

0.45

15.0

8.

2.1

70.0

0.50

16.7

9.

0.82

27.3

0.38

12.7

10.

0.57

19.0

0.43

14.3

11.

0.53

17.7

0.60

20.0

12.

1.20

40.0

0.49

16.3

13.

0.63

21.0

0.62

20.7

14.

0.58

19.3

0.47

15.7

15.

0.66

22.0

0.60

20.0

16.

0.92

30.7

0.56

18.7

17.

0.75

25.0

0.58

18.6

Average

0.47 ± 0.09

16.0 ± 3.00

0.81 ± 0.38

27 ± 12.6

The preceding section demonstrated the efficacy of the EEG model’s ability to infer MWL

with an offline validation conducted on unseen data. Nonetheless, for the fusion of the data

using all the features from the various physiological and behavioural sensors the full length

of  the  data was  needed.  Thus,  the results  from  the  five‐fold  validation  from  training  the

174 Chapter 5. Experimental Activity 2

model on all the data is presented. The results from all the participant are presented in Table

5.3, where the results from one participant is seen in Figure 5.11. Similar to the previous

Figure 5.10, the task profile is in red and the inferred result from the EEG model can be seen

in blue. This result showed an inference of MWL that closely fitted the pre‐determined task

level profile. The resting phases were consistently higher than the intended value of zero for

resting, and in phase two during level two the inferred MWL can be seen to fluctuate a bit.

Apart  from  this  the  inferred  MWL  closely  fitted  the  task  levels  that  the  subject  had  to

perform. The table further shows the error for all the subjects when training the model on

all the EEG data. The average for all the participants was 0.60 with a standard deviation of ±

0.10.  This  demonstrated  that  the error  for  all  subjects  consistently  remained  around  the

0.60 mark, with the lowest MAE seen for subject six with a MAE = 0.40, and the highest seen

for subject 8 with a MAE=0.75.

Figure 5.11. Results from the EEG pipeline for participant six after calibrating and performing a five‐fold test  for analysis (MAE = 0.40). Task level (red line) and inferrence of MWL (blue line).

175 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Table 5.3. Results from calibrating on all the data and validating with five‐fold validation  on all the data.

Participant

MAE nMAE(%)

1.

0.71

23.6

2.

0.43

14.4

3.

0.66

22.0

4.

0.57

19.0

5.

0.62

20.5

6.

0.40

13.2

7.

0.58

19.4

8.

0.75

25.0

9.

0.58

19.3

10.

0.47

15.6

11.

0.53

17.6

12.

0.68

22.5

13.

0.6

20.1

14.

0.59

19.8

15.

0.63

21.1

16.

0.69

23.1

17.

0.66

21.9

Average

0.60 ± 0.10

19.9% ± 3.2

5.7.2. Individual results from all features

Before calibrating the ANFIS model the individual features were analysed. This was done by

comparing each of the features with the task level. As seen in Figures 5.12 to 5.17, seven of

the feature measurements are shown, where the features are normalised between 0 and 1

for visual comparison and further analysis with the CC. The visual comparison shows the

normalised feature measurements compared with the task levels (indicated in green) and

each figure is presented based on the highest scoring CC across all subjects. For Figures 5.12,

5.13b, 5.14b and 5.15 the correlation is positive, while for Figures 5.13a and 5.14a there is

a negative correlation with the task levels.

For Figure 5.12 the pairwise correlation between the EEG and the task level is presented for

participant 4, which yielded a CC = 0.79, indicating a strong correlation. In Figure 5.12b the

correlation between the task level and scan pattern entropy is seen for participant 2, where

176 Chapter 5. Experimental Activity 2

the CC was 0.85. In Figure 5.13a the correlation with blinks per minute is seen for participant

16,  here  the  correlation  was  CC  =  ‐0.75.  For  Figure  5.13b,  the  correlation  with  the  pupil

diameter is seen for participant 2, with a CC = 0.88. In Figure 5.14a, the negative correlation

with proportional dwell time is presented for participant 5, which gave a CC = ‐0.66. For

Figure 5.14b the correlation with heart rate is seen for participant 3, with a correlation of

CC = 0.61. Lastly, Figure 5.15 shows the correlation with controller inputs for participant 14,

with  a  CC  =  0.82.  These  correlation  results  showed  a  high‐level  correlation  between  the

(b)

(a)

respective feature and the task level.

Figure 5.12. (a) EEG measure for participant 4; (b) scan pattern entropy for participant 2.

(b)

(a)

Figure 5.13. (a) blinks per minute for participant 16; (b) pupil diameter for participant 2.

(b)

(a)

177 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Figure 5.14. (a) proportional dwell time for participant 5; (b) Heart rate for participant 3.

Figure 5.15. Control inputs for participant 14.

Table 5.4 presents all the pairwise correlations between the task level and the respective

features for all participants. The ones with the strongest correlation across all participants

was the correlation with the EEG, the complex scan pattern entropy and controller inputs.

Here the average across all participants was CC = 0.75, CC = 0.77 and CC = 0.82 respectively,

with none of the subjects having a noticeably lower correlation than the average. The results

with a moderate level correlation across all participants was the simple scan pattern entropy

(SPE2), blinks per minute, pupil diameter and dwell time, and showed an average correlation

of  CC  =  0.59,  CC=  ‐0.45,  CC  =  0.48  and  CC  =  ‐0.55  respectively.  For  pupil  diameter,  most

participants showed a positive correlation with the task level, however two of the subjects

showed  a  high  negative  correlation.  Taking  the  absolute  average  of  all  of  those  results

showed  that  the  average  correlation  was  0.60.  Moreover,  there  were  two  subjects  that

showed no or a low‐level correlation, further excluding these two subjects from the analysis

then gave an absolute average correlation of CC = 0.67.

Chapter 5. Experimental Activity 2 178

With all the moderate level correlations it could be seen that for a few participants there

were correlations that were noticeably lower than the majority. For SPE2 and proportional

dwell  time  there  were  a  few  instances  where  some  subjects  had  a  noticeably  lower

correlation then the majority. The results with a low‐level correlation included heart rate,

with an average correlation of CC = 0.31. For that measure there were a few subjects with a

moderate correlation, however most of the subjects had no correlation with the task level.

Taking the mean for the four subjects who had a moderate correlation showed CC = 0.56.

The correlation results with the tracking performance and the questionnaire could only be

correlated during the time that the tasks were being performed. This was the case as the

data  could  not  be  collected  during  the  resting  periods.  For  these  results,  the  tracking

performance  showed  a  moderate‐level  correlation  with  the  task  level,  while  the

questionnaire showed a high‐level correlation with the task level with CC = 0.44 and CC =

0.80 respectively.

To summarise, among the correlations performed during the whole task levels (including

resting),  there  were  three  correlations  across  all  subjects  that  showed  a  high‐level

correlation.  The  four  other  features  showed  a  moderate‐level  correlation  with  some

instances where the correlations would noticeably stand out from the majority. Lastly there

was  one  feature  with  a  low‐level  correlation  with  the  task  level.  From  investigating  the

correlations  from  each  individual  subject,  it  could  be  seen  that  each  participant  had  a

different combination of features that correlated strongest with the task level. To easier

visualise this, the highest values that showed a correlation level above 0.45 was highlighted

in  bold  (see  Table  5.4).  This  information  would  later  be  used  to  create  subject  specific

feature combinations that was implemented when calibrating the ANFIS models. Note that

SPE2 as well as the questionnaire and tracking measures was not included for this.

179 Multimodal Data Fusion for Cyber-Physical-Human Systems

Table 5.4. Correlation between the task level and all other features for all subjects (bold  indicates CC above 0.45).

180 Chapter 5. Experimental Activity 2

5.7.3. Correlations between all features

To  perform  a  further  analysis  of  the  correlation  between  all  the  different  features,  the

following  results  as  seen  in  Table  5.5  was  created.  Here  the  averages  across  all  the

participants  are  presented  with  all  pairwise  correlations.  The  correlation  between  the

features and the task level as presented above gave the highest correlation compared to the

rest.  As  the  ANFIS  model  was  calibrated  with  subject  specific  data,  the  absolute  average

from the pupil diameter was considered. Apart from this the second highest correlation was

the correlation with the controller input and the other features. Here the correlation across

all subjects showed that the results remained strong for correlations between EEG, SPE and

pupil  diameter,  but  the  correlation  dropped  to  a  low‐level  correlation  for  BPM  and

proportional dwell time. For the correlation between the EEG and all the other features, the

results remained strong, with a slight drop in the correlation but still demonstrated a high

and moderate correlation with the other features. Similarly, for SPE, the correlation with

the other features were a bit lower compared with the task level correlation. These results

demonstrated that the average correlation between the different features were similar with

a slight decrease in correlation between the EEG, the controller input and SPE, and all other

features as it remained at a moderate‐ to high‐level correlation.

CI

Table 5.5. Correlation between features averaged for each participant.   DIA

DWELL HR

SPE2

BPM

SPE

EEG

Track 2040

Quest. 2040

Task level

1

0.64

0.42

‐0.39

0.52

‐0.51

0.27

0.75

0.64

0.38

0.59

EEG

1

0.57

‐0.41

0.51

‐0.64

0.29

0.77

0.61

0.36

0.55

SPE

1

‐0.03

0.39

‐0.28

0.17

0.59

0.57

0.35

0.58

SPE2

1

‐0.21

0.38

0.18

-0.45

‐0.36

‐0.16

‐0.12

BPM

1

‐0.39

0.21

0.60

0.55

0.22

0.45

DIA

1

‐0.25

-0.55

‐0.37

‐0.17

‐0.33

DWELL

HR

1

0.31

0.24

0.10

0.11

Task level

1

0.82

0.44

0.80

CI

1

0.4

0.55

Track 2040

1

0.34

Quest. 2040

1

181 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

5.7.4. Results from calibrating and validating the ANFIS

This  section  includes  the  results  from  calibrating  and  validating  the  ANFIS  models.  This

included  training  the  ANFIS  models  with  a  number  of  feature  combinations,  in  order  to

analyse how each of the feature combinations performed. Henceforth, this result section is

divided  into  two  subsections,  where  the  first  subsection  describes  the  results  from

calibrating the ANFIS on the second half of the data and validating the ANFIS on the first half

of the data. This will show the capability of the ANFIS to perform real‐time inference of MWL

in future studies as this testing will include offline validation on unseen data. The following

subsection is then taking the best performing configurations from the previous subsection

and using these feature combinations to calibrate and validate the ANFIS on all the data.

This is presented as the models used for later real‐time inference will be implemented using

the models trained on all the data.

5.7.4.1. Calibrating and validating on separate halves of the data

Figure 5.16 presents the results from calibrating and validating the model on separate halves

of the data. Here the red line was the section of the data used for calibrating the ANFIS,

while the black line was the target value that the model used for calculating the error (same

as the data labels). The final blue line was then the inferred result at one second intervals,

given the feature inputs. When looking at the inferred values in Figure 5.16, the inferred

values during the pre‐resting phase was good, and the model was confidently inferring this

given the feature data during resting. For level 1, a spike in the inference of MWL was seen

at the commencement of the MATB scenario. Although it deviates from the target value

(thus penalising the error), the inference could in fact be a closer estimation of the perceived

MWL as the sudden start of the task level could spike the mental demand. However, after a

while the inferred result goes down and stabilises around the target value. In the following

level, there can be seen a similar spike at the beginning of the new level. The inference of

MWL then oscillated closely around the target value. For level 3, the inference was close to

the target value, with some instances of a lower inferences of MWL. Nonetheless, most of

the  time  the  model  was  consistently  inferring  a  high  mental  demand as  provided  by  the

feature data.

182 Chapter 5. Experimental Activity 2

Figure 5.16. Calibration and validation on separate halves of the data set. Results for participant 4 with  calibrating and validating on all seven features with nMAE = 6.54%.

The results from training the ANFIS on a number of feature combinations can be seen in

Table  5.6.  When  calibrating  on  all  seven  of  the  features,  the  nMAE  was  12.1  %  with  a

standard deviation of ± 3.2.  Apart from this, the other feature combinations that produced

a low error across all subject were firstly, the combination with the EEG, SPE and CI. Here

the nMAE averaged for all subject was 10.6 % ± 2.1, which was among the lowest across all

the feature combinations. The other similarly low feature combination was the combination

of EEG, SPE, CI and pupil diameter. Here the nMAE across all subjects was 10.1% ±2.2. Both

these  results  demonstrated  a  low  error  with  the  task  level  and  had  a  narrow  standard

deviation across all the subjects.

Other feature combinations that showed a good performance were models with an average

nMAE result of around 10‐12%. This generally included feature combinations with the EEG

measure and the CI, a combination of SPE and CI or a combination of EEG, SPE and CI. With

either one of these combinations plus some additional feature added to the combination.

The medium performing feature combinations included those in the range of 13‐16%, and

generally included the feature combinations with the EEG and the SPE with or without a

combination of other features. The exceptions from this were the poor performing feature

combinations in the 16‐18% average error range, that included the combinations of EEG,

183 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

SPE and BPM with or without some additional feature and no CI feature. Lastly for the two

feature combinations only, the best performing combinations included those with EEG and

CI  as  well  as  SPE  and  CI.  The  second‐best  performing  combinations  included  the

combinations  with  CI.  Apart  from  the  features  with  CI,  the  following  well  performing

combinations included the combination of the EEG and SPE, which gave an error across all

subjects  of  14.1%  ±  3.6.  Moderately  performing  feature  combinations  included  EEG  in

combination with either pupil diameter/ proportional dwell time/ HR as well as SPE and DIA,

which had an error ranging from 15‐18%. The lowest performing feature combinations for

two  features  included  the  ones  with  an  error  ranging  from  19‐23%,  with  the  poorest

performing combination being BPM and HR with an average error of 27.4% ± 6.7.

The results that only contained EEG and eye tracking measures in the feature, showed in

general  a  higher  average  error  across  all  subjects  then  those  combinations  that  also

contained CI. For this category, the feature combination with EEG, SPE and pupil diameter

had an average error of 13.0% ± 3.4. Following this was the EEG, SPE, pupil diameter and HR

combination with an average error of 13.5% ± 3.1. Close to this was the combination of EEG,

SPE and proportional dwell time as well as the combination of EEG and SPE with an average

of 14.1%. The standard deviations for both these cases showed a relatively moderate spread

of around ± 4. Other well performing feature combinations included all 6 features without

the CI, where the average error was 14.9% ± 4.3. Among the poorest performing feature

combinations without CI feature was the combination of the BPM and HR which had an error

of 27.4% ± 6.7.

184 Chapter 5. Experimental Activity 2

Table 5.6. All noteworthy feature combinations used to calibrate and validate the ANFIS  models.

Comb. (7) EEG  SPE  CI  DIA   BPM  Dwell  HR

nMAE (%) 12.1%  ± 3.2

EEG  SPE  CI  DIA   BPM  HR

EEG  SPE  CI  DIA   Dwell  HR

EEG  SPE  DIA   BPM  Dwell  HR

Comb. (6) EEG  SPE  CI  DIA   BPM  Dwell

11.5%  ± 2.4

11.8%  ± 3.5

14.9%  ± 4.3

nMAE (%) 12.2%  ± 2.6

EEG  SPE  CI  DIA   Dwell

EEG  SPE  CI  DIA   HR

EEG  SPE  DIA   BPM  Dwell

EEG  SPE  DIA   BPM  HR

EEG  SPE  DIA   Dwell  HR

SPE  CI  DIA   BPM  Dwell

SPE  CI  DIA   BPM  HR

SPE  CI  DIA   Dwell  HR

Comb. (5) EEG  SPE  CI  DIA   BPM

11.7%  ± 3.5

10.7%  ± 1.9

16.7%  ± 7.4

15.3%  ± 5.0

14.1%  ± 3.6

12.5%  ± 2.7

12.3%  ± 2.7

11.6%  ± 2.4

nMAE (%) 12.0%  ± 3.0

EEG  SPE  CI  BPM

EEG  SPE  CI  Dwell

EEG  SPE  CI  HR

EEG  SPE  DIA   BPM

EEG  SPE  DIA   Dwell

EEG  SPE  DIA   HR

SPE  CI  DIA  BPM

SPE  CI  DIA  Dwell

SPE  CI  DIA  HR

Comb. (4) EEG  SPE  CI  DIA

11.5%  ± 2.9

10.9%  ± 1.8

10.7%  ± 1.6

15.8%  ± 6.8

14.1%  ± 4.3

13.5%  ± 3.1

12.4%  ± 3.0

11.4%  ± 1.8

10.8%  ± 1.8

nMAE (%) 10.1%  ± 2.2

EEG  SPE  DIA

EEG  SPE  BPM

EEG  SPE  Dwell

EEG  SPE  HR

SPE  CI  DIA

SPE  CI  BPM

SPE  CI  Dwell

SPE  CI  HR

EEG  CI  DIA

EEG  CI  BPM

EEG  CI  Dwell

EEG  CI  HR

Comb. (3) EEG   SPE  CI

13.0%  ± 3.4

18.3%  ± 8.8

14.1%  ± 4.0

14.7%  ± 2.9

10.7%  ± 1.6

12.8%  ± 2.7

11.1%  ± 2.1

10.8%  ± 1.7

10.7%  ± 1.4

12.4%  ± 4.8

11.1%  ± 2.6

11.2%  ± 2.2

nMAE (%) 10.6%  ± 2.1

EEG  CI

EEG  BPM

EEG  DIA

EEG  Dwell

EEG  HR

SPE  CI

SPE  BPM

SPE  DIA

SPE  Dwell

SPE  HR

CI  BPM

CI  DIA

Comb. (2) EEG  SPE

10.6%  ± 2.0

19.9%  ± 6.6

16.5%  ± 4.8

18.4%  ± 5.3

18.4%  ± 3.6

10.4%  ± 1.6

19.7%  ± 7.1

15.1%  ± 4.6

16.4%  ± 4.7

17.8%  ± 4.4

12.4%  ± 2.6

11.2  ± 1.6

nMAE (%) 14.1%  ± 3.6

Dwell

Cl  HR

DIA  BPM

DIA  Dwell

DIA  HR

BPM  Dwell

BPM  HR

Dwell  HR

Comb. (2) CI

11.7%  ± 1.7

22.5%  ± 8.3

19.5%  ± 8.0

20.8%  ± 6.8

23.2%  ± 5.6

27.4%  ± 6.7

21.6%  ± 5.6

nMAE (%) 11.3%  ± 2.4

185 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

An analysis was also performed on feature combination that only contained eye features,

as shown in Table 5.7 below. The lowest error among these results included the combination

of SPE and pupil diameter, where the error across all subjects was 15.9% ± 4.4. The second‐

best performing feature combination were the one with all four of the features, which gave

an  average  error  of  16.9%  ±  5.0.  Closely  behind  this  were  the  combinations  SPE,  pupil

diameter, proportional dwell time and the combination of SPE and proportional dwell time,

with average errors of 17% and 17.5% respectively. The remaining feature combinations in

this comparison had an error between 19.3% and up‐to 23.4%.

Table 5.7. Only eye feature combinations used for training the ANFIS model.

SPE DIA

SPE BPM

SPE Dwell

DIA BPM

DIA Dwell

BPM Dwell

SPE DIA BPM

SPE DIA Dwell

nMAE (%)

15.9%  ± 4.4

20.0%  ± 6.1

17.5%  ± 6.1

23.4%  ± 7.8

19.6%  ± 8.7

22.6%  ± 5.4

19.3%  ± 7.2

17.0%  ± 5.1

SPE DIA BPM Dwell 16.9%  ± 5.0

Using  the  CC  results  presented  in  Table  5.4  above,  the  best  feature  combinations  with

between two and up‐to seven features were tested for each subject. This included using

feature combinations with CI in the combination and without CI in the combination. The

results from this can be seen in Table 5.8 and 5.9 respectively.  For a comprehensive table

ranking all the feature combinations for the specific subject (from two to seven ‐ with and

without CI), see Appendix A.

When selecting the lowest error among the subject specific feature combination with CI, the

average was 9.2% ± 1.8 (see Table 5.8). This was the lowest average error among all the

feature combinations tested here and above in the generic combinations seen in Table 5.6.

The number of features in the combination ranged from containing two of the best features

and up‐to all seven of the features. The lowest error was seen for participant six, where

using  the  three  best  subject  specific  features  in  the  combination  for  calibrating  and

validating the ANFIS gave a result of nMAE = 5.9%.

186 Chapter 5. Experimental Activity 2

Table 5.8. Results for all participants with best feature combinations and all seven  features, with control inputs in the combination (comb.).

Best 2 comb.

Best 3 comb.

Best 4 comb.

Best 5 comb.

Best 6 comb.

All 7 comb.

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. Avg

11.07  9.48  10.54  9.67  11.11  5.91 11.20  11.83  9.60 8.16 12.38  11.61  10.45 9.27 12.03  10.75  9.61 10.3 ± 1.6

9.95 7.99  11.61  10.20  9.98  11.06  10.30 8.51 10.37  10.63  12.16  13.44  11.16  10.99  11.50  11.86  9.83  10.7 ± 1.3

11.06  6.41 9.97  9.90  6.53 10.94  16.21  8.67  13.52  10.01  15.21  16.34  10.59   11.55  11.48 11.25  9.75  11.1 ± 2.9

13.80  7.06  9.15 10.59  8.86  9.99  n/a  9.44  13.41  10.11  11.95 17.28  n/a  12.22  18.95  10.27 9.94  11.5 ± 3.2

n/a  n/a  11.43  n/a  9.81  n/a  n/a  10.04  n/a  9.72  15.40  10.89 n/a  n/a  17.14  11.17  10.24  11.8 ± 2.7

Lowest error nMAE (%) 10.1  6.4  9.2  8.3  6.5  5.9  10.3  8.5  9.6  8.2  12.0  10.9  10.5  9.3  11.5  10.3  9.61  9.2 ± 1.8

10.5  8.2  9.4 8.3 8.7  10.3  15.2  11.8  15.7  11.7  14.6  11.5  14.7  10.8  20.2  12.7  10.8  12.1 % ± 3.2

For the subject specific feature combinations that did not include CI, the same procedure

took place as before when including CI. This involved selecting the lowest error from any of

the subject specific feature combinations. The average across all participants gave nMAE =

12.1%  ±  3.0.  This  was  a  few  percent  higher  than  the  previously  comparable  scenario

(including CI), and with a slightly higher standard deviation indicating a larger spread. This

was reflected when looking at the individual lowest error where the lowest was 6.87% and

the highest was 17.81%. The number of feature combinations ranged from the two best

features and up‐to all six features.

187 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Table 5.9. Best feature combination without control inputs.

Best 2 comb.

Best 3 comb.

Best 4 comb.

Best 5 comb.

All 6 comb.

Lowest error

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

nMAE(%)

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. Avg

12.63  9.49  14.11  10.63  7.65 14.08  13.38 10.26  17.22  14.99  20.06  17.67  12.28  18.46  16.62  16.91  10.05 13.9 % ± 3.6

12.54 8.59  10.26 10.46 8.09  13.69  44.09  9.54 14.40 12.61  20.10  11.30  10.96 17.81 15.14 17.26  10.06  12.7 % ± 3.5

17.90  7.81  12.32  11.34  8.42  14.24  n/a  10.61  20.09  12.73  19.79  14.01  n/a  18.32  20.39  15.98  10.75  14.3 % ± 4.2

n/a  6.87 12.83  n/a  9.11  n/a  n/a  12.46  n/a  13.89  17.52 11.04 n/a  n/a  22.44  13.92  12.25  13.2 % ± 4.3

16.4  10.1  13.8  11.1  8.1  11.5 20.6  10.5  16.6  12.3 18.6  13.6  18.2  24.0  20.2  13.5 14.0  14.9 % ± 4.3

12.54  6.87  10.26  10.46  8.09  11.5  13.38  9.65  14.40  12.3  17.52  11.04  10.96  17.81  15.14  13.5  10.05  12.1 % ± 3.0

5.7.4.2. Selecting ANFIS models for online validation

Based on the results from the previous section, where generic feature combinations and

subject specific feature combinations were selected, the following section is a summary of

11 ANFIS models selected as candidates for future online validation. The selection criteria

were based on the previous analysis and were as follows: (1) the selection of ANFIS models

that showed the lowest error from the generic feature combinations (see Table 5.6); (2) the

selection of ANFIS models with all features in the combination (with and without CI); (3) the

selection of the ANFIS models with subject specific feature combinations (with and without

CI); (4) the selection of ANFIS models with eye activity features and the CI feature; (5) and

lastly the selection of an ANFIS with only eye activity features.

From the comparison in the previous sections and the listed selection criteria, the ANFIS

models of interest as candidates for online validation are shown in Table 5.10. Here ANFIS

models 1‐9 contained the ANFIS models from the generic feature combinations, while ANFIS

models  10  and  11  were  the  best  subject  specific  feature  combinations  selected  for  each

participant.  From  this,  ANFIS  1,  2,  6  and  7  were  models  with  results  where  the  generic

188 Chapter 5. Experimental Activity 2

feature combinations had the lowest error. ANFIS models 8 and 9 were the ones with all

features  included  with  or  without  control  inputs.  ANFIS  5  was  the  model  with  only  eye

features, while ANFIS models 1‐4 were the ones with eye and control input features. While

customised  ANFIS  models  10‐11  were  the  models  with  a  subject  specific  feature

combination.

As outlined in Section 3.3.6, the outputs from the ANFIS models 1‐11 (validated on first half)

were tested for normality using the Kolmogorov‐Smirnov test. All the outputs successfully

passed the test as detailed in Appendix C, Table C.1.

Table 5.10. Final ANFIS models based on generic combinations and subject specific  combinations.

ANFIS no.

Comment

Combination

Avg.  nMAE (%)

Avg.  MAE

Eye and CI option 1

SPE, CI, DIA

ANFIS 1

0.32  ± 0.05

10.7%  ± 1.6

Eye and CI option 2

SPE, CI

ANFIS 2

0.31  ± 0.05

10.4%  ± 1.6

Eye and CI option 3

SPE, DIA, BPM, Dwell, CI

ANFIS 3

0.38  ± 0.08

12.5%  ± 2.7

Eye and CI option 4

SPE, CI, DIA, Dwell

ANFIS 4

0.34  ± 0.05

11.4%  ± 1.8

Only eye features

SPE, DIA, BPM, Dwell

ANFIS 5

0.51  ± 0.15

16.9%  ± 5.0

Best generic 1 (with EEG)

EEG, SPE, CI, DIA

ANFIS 6

0.30  ± 0.07

10.1%  ± 2.2

Best generic 2 (with EEG)

EEG, SPE, CI

ANFIS 7

0.32  ± 0.06

10.6%  ± 2.1

All 7

ANFIS 8

0.36  ± 0.10

12.1%  ± 3.2

EEG, SPE, CI, DIA, BPM,  Dwell, HR

All 6 (no CI)

ANFIS 9

0.45  ± 0.13

14.9%  ± 4.3

EEG, SPE, DIA, BPM,  Dwell, HR

Lowest error without CI

See Appendix A

Custom ANFIS 10

0.36  ± 0.09

12.1%  ± 3.0

Lowest error with CI

See Appendix A

Custom ANFIS 11

0.28  ± 0.05

9.2%  ±1.8

189 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

5.7.4.3. Calibrating and validating the ANFIS models on all the data

Results from calibrating the ANFIS on all the data and validating the model on all the data

are presented as the future online validation of the cross‐session inference model will be

using this model. The figure below shows one of the strongest results from calibrating and

validating the ANFIS and was the result from participant four with a nMAE = 5.71%. As in the

previous figures, the blue line was the inferred result from the model that implemented all

the seven features, and correspondingly validated using all the seven features. The black

line  indicated  the  target  value  which  was  the  task  level.  In  the  figure  the  inferred  result

closely matches the target value in the resting periods at both the beginning and end of the

scenario. For level 1, the inference was a bit more variable in the first phase, while in level

1 in the second phase the inference was closer to the target value. For level 2, the inferred

result in both phases somewhat fluctuates around the target value but was still relatively

centred around the target value. In the inferred value for level 3, the inferred value of MWL

was closely centred around the target value with some instances of being lower.

Figure 5.17. Results after calibrating and validating the ANFIS model for participant four using all seven  features, with nMAE = 5.71 %.

The average result across all participants, from calibrating and validating the various ANFIS

models on all the data, is presented in Table 5.11. Similar to Table 5.10, the lowest errors

190 Chapter 5. Experimental Activity 2

were for ANFIS models 1,2 6 and 7, however as the model was tested on all the data the

error was as expected somewhat lower and was seen to be about a percentage point lower

than previously. Similarly, the other ANFIS models have a somewhat lower error, but the

ranking  or  order  of  the  performance  of  the  models  was  the  same  as  in  Table  5.10.  The

models calibrated on a subject specific feature combination perform better than the generic

models,  with  the  same  order  but  a  1‐3  percentage  decrease  in  error  across  all  subjects.

These results will serve as a comparison for later online validation.

Table 5.11.  Calibrate and validate on all data with the feature combinations of interest.

ANFIS no.

Average nMAE (%) Average MAE

ANFIS 1

9.4% ±1.8

0.28 ±0.05

ANFIS 2

9.4% ±1.7

0.28 ±0.05

ANFIS 3

11.3% ±3.3

0.33 ±0.10

ANFIS 4

10.3% ±2.4

0.31 ±0.07

ANFIS 5

14.9% ±5.3

0.45 ±0.16

ANFIS 6

9.3% ±2.4

0.28 ±0.07

ANFIS 7

9.3% ±3.1

0.28 ±0.09

ANFIS 8

11.0% ±3.7

0.33 ±0.11

ANFIS 9

13.3% ±4.5

0.40 ±0.14

Custom ANFIS 10

10.3% ±1.9

0.31 ±0.06

Custom ANFIS 11

7.4% ±1.2

0.22 ±0.04

Discussion

While  Experimental  Activity  1  investigated  the  correlation  of  a  few  different  features  in

response  to  a  complex  OTM  task  load,  this  study  (Experimental  Activity  2)  used  a  more

controllable task scenario, namely MATB, to repeatably and controllably change the task

load. This experimental activity has expanded on the number and type of features extracted,

and rigorously tested multiple feature combinations for offline calibration and validation of

a multimodal ANFIS model.

191 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

5.8.1. Discussion of results

5.8.1.1. Discussion of the EEG models results

The offline calibration and validation of the EEG model was an initial step required to create

a supervised ML model that was calibrated prior to fusing all the features with the ANFIS.

The other features such as the ones derived from the eye and cardiac features were less

cumbersome as they only had a fixed mathematical representation of the features. The EEG

model, being a combination of supervised ML models, thus created a dynamic mathematical

representation specific to each individual subject. To demonstrate the efficacy of the EEG

model, it was calibrated on the first half of the data and validated on the second half. This

is  vital  for  supervised  ML  models  to  avoid  overfitting.  In  addition,  EEG  models  and  ML

models alike are prone to the “curse of dimensionality”, as such the models implemented

in this study ensure that the feature extraction reduces the dimensionality of the features

[5]. This was achieved using a three second epoch, a FBSPoC and a ridge regression model

as detailed in section 5.6. For the ridge regression model, a negative MAE was used as the

scoring metric, which was preferred over a negative RMSE as it penalises errors more than

MAE. This was an important consideration as the ground truth was not known, thus making

the MAE more suited as the scoring metric.

Figure 5.12 showed the results from one subject and was one of the better outputs from the

EEG model designed in this experimental activity. This result was from validating the model

using the second half of the data and showed a relatively close fit with the target value,

although the scale on the y‐axis was not as prominent. The compressed scale could also be

seen for a few of the other cases, nonetheless the profile of the inferred MWL from the EEG

model was present. As the scale was a bit compressed, the result would give a larger error

compared to the five‐fold validation during the calibration of the first half. This was also

reflected in the numbers where the average MAE for all subjects for the five‐fold validation

on the first half was 0.47 ±0.09, while the MAE on the unseen validation data on the second

half  was  0.81  ±0.38.  The  high  standard  deviation  also  indicated  that  there  were

discrepancies in the performance of the model across the subjects. For quite a few subjects

the model performed well with a MAE ranging from 0.50 to 0.80. However, there were a

few subjects, such as subjects 8 and 12, that showed a MAE of 2.1 and 1.20 respectively.

192 Chapter 5. Experimental Activity 2

The  results  for  these  subjects  thus  indicated  that  the  model  did  not  work  well.  The

discrepancy for these subjects was not investigated further, although some reasons could

include  poor  data  collecting  during  the  second  half  due  to  poor  electrode  connection.

Alternatively, the subject might have had a different MWL in the second half compared to

the  first  half  making  it  difficult  for  the  model  to  identify  the  pattern.  Lastly,  the  limit  in

training data may be a factor as the model was trained on the first 20 minutes (first half).

Nonetheless, excluding these two poor performing results would give an average of 0.69

±0.14, which was notably improved from the average result across all the participants.

Those result gave confidence that the efficacy of the EEG model functioned as intended,

although  somewhat  reduced  in  performance,  as  compared  to  the  five‐fold  validation.

Nonetheless, this should be expected as the second half was the validation data that was

previously unseen to the model. However, the lower performance was also reflected in the

five‐fold validation from calibrating the model on all the data. It would be expected that

these results would be on par with the five‐fold validation on the first half only. However,

this result showed an average MAE of 0.60 ± 0.10, which was still good but was unexpectedly

higher. This could indicate that, as the subject was exposed to the tasks twice (where in the

second phase they repeat the tasks), it made it difficult for the model to recognise a similar

pattern accurately in the second round.

Once the efficacy of the model was shown, by validating on the second half of the unseen

data, the calibration of the EEG model using all the data was performed. This was conducted

as a full vector length was required for training the ANFIS model in the following multimodal

fusion model. These subject specific models showed good results. As seen in Figure 5.11, for

subject six, the inferred MWL closely followed the pre‐determined task level. It can be noted

however,  that  training  the  ANFIS  model  using  this  result  could  give  some  bias,  as  the

calibration used all the data from the EEG models output for calibrating the ANFIS model.

This  was  however  necessary  to  provide  the  ANFIS  model  with  the  highest  amount  of

calibration data. In addition, the efficacy of the model was proven in the first part with the

calibration and validation of the model on separate halves of the data. Moreover, the results

are not too different between the five‐fold validation on all the data and the validation on

the second half of the data.

193 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

5.8.1.2. Discussion of the pairwise correlation analysis

Before  proceeding  with  the  calibration  of  the  ANFIS  model,  a  thorough  analysis  was

conducted  to  assess  the  features’  individual  performance.  As  demonstrated  in  the result

section, this was done by using the pairwise correlation between the pre‐determined task

level  and  the  various  features.  The  results  were  moreover  presented  for  the  individual

subject  and  averaged  across  all  subjects.  To  qualify  for  further  inclusion  in  the  subject

specific feature combination, a correlation of 0.45 was set, as it indicated a moderate‐level

correlation.  The  results  showed  that  the  EEG,  SPE  and  CI  all  had  a  high‐level  correlation

across  all  subjects.  This  indicated  that  these  measures  were  well  suited  for  further  data

fusion  using  the  ANFIS.  Some  of  the  other  measures  such  as  BPM,  pupil  diameter  and

proportional dwell time, showed a moderate level correlation across all subjects. However,

there were notable variations in the correlation results as some individual subjects would

demonstrate  a  high‐level  correlation  while  others  had  a  noticeably  lower  correlation.  As

such, it was interpreted that there was a further need for creating a subject specific set of

features for calibrating the inference models, where the fusion of different features were

customised based on the features that each subject was sensitive to.

Among  all  the  features,  HR  was  the  only  physiological  feature  that  showed  a  poor

correlation  with  the  task  level  across  all  subjects.  The  results  did  show  a  moderate‐level

correlation for 4 subjects, however most of the subjects showed poor or no correlation. This

indicated that the use of HR as a measure of MWL is not a very good option as a result of a

poor average correlation result. Although some studies have shown that HR is sensitive to

changes in MWL [6‐10], there have been variability in reported results where other studies

have not found a correlation with MWL [11].

As  for  the  eye  activity  measures,  a  second  version  of  the  scan  pattern  entropy  was  also

included  in  this  analysis  and  involved  using  the  simple  ROI  configuration  as  described  in

Section 5.6.3. The CC results from this showed a decreased performance compared to the

complex  SPE,  with  the  simple  SPE2  showing  a  CC  =  0.59.  This  was  as  expected  as  the

decreased  ROI  reduces  the  granularity  and  thus  fails  to  capture  the  complexity  of  the

subject’s scan pattern. This measure was henceforth not included for any further analysis,

and only the complex SPE was used. One notable discrepancy among the individual features

194 Chapter 5. Experimental Activity 2

was pupil diameter, where two subjects showed a negative correlation with the task level.

Based on the literature it has been recorded that the pupil diameter should have a positive

correlation with increased MWL [12‐14]. However, the pupillary response is proven to be

affected by illumination [15]. The experiment was performed in a room with thick blinds

that could block out most natural daylight. However, for these two subjects the experiment

might have been conducted at a particular part of the day where the sides of the blinds let

in unusual amount of light, thus potentially affecting the results.

The analysis was further expanded on to include the correlation between all the features.

This was done as all the measures are fundamentally meant to measure the same thing (i.e.

changes in MWL), as such the correlations between the different features should remain

strong.  The  correlation  between  the  task  level  and  all  the  other  features  did  remain  the

highest compared to the other results. However, for the other correlation results, it was

demonstrated that the correlation did remain high between the features that previously did

show high correlation with the task level (i.e. pairwise correlation between EEG and pupil

diameter).

5.8.1.3. Discussion of the ANFIS models results

The efficacy of the ANFIS models were demonstrated similarly to the EEG model by using

one half as the calibration data and the other half as the validation data. The results were

further presented in two sections. The first section was a comparison of the performance of

the different generic feature combinations, with combinations ranging from two features

up to using all seven features for training the ANFIS. The second section included an analysis

of the ANFIS models when using the best performing subject specific feature combination

for each individual subject.

Discussion of results from using generic feature combinations

For  the  first  part  of  the  analysis,  the  use  of  a  generic  number  of  feature  combinations

showed that the feature combination with the strongest performance were the ones with

results ranging between 10‐12%. This was a result of two or more features that had a strong

CC with the task index, and included e.g. the EEG, SPE and CI. This could also be seen on the

other end of the results where the combination of BPM and HR had the lowest average error

195 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

and  correspondingly  had  among  the  lowest  CC  with  the  task  level.  As  such  it  could  be

interpreted that the ANFIS performs well or bad in line with the CC results. This is a result of

the transparent nature of the FIS, where the fuzzy sets and their corresponding membership

functions are distinctly separated in groups.

Many of the eye features had good correlation with the task level, as such an analysis was

conducted  using  feature  combinations  that  only  contained  eye  features.  These  results

similarly  showed  that  the  feature  combination  with  the  features  that  had  a  strong

correlation with the task level showed a better performance, with the best one being scan

pattern  entropy  and  pupil  diameter.  Nonetheless,  the  second‐best  result  was  from  the

feature combinations with all four of the features in the combination.

Discussion of results from using subject specific feature combinations

In  terms  of  the  second  part  of  this  analysis,  a  subject  specific  feature  combination  was

assessed based on the best features for each subject as indicated by the CC results in Table

5.4 (applicable features highlighted in bold). This included using only features derived from

the EEG, ECG and eye tracker and a separate category that also included the CI. This was

done separately since CI (although it showed to be highly correlated with the task load), can

be more vulnerable to tampering with the output by deliberately misleading the model with

irrelevant control inputs. As such it was chosen to include one analysis with and one without

CI in the feature combination.

For  this  analysis,  it  was  assumed  that  for  a  sensing  and  estimation  modules,  the  chosen

feature combination used for the inference of MWL should be a result of the features that

were most sensitive to changes in MWL for that specific subject. This should then provide

the most accurate and repeatable inference of MWL for driving real‐time adaptation in an

operational CHMS. In addition, if a sensor measurement, or feature extraction, is lost due

to  some  unforeseen  event,  it  would  be  beneficial  for  the  system  to  know  what  feature

combination would provide the second‐best accuracy in terms of MWL inference.

The analysis from the subject specific feature combination with control inputs showed that

the best performing feature combinations gave an average nMAE of 9.2% ±1.8. This was the

lowest  average  error  across  all  the  various  feature  combinations  tested,  including  the

196 Chapter 5. Experimental Activity 2

generic and subject specific. Nonetheless, included in some of these feature combinations

were combinations with only 2 or 3 features. Having many features as inputs in the fusion

is preferable as this can increase the reliability. Thus, although a low average error was good,

the average error with all seven features in the combination was arguably close as the nMAE

was 12.1% ± 3.2. Hence using all the features, both the ones contributing to the accuracy of

the inference and the ones that are not as crucial, was not detrimental for the ANFIS model.

This could de deduced as the features that do contribute to the inference of MWL are not

affected too much by the other non‐contributing features.

When looking at the subject specific feature combinations without CI included, the average

error  was  a  bit  higher  than  the  other  one.  Nonetheless,  the  average  from  the  feature

combination  with  the  lowest  errors  showed  to  be  better  than  the  generic  feature

combination in Table 5.6, that similarly did not include CI. This then showed that a subject

specific feature combination (used for training an ANFIS) would produce a lower error across

all the subjects as compared to implementing a generic feature combinations.

Discussion of offline validation of ANFIS models 1‐11

As work in Chapter 6 would include an online validation of the various models developed

and tested in this experimental activity, a collection of the most suitable inference models

was selected (see Table 5.10). For future comparison a number was given to the feature

combination and all the average errors were shown. For additional reference the average

error across all subjects was presented from calibrating on all the data and validating on all

the  data.  As  expected,  this  demonstrated  a  lower  error  for  all  the  feature  combinations

chosen, with a 1% to 3% lower error compared to the models calibrated and validated on

each halves of the data.

Discussion of the target value and error calculation

Looking at the inferred MWL result in Figure 5.16 or 5.17, it was seen that the final inference

of MWL closely matched the pre‐determined task level used for this experimental activity.

Although the inferred value was closely centred around the target value, it should be noted

that the target value (e.g. task level) used for calibration and validation was not a ground

truth  for  the  actual  level  of  MWL  that  the  participant  experiences.  However,  it  was  an

assumed level of MWL that the subject would experience based on a pre‐determined task

197 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

analysis. Therefore, many of the instances where the inferred result moves away from the

target value can be interpreted as the inference engine accurately estimating the MWL of

the  subject.  For  instance,  looking  at  Figure  5.16,  there  was  a  noticeable  spike  at  the

beginning  of  level  one  and  similarly  at  the  beginning  of  level  two.  However,  this  could

potentially be a truer reflection of the MWL perceived by the subject. Even though the task

was not highly demanding, the fact that the subject was suddenly presented with a new task

(that the subject needed to familiarise itself with) may have induced this increase in MWL.

Henceforth,  these  fluctuations  from  the  target  value  were  not  reflected  in  the  error

calculation as a ground truth of the MWL was not fully known. As such the error calculation

may result in a misleading characterisation of the accuracy of the inferred MWL, where for

example an inferred MWL that deviates a lot from the target value may in fact be the MWL

that the subject experiences while performing the task. Nonetheless, since the target value

assumed it to be lower, the error calculation will naturally come out with a larger error. In

addition, it can be a preferable result that the model does not perfectly fit the task level.

This can be deduced as a rough estimate of the target value for calibrating the model may

be sufficient in producing a model that can later accurately predict the perceived MWL of

an operator.

This was also a reason for choosing the MAE and nMAE for the error calculation over the

alterative RMSE (See Eq. 3.4). Whereas the MAE takes the average of the absolute error,

RMSE squares the error. This means that large errors are penalised harsher with the RMSE

than with MAE. As the ground truth is not necessarily known it would arguably be preferable

to use MAE is it penalises deviations from the task level less. In addition, the use of nMAE

was used as it provided a more intuitive way of assessing the model’s performance. The use

of  ANOVA  test  was  also  not  considered  for  this  experimental  activity  as  this  statistical

analysis would require averaging the data over the respective phases. This would not give

an ideal assessment of the results as a sensing and estimation module for a CHMS requires

continuous real‐time processing.

198 Chapter 5. Experimental Activity 2

5.8.2. Discussion of contribution

The main aim of this research was the development of an accurate and repeatable inference

model  as  needed  for  sensing  and  estimation  of  MWL  in  a  CHMS.  Hence,  Experimental

Activity  2  included  the  development  and  rigorous  experimental  testing  of  the  offline

performance  of  multiple  inference  models.  This  chapter  has  demonstrated  results  from

multimodal data fusion to create an accurate and reliable inference of MWL. For example,

looking at the inference results from the EEG model alone compared to the inferred MWL

from  fusing  the  multimodal  data  showed  that  the  offline  validation  results  were  notably

improved.  This  demonstrated  the  importance  of  improving  the  accuracy  with  multiple

sensors  in  a  data  fusion  scheme,  while  at  the  same  time  allowing  for  the  system  to  be

naturally  robust  if  any  modality  fails  in  the  system.  While  the  term  offline  validation  is

adopted in this thesis, the term is used to convey that the model is tested with “unseen”

data in offline processing. Hence, this experimental activity is an exploratory study into the

development of a multimodal inference model of MWL.

This study also identified features that had a good correlation with the task level, with the

EEG measure, SPE and CI showing a high‐level correlation with the task level. Additionally,

BPM, pupil diameter and proportional dwell time also showed a moderate level correlation

with the task level. The sensitivity of these features to changes in MWL was consistent with

previous studies. For the eye activity features this included the negative correlation with

BPM  [14,  16,  17],  positive  correlation  with  pupil  diameter  [12‐14],  correlation  with

proportional dwell time [18] and positive correlation with scan pattern entropy [19]. The

scan pattern entropy was also shown to be consistent with Experimental Activity 1 (Chapter

4). Although the ROIs were defined differently for this task scenario, the measure showed

to be highly sensitive to MWL for both task scenarios. As for the sensitivity with the CI, this

experimental activity showed a strong correlation with the task level, whereas the similar

control input measure implemented in Chapter 4 showed a poor correlation with the task

performance measure. Similarly, a study presented by Kartali et al. implemented a similar

control input measure and did not find a correlation with the variation in task load [20]. The

strong correlation was a positive outcome although the result from the CI was expected as

the  MATB  task  scenario  was  highly  dependent  on  more  control  inputs  as  the  task  level

199 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

increases. As for the EEG model, the SPoC framework, first proposed by Dähne et al [21],

has  previously  shown  to  be  effective  in  classifying  MWL  between  high  and  low  MWL

conditions [22]. Similarly, this experimental activity showed that the use of a SPoC method

in  combination  with  a  sparse  regression  model  (ridge  regression),  which  showed  to  be

effective in inferring MWL using offline validation data.

In  terms  of the  ANFIS  and  its  ability  to  fuse  the  multimodal  data,  the  rigorous  testing  of

multiple  feature  combinations  highlighted  several  high  performing  models.  The  feature

combinations  that  showed  a  good  result  primarily  included  the  features  that  correlated

strongly with the task level, as indicated using the pairwise correlation prior to calibrating

the ANFIS model. However, using all seven of the features in the combination showed that

the results remained strong and the features that did not provide a good correlation prior

to calibrating the model did not seem to disrupt the model’s performance too much.

The use of an ANFIS for MWL inference has been demonstrated in a few previous studies [4,

23‐25]. In the following studies by Zhang et al. [23, 25], the use of EEG and cardiac features

were implemented during a simulated cabin air management system, where the calibration

and validation were conducted offline. Optimisation of the FIS parameters were achieved

by testing both a GA based Mamdani fuzzy model and an ANFIS model. Among other, this

experimental  activity  differs  from  that  study  as  the  feature  combination  used  were

different. The studies by Zhang et al. used an EEG measure that was determined using an

approach more similar to the one outlined in Chapter 4, while the other features included

using  HR  and  HRV.  In  addition,  the  intervals  used  were  quite  long  as  samples  were

performed every 7.5 minutes, as compared to this activity were samples were recorded at

every second (apart from the EEG which was taken every 3 seconds). The study by Zhang et

al. did also not present an analysis of the performance of each individual feature, but rather

only analysed performance from calibrating and validating the models. In addition, while a

GA‐based Mamdani fuzzy model showed promising results in that study, the ANFIS model

did not perform well on the unseen validation data. The study did however discuss the need

for  implementing  different  models  for  different  subjects,  elements  of  this  have  been

demonstrated  in  this  experimental  activity  with  testing  of  a  subject  specific  feature

combination.

200 Chapter 5. Experimental Activity 2

Similarly, in the study by Wang et al. [4], the work as presented by Zhang et al. was expanded

on by implementing a DE and DECAS, as a way to optimise the ANFIS parameters. The same

features were extracted although a shorter sampling interval of 2 minutes was used. That

study also presented results that showed that the regular ANFIS performed poorly on the

unseen  validation  data.  Nonetheless,  the  DE‐ANFIS  and  the  DEACS‐ANFIS  showed  good

performance on the unseen validation data. The lack in the ANFIS models ability to infer the

MWL could be a result of the lack in training data as the sampling interval was relatively

long.

In another study conducted by Lim et al. [24], an ANFIS model was also implemented and

calibrated on data from cardiac features (HR and HRV), eye activity features (BPM and a scan

pattern entropy feature) and features from an fNIR (oxygenation and blood volume). The

features and target values were in that study normalised between 0 and 1 before calibrating

the  model  (whereas  in  this  chapter  the  original  values  from  the  features  were  used).

Following this an initial offline calibration and validation was performed on all the data that

showed a low error. A following online validation showed that the resulting inference had a

poor level correlation with the target value, and a relatively high RMSE, which could seem

too have been a result of overfitting during the offline calibration stage as the error was low.

The study by Azadeh et al. [26] also implemented an ANFIS as well as an ANN to assess the

performance  of  the  respective  models.  Nonetheless,  the  collected  data  used  was  purely

subjective questionnaires and is henceforth not quite comparable.

The  experimental  activity  conducted in  this  chapter  thus  differentiates  on  the

aforementioned by implementing a different set of feature combinations, rigorously testing

the individual features, implementing a higher amount of calibration and validation data (as

particularly compared too [4, 25]) and testing multiple features combinations for the ANFIS

model. This experimental activity also showed the ANFIS model’s ability to accurately infer

MWL based on unseen offline validation data.

The  testing  of  different  features  combination  and  using  different  ANN  and  other  ML

techniques was  presented  in  a  study  by  Ding  et  al.  [27].  As  outlined  in  the  article,  many

studies do not examine to what extent a feature combination can improve the performance.

The results from that study did however demonstrate that the best performing model was

201 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

an ANN that used all the features in the combination. Nonetheless, this activity similarly

assessed multiple features with the testing of multiple feature combinations. This work also

expanded on this by implementing a subject specific features combination based on the best

performing features and used an ANFIS model for inferring MWL.

5.8.2.1. Discussion of limitations and future research

Derived from this experimental activity, some limitations have been identified and other key

areas have thus been outlined for future research.

Task independent features and cross‐task inference of MWL

Similarly, to what was raised in the discussion of Chapter 4, many of the features extracted

are task dependent. However, having task independent features is important for creating

inference models capable of cross‐task or at the minimum maintain performance in cross‐

level inference. For example, scan pattern entropy had to be re‐customised with new ROI to

then calculate this feature during the MATB scenario. Furthermore, the CI and proportional

dwell time are two additional measures that are highly dependent on the MATB task. They

could potentially be re‐applied to another task, such in the case for the scan pattern entropy,

however an analysis of the task would have to be assessed to see if it’s appropriate to use

these  features  given  the  HMI  and  control  inputs  required.  Nevertheless,  compared  to

Chapter  4,  this  experimental  activity  implemented  additional  features  that  can  be

considered task independent. This included BPM, pupil diameter, HR and arguably the EEG.

BPM, HR and pupil diameter are all measures that naturally do not rely on a task in order to

be  measured.  This  makes  them  more  capable  of  potentially  measuring  changes  in  MWL

when new tasks are introduced (cross‐task) or similar tasks with different difficulty (cross‐

level),  thus  making  them  more  applicable  for  cross‐task  and/or  cross‐level  inference.

However, such in the case for HR, the measure showed not to be correlated with the task

level for most of the participants. This also illustrates how a measure, either task‐dependent

or ‐independent, can fail to achieve measurement of MWL across tasks as the physiological/

behavioural response of the human can be different from one task to the next.

However, the EEG models on the other hand is, as mentioned in Chapter 4, a good candidate

for  containing  features  that  are  sensitive  to  multiple  different  tasks.  In  particular,  the

202 Chapter 5. Experimental Activity 2

frequency bands theta and alpha have shown to be sensitive to changes in MWL in multiple

studies [28‐35]. The choice of including the beta band in the FBSPoC frequency banks was

determined since this band has been studied previously for MWL and other cognitive states

such  as  fatigue  [36,  37].    Nonetheless,  the  EEG  model  implemented  in  this  experimental

activity  learns  spatial  filters,  and  the  resulting  features  are  calibrated  with  a  sparse

regression model  that was  specific  to  the  subject. Although  the  filter banks  used  for  the

SPoC included ones associated with MWL such as theta, alpha and beta, the location of the

source and the power within the respective frequency band can be different between tasks,

and not only associated with low, medium and high MWL. As such, since the models learns

certain patterns that comodulate based on the target value, the location and power at which

the signal on the scalp of the brain occurs could in practice be different depending on the

type  of  task  being  performed.  For  example,  two  different  tasks  where  both  require  high

MWL would potentially result in different patterns. This would thus limit the capability of

these  models  for  cross‐task  and/or  cross‐level  inference  of  MWL.  This  however  was  not

analysed in detail due to the nature of the Neuropype software and the limit in scope for

this research project.

Target values and labelling

Other  aspects  for  future  research  include  applying  a  different  labelling  strategy.  This

includes  using  another  method  for  determining  the  target  value  that  the  supervised  ML

methods can use for calibrating the models. One of the greatest challenges with this area of

research  is  knowing  “ground  truths”  for  use  in  analysing  features  and  calibrating  the

supervised ML model. For this experimental activity it was chosen to use a pre‐determined

task analysis, based on an assessment of the difficulty associated with each task.  As outlined

in  Section  2.4.2,  a  definition  of  MWL  has  been  described  as  “the  relation  between  the

function relating the mental resources demanded by a task and those resources available to

be supplied by the human operator” [38]. This is further represented in Figure 3.1 (Chapter

3) where it is illustrated how the actual MWL experienced by the human subject is a function

of exogenous factors such as the task load presented to the human subject as well as the

human’s  endogenous  factors,  such  as  expertise  or  fatigue.  With  this  taken  into  to

consideration,  the  task  load  presented  to  the  human  subject  is  a  central  variable  in  the

experienced MWL of the human subject. Henceforth, although a given task load does not

203 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

directly reflect the MWL, it can be assumed as a close estimation of what the experienced

MWL will be. Moreover, considering that there is no “ground truth”, certain assumptions

will need to be made about the MWL used for the target values/ data labels.

Other studies have for example used skin conductance as the target value in calibrating the

SPoC models that are used for MWL estimation [22]. In terms of using the SPoC for the EEG

model,  future  work  should  investigate  the  application  of  other  target  values,  such  as  a

secondary  task  performance  measures  or  reserve  other  physiological/  behavioural

measures  when  calibrating  the  spatial  filters  and  regression  model.  This  is  especially

relevant for the respective EEG model as the model is calibrated to fit the modulation of a

target value [21], but would also apply for calibrating the ANFIS model or other multimodal

inference  models.  Nonetheless,  for  the  EEG  and  ANFIS  model,  the  results  in  this  study

showed a good performance by using the task level as the labels for calibrating the model.

Effect of task load on MWL and task performance

As illustrated in Figure 2.9 (Chapter 2), there is a conceptual relationship between task load,

task performance and MWL. This relationship illustrates that as the task load increases the

task  performance  can  decrease  as  a  result  of  mental  overload  of  the  human  operators.

Contrarily,  if  the  task  load  is  too  low  the  task  performance  can  also  decrease  as  a

consequence of mental underload (i.e. boredom). One of the main goals of the CHMS is too

maintain  optimal  task  performance  while  ensuring  that  the  human  operator  maintains

central in the operation of the system.

Included in the set of features for this experimental activity was a task performance measure

and was extracted based on the tracking error from the tracking task in the MATB program.

Correlating  with  the  pre‐determined  task  level  showed  that  the  tracking  error  had  a

moderate  level  correlation  across  all  subjects.  While  there  was  a  moderate  relationship

between the task level and the performance measure, there were certain limitations to the

analysis in this experimental activity. This included that the scope of this activity did not

allow  to  analyse  the  effect  of  excessive  task  load  on  the  task  performance  and

corresponding MWL. Future work should thus investigate how instances of excessive task

load effects task performance as well as MWL. This would include observing at what point

and/or  task  load  a  certain  subject’s  task  performance  decreases,  while  correspondingly

204 Chapter 5. Experimental Activity 2

observing  what  the  measured  MWL  was  at  that  point.  This  would  thus  assist  in

demonstrating the conceptual relationship between task load, task performance and MWL.

Studying these relationships can also assist in defining threshold values for a given subject,

which can be implemented for driving real‐time system adaptation in a CHMS.

Improving explainability

Other areas for future research include increasing the explainability of the ML models. In

terms  of  the  ANFIS  this  method  is  quite  transparent  in  the  way  FIS  works  and  how  it

calibrates the final model. For this experimental activity this could clearly be assessed with

the correlation between the respective feature and the task level prior to calibrating the

model,  where  the  features  with  a  high  correlation  with  the  task  level  would  yield  good

results when validating the ANFIS model. However, for the EEG model the explainability is

less  transparent.  In  terms  of  the  FBSPoC  (as  used  to  determine  the  spatial  filters),  pre‐

existing literature could help narrow the frequency bands used in the filter bank to theta,

alpha  and  beta  bands. Nonetheless,  a  method  such  as  FBSPoC  finds  spatial  filters  in  the

respective  band  followed  by  a  feature  selection  process  to  determine  the  final  most

appropriate spatial filters among all the ones produced. This means that there is a bit of

information  lost  when  these  final  spatial  filters  are  determined.  This  includes  not  being

provided with information about what weights are used in the spatial filters, thus not quite

knowing in what area of the scalp the model is weighted in its spatial filters and what level

of power is observed within a given band. Other studies have investigated this aspect with

plotting the spatial location of the source of the signal [22]. However, due to limit in the

scope of this project this could not be fully explored. This problem is also prevalent when

using  the  regression  models,  where  it  would  be  of  assistance  to  the  developer  to  more

accurately know what features are being emphasised in the calibration of the model.

This  type  of  information  could  be  especially  interesting  in  further  research  of  MWL

estimation, as it could allow a deeper understanding of what frequency bands and what

regions  are  in  fact  being  activated  during  a  certain  task  load.  Knowing  such  information

could  also  potentially  assist  in  determining  the  efficacy  of  the  model’s  performance,  as

having  such  detailed  information  could  allow  to  cross‐check  what  the  model  is  indeed

estimating and that this is in line with previous results in the MWL research area. These

205 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

issues are particularly prevalent when using a commercial software for the signal processing

such  as  NeuroPype.  Although  the  software  comes  with  some  powerful  signal  processing

techniques, there are some levels of flexibility lost in the aforementioned requirements for

further analysis and explainability of the results. Henceforth, future research should include

explainability  of  the  applied  ML  models  (for  the  inference  of  MWL),  with  more  detail  in

terms of the weights of the final model.

Moreover,  in  terms  of  the  sensing  and  estimation  module  of  an  operational  CHMS,

explainability would be of particular importance for the human operator to trust the system

and its decision, as it will inherently make decisions regarding the system adaptation. Future

research should thus investigate means of presenting explainability to the operator. This

includes  exploring  at  what  stages  of  a  mission  the  operator  should  be  prompted  with

information about why a decision was made regarding the inference of MWL. This area of

research should also investigate what forms of explainability, in terms of the inference of

cognitive  load  or  other  cognitive  states,  will  make  the  human  increase  its  trust  of  the

operation in a CHMS type system.

Combating artifacts

Additional limitations of this research include the lack of pre‐processing steps for artifact

removal  of  movement,  ocular  and  other  muscle  as  well  as  additional  external  artifacts.

Future  work  should  thus  include  investigating  how  the  pre‐processing  can  affect  the

accuracy of the model. Although this is a more prevalent issue for the EEG, this is also an

aspect that should be considered for any other sensor modalities and should be studied to

assess of how this changes the performance of the inference of MWL. Future research could

also analyse the effects of seamless transitions between the detection of a faulty sensor

measurement,  and  the  readjustment  to  a  new  model  that  does  not  include  that  faulty

measurement.

Additional modalities and cognitive states

Other  areas  of  research  that  should  be  investigated  are  further  implementations  of  new

modalities  of  physiological  and  behavioural  features  that  are  associated  with  MWL.  The

MATB application is well recognised in the literature and is very well suited for identifying

new measures of MWL. This could e.g. be implementing new non‐invasive methods for MWL

206 Chapter 5. Experimental Activity 2

estimation such as the use of facial expression analysis [39]. Other promising non‐invasive

methods (not included in this study) is the use of an fNIR, with the analysis of changes in

blood volume and oxygenation levels in the blood flow in the cortex [40, 41]. This is another

promising  method  that  has  the  potential  for  working  in  synergy  with  the  EEG  [42].

Interesting  areas  of  research  would  include  the  electrical  activity  of  the  brain  and  the

corresponding  hemodynamic  response  in  different  MWL  scenarios  [43].  fNIR’s  have  also

been noted to already show complementarities with the EEG, where it has been described

that the fNIR is more suited for detecting mental underload cases [44]. The position of the

electrodes of the EEG was also changed for this experimental activity in order to optimise

the distribution of the electrodes and also to accommodate for potentially implementing an

fNIR on the pre‐frontal area. This was also preferable as electrodes in the frontal position

are highly prone to blinking artifacts, whereas the fNIR is less prone to such artifacts, thus

making the two sensors highly compatible.

Looking a bit more ahead, some of the more aspirational work being done in the BCI area

would be the use of more invasive techniques such as the one proposed by Neuralink [45].

This is a company that proposes using an automated solution to surgically implant extremely

thin electrodes into the cortex of humans. The amount of electrodes is ten‐fold higher than

current  invasive  solutions.  This  type  of  method  would  thus  allow  for  accurately  placing

electrodes in the cortex thus overcoming some of the major issues of volume conduction,

which  is  of  significant  concern  for  current  EEG  recordings.  This  technology  is  initially

intended for trial in medical patients that can be provided with treatment for neurological

deceases  and/or  be  provided  with  powerful  BCI  solutions.  Nonetheless,  looking  forward,

this type of technology (although highly invasive) could be what is required in a sensing and

estimation module of a CHMS, for the level of accuracy needed in estimating the level of

MWL,  or  other  cognitive  states.  Nonetheless,  it  is  worth  noting  that  this  can  have  some

ethical implications that would need to be addressed.

Lastly, additional future research includes extending the multimodal fusion framework to

include  physiological  and  behavioural  measures  that  are  associated  with  other  cognitive

states. This includes studying the relation of cognitive states such as fatigue and attention.

Some aspects of these cognitive states have been previously studied in the literature [36,

207 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

46, 47], however, there are still aspects of these cognitive states and their relation to MWL

that are not yet understood.

Conclusion

This chapter has included the offline calibration and validation of a multimodal inference

model for MWL estimation during a MATB task scenario. This has included experiments with

humans, where multimodal data from 17 participants were collected to generate various

multimodal  inference  models.  This  chapter  expanded  on  the  preceding  Experimental

Activity 1 with the implementation of higher number of features and more complex features

being extracted. This included the extraction of four eye activity features, one measure from

an EEG model, one cardiac feature and one CI feature. The methods for extracting these

features have been outlined in this chapter and the features have been thoroughly analysed

with the pairwise correlation with the task level. High‐level correlations included SPE, CI and

the EEG models output, while the moderate level correlations included BPM, pupil diameter

and proportional dwell time.

Examining the individual results revealed that the latter features would be highly sensitive

for  some  subjects  and  less  so  for  others.  This  demonstrated  a  need  for  calibrating  the

multimodal  inference  models  with  a  subject  specific  feature  combination.  The  pairwise

correlation  results  also  showed  to  be  consistent  with  previous  studies,  where  they  have

shown to be sensitive to changes in MWL. However, the HR feature only demonstrated a

poor correlation with the task level across all subjects, which was similar to the literature,

as this feature has shown to give inconsistent results.

The results from calibrating and validating the multimodal ANFIS model demonstrated that,

among the generic feature combinations that were tested, the ones that performed the best

were  ANFIS models  that  contained  two  or  more  features  (i.e.  EEG,  SPE and/or  CI)  in  the

feature combination that correlated strongly with the task level. The results from the offline

calibration and validation of several of the multimodal inference models of MWL showed

that the average from the best performing subject specific feature combinations gave the

lowest error with the task level with a nMAE = 9.2% ± 1.8. Nonetheless, the results from

208 Chapter 5. Experimental Activity 2

using all the seven features in the combination showed a nMAE = 12.1% ± 3.2. While the

former  showed  a  lower  error,  the  latter  showed  quite  a  comparable  result,  hence

demonstrating that the use of the other non‐contributing features was not as detrimental

to the ANFIS when performing multimodal inference of MWL. This was a good indication as

the performance can be maintained at an acceptable accuracy with multiple sensors in a

data fusion scheme, while at the same time allowing for the system to be naturally robust

to failure if any modality fails in the system. As part of this analysis, 11 ANFIS models were

selected as potential candidates for further testing and will be used for online validation in

the following experimental activity detailed in Chapter 6.

209 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

References

[1]

S. G. Hart and L. E. Staveland, "Development of NASA‐TLX (Task Load Index): Results of Empirical and  Theoretical Research," in Advances in Psychology, vol. 52, P. A. Hancock and N. Meshkati, Eds.: North‐ Holland, 1988, pp. 139‐183.

[2]

J.  S.  R.  Jang,  "ANFIS:  adaptive‐network‐based  fuzzy  inference  system,"  IEEE  Transactions  on  Systems,  Man, and Cybernetics, vol. 23, no. 3, pp. 665‐685, June 1993.

[3]

J.  Vieira,  F.  M.  Dias,  and  A.  Mota,  "Neuro‐fuzzy  systems:  a  survey,"  in  5th  WSEAS  NNA  International  Conference, Udine, Italy, 2004.

[4]  R. Wang, J. Zhang, Y. Zhang, and X. Wang, "Assessment of human operator functional state using a novel  differential  evolution  optimization  based  adaptive  fuzzy  model,"  Biomedical  Signal  Processing  and  Control, vol. 7, no. 5, pp. 490‐498, September 2012.

[5]

F. Lotte, "A tutorial on EEG signal‐processing techniques for mental‐state recognition in brain–computer  interfaces," in Guide to Brain‐Computer Music Interfacing: Springer, 2014, pp. 133‐161.

[6]

L. J. M. Mulder, "Measurement and analysis methods of heart rate and respiration for use in applied  environments," Biological Psychology, vol. 34, no. 2‐3, pp. 205‐236, 1992.

[7]  A. M. Hughes, G. M. Hancock, S. L. Marlow, K. Stowers, and E. Salas, "Cardiac Measures of Cognitive

Workload: A Meta‐Analysis," Human Factors, vol. 61, no. 3, pp. 393‐414, May 2019.

[8]  H.  Mansikka,  P.  Simola,  K.  Virtanen,  D.  Harris,  and  L.  Oksama,  "Fighter  pilots’  heart  rate,  heart  rate  variation and performance during instrument approaches," Ergonomics, vol. 59, no. 10, pp. 1344‐1352,  March 2016.

[9]

T. Heine, G. Lenis, P. Reichensperger, T. Beran, O. Doessel, and B. Deml, "Electrocardiographic features  for the measurement of drivers’ mental workload," Applied Ergonomics, vol. 61, pp. 31‐43, January 2017.

[10]  J.‐H. Zhang, X.‐D. Peng, H. Liu, J. Raisch, and R.‐B. Wang, "Classifying human operator functional state  based  on  electrophysiological  and  performance  measures  and  fuzzy  clustering  method,"  Cognitive  Neurodynamics, vol. 7, no. 6, pp. 477‐494, 2013.

[11]  W. Zongmin, Z. Damin, W. Xiaoru, L. Chen, and Z. Huan, "A model for discrimination and prediction of  mental workload of aircraft cockpit display interface," Chinese Journal of Aeronautics, vol. 27, no. 5, pp.  1070‐1077, March 2014.

[12]  U. Ahlstrom and F. J. Friedman‐Berg, "Using eye movement activity as a correlate of cognitive workload,"

International Journal of Industrial Ergonomics, vol. 36, no. 7, pp. 623‐636, 2006.

[13]  L.  L.  Di  Stasi,  A.  Antolí,  M.  Gea,  and  J.  J.  Cañas,  "A  neuroergonomic  approach  to  evaluating  mental  workload in hypermedia interactions," International Journal of Industrial Ergonomics, vol. 41, no. 3, pp.  298‐304, 2011.

[14]  K. F. Van Orden, W. Limbert, S. Makeig, and T.‐P. Jung, "Eye Activity Correlates of Workload during a  Visuospatial Memory Task," Human Factors: The Journal of the Human Factors and Ergonomics Society,  vol. 43, no. 1, pp. 111‐121, 2001.

[15]  F.  Chen  et  al.,  Robust  Multimodal  Cognitive  Load  Measurement,  Cham,  SWITZERLAND:  Springer

International Publishing AG, 2016.

[16]  M. S. Jessee, "Examining the convergent and discriminant validity of visual and mental workload using

ocular activity variables," Army Research Laboratory, March 2010.

[17]  S. Benedetto, M. Pedrotti, L. Minin, T. Baccino, A. Re, and R. Montanari, "Driver workload and eye blink  duration," Transportation Research Part F: Traffic Psychology and Behaviour, vol. 14, no. 3, pp. 199‐208,  December 2011.

[18]  M. G. Glaholt, "Eye tracking in the cockpit: a review of the relationships between eye movements and

the aviators cognitive state," Defence Research and Development Canada, December 2014.

[19]  J.  Gilland,  "Driving,  eye‐tracking  and  visual  entropy:  Exploration  of  age  and  task  effects,"  PhD,

Department of Psychology, University of South Dakota, 2008.

[20]  A.  Kartali,  M.  M.  Janković,  I.  Gligorijević,  P.  Mijović,  B.  Mijović,  and  M.  C.  Leva,  "Real‐Time  Mental  Workload Estimation  Using EEG,"  in  Human  Mental Workload: Models and  Applications, Rome,  Italy,  2019, pp. 20‐34.

[21]  S.  Dähne  et  al.,  "SPoC:  a  novel  framework  for  relating  the  amplitude  of  neuronal  oscillations  to

behaviorally relevant parameters," Neuroimage, vol. 86, pp. 111‐122, February 2014.

[22]  M. Schultze‐Kraft, S. Dahne, B. Blankertz, and G. Curio, "Temporal and Spatial Distribution of Workload‐ Induced Power Modulations of EEG Rhythms," in Fifth International Brain‐Computer Interface Meeting,  Ann Harbor, USA, 2013.

[23]  J.  Zhang  and  R.  Wang,  "Adaptive  Fuzzy  Modeling  Based  Assessment  of  Operator  Functional  State  in  Complex  Human–Machine  Systems,"  in  Complex  Systems,  G.  M.  Dimirovski,  Ed.  (Studies  in  Systems,  Decision and Control, no. 55)  Switzerland: Springer International Publishing, 2016, pp. 189‐210.

[24]  Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.

10, p. 12, January 2021.

[25]  J.‐H. Zhang, X.‐Y. Wang, M. Mahfouf, and D. A. Linkens, "Fuzzy Logic based Identification of Operator  Functional States Using Multiple Physiological and Performance Measures," in International Conference  on BioMedical Engineering and Informatics, Sanya, 2008, pp. 570‐574.

[26]  A. Azadeh, M. Rouzbahman, M. Saberi, F. Valianpour, and A. Keramati, "Improved prediction of mental  workload versus HSE and ergonomics factors by an adaptive intelligent algorithm," vol. 58, pp. 59‐75,  2013.

[27]  Y. Ding, Y. Cao, V. G. Duffy, Y. Wang, and X. Zhang, "Measurement and identification of mental workload  during simulated computer tasks with multimodal methods and machine learning," Ergonomics, vol. 63,  no. 7, pp. 896‐908, April 2020.

[28]  S. Puma, N. Matton, P.‐V. Paubel, É. Raufaste, and R. El‐Yagoubi, "Using theta and alpha band power to  assess cognitive workload in multitasking environments," International Journal of Psychophysiology, vol.  123, pp. 111‐120, October 2018.

[29]  B.‐W.  Hsu, M.‐J.  J.  Wang,  C.‐Y.  Chen,  and F.  Chen,  "Effective  indices  for  monitoring  mental  workload  while performing multiple tasks," Perceptual and Motor Skills, vol. 121, no. 1, pp. 94‐117, August 2015.

[30]  M. E. Smith, A. Gevins, H. Brown, A. Karnik, and R. Du, "Monitoring Task Loading with Multivariate EEG  Measures during Complex Forms of Human‐Computer Interaction," Human Factors, vol. 43, no. 3, pp.  366‐380, 2001.

[31]  W. Klimesch, "EEG alpha and theta oscillations reflect cognitive and memory performance: a review and

analysis," Brain Research Reviews, vol. 29, no. 2‐3, pp. 169‐195, November 1999.

210 Chapter 5. Experimental Activity 2

[32]  A. Gevins, M. E. Smith, L. McEvoy, and D. Yu, "High‐resolution EEG mapping of cortical activation related  to working memory: effects of task difficulty, type of processing, and practice," Cerebral Cortex, vol. 7,  no. 4, pp. 374‐385, June 1997.

[33]  A.  Gevins  et  al.,  "Monitoring  Working  Memory  Load  during  Computer‐Based  Tasks  with  EEG  Pattern

Recognition Methods," Human Factors, vol. 40, no. 1, pp. 79‐91, March 1998.

[34]  P. Aricò, G. Borghini, G. Di Flumeri, N. Sciaraffa, and F. Babiloni, "Passive BCI beyond the lab: current

trends and future directions," Physiological Measurement, vol. 39, no. 8, August 2018.

[35]  T. Radüntz, N. Fürstenau, T. Mühlhausen, and B. Meffert, "Indexing Mental Workload During Simulated  Air Traffic Control Tasks by Means of Dual Frequency Head Maps," Frontiers in Physiology, vol. 11, p. 300,  April 2020.

[36]  S.‐Y.  Cheng  and  H.‐T.  Hsu,  "Mental  fatigue  measurement  using  EEG,"  in  Risk  management  trends:

IntechOpen, 2011.

[37]  F.  Dehais  et  al.,  "Monitoring  pilot’s  mental  workload  using  erps  and  spectral  power  with  a  six‐dry‐

electrode EEG system in real flight conditions," Sensors, vol. 19, no. 6, March 2019.

[38]  R. Parasuraman, T. B. Sheridan, and C. D. Wickens, "Situation Awareness, Mental Workload, and Trust in  Automation:  Viable,  Empirically  Supported  Cognitive  Engineering  Constructs,"  Journal  of  Cognitive  Engineering and Decision Making, vol. 2, no. 2, pp. 140‐160, 2008.

[39]  F. Rivalta, N. Pongsakornsathien, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "Facial Expression Analysis  for Cognitive State Estimation in Aerospace Human‐Machine Systems," in IEEE International Conference  on Human‐Machine‐Systems Rome, Italy, 2020.

[40]  H.  Tanaka,  T.  Katura,  and  H.  Sato,  "Task‐related  oxygenation  and  cerebral  blood  volume  changes  estimated from NIRS signals in motor and cognitive tasks," NeuroImage, vol. 94, pp. 107‐119, 2014.

[41]  J. Harrison et al., "Cognitive Workload and Learning Assessment During the Implementation of a Next‐ Generation  Air  Traffic  Control  Technology  Using  Functional  Near‐Infrared  Spectroscopy,"  IEEE  Transactions on Human‐Machine Systems, vol. 44, no. 4, pp. 429‐440, August 2014.

[42]  H. Aghajani, M. Garbey, and A. Omurtag, "Measuring Mental Workload with EEG+fNIRS," Frontiers in

Human Neuroscience, vol. 11, p. 359, 2017.

[43]  A. H. Johar et al., "Investigation of EEG Correlate in NIRS Signal for BCI," Springer International Publishing,

2021, pp. 319‐325.

[44]  B.  F.  Yuksel  et  al.,  "Learn piano  with  BACh:  An  adaptive  learning  interface  that  adjusts  task  difficulty  based on brain state," in CHI Conference on Human Factors in Computing Systems, United States, 2016,  pp. 5372‐5384.

[45]  E.  Musk,  "An  integrated  brain‐machine  interface  platform  with  thousands  of  channels,"  bioRxiv,  p.

703801, 2019.

[46]  F. Dehais et al., "Monitoring Pilot's Cognitive Fatigue with Engagement Features in Simulated and Actual  Flight  Conditions  Using  an  Hybrid  fNIRS‐EEG  Passive  BCI,"  in  2018  IEEE  International  Conference  on  Systems, Man, and Cybernetics (SMC), 2018, pp. 544‐549.

[47]  L. C. Thomas, C. Gast, R. Grube, and K. Craig, "Fatigue Detection in Commercial Flight Operations: Results

Using Physiological Measures," Procedia Manufacturing, vol. 3, pp. 2357‐2364, 2015.

211 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Chapter 5. Experimental Activity 2 212

This page is intentionally left blank to support presswork

Chapter 6

Experimental Activity 3:  Online Inference of MWL with a Multimodal ANFIS Model

Introduction

This  chapter  included  the  online  validation  of  11  multimodal  inference  models.  This

experiment (Experimental Activity 3) was a direct extension from the previous experimental

activity in Chapter 5, however while the previous work included rigorously testing multiple

models in an offline calibration and validation, here the online validation of these 11 ANFIS

models was performed. The session consisted of two different rounds, in Round 1 the task

profile  was  similar  to  the  previous  session  (conducted  in  Experimental  Activity  2)  and

included  the  collection  of  calibration  data  and  the  online  validation  of  cross‐session

inference models of MWL. Round 2 consisted of a new task profile that contained the three

levels as in Round 1 but rearranged in a new order. During Round 2 the online validation of

all  the  11  ANFIS  models  was  tested,  which  would  later  be  analysed  to  determine  which

model performed the highest.

213

Chapter 6. Experimental Activity 3 214

Experiment procedure

The methodology for this experiment consisted of four main stages as detailed in Section

3.4. This experimental activity consisted of an initialisation stage, Round 1 of the MATB task

scenario, then an offline training stage followed by Round 2 of MATB tasks. The time taken

for each stage is specified in the Figure 6.1 below and the experiment lasted approximately

1 hour and 20 minutes for each subject. The main objectives for Experimental Activity 3 are

to collect calibration data in Round 1 as well as perform a cross‐session validation for the

applicable  subjects  and  inference  models.  Then  in  Round  2  the  online  validation  of  all

inference models was performed for all subjects that participate in the experiment.

Initialise

Round 1 – MATB

Offline training

Round 2 – MATB

 Briefing

 Use data from

round 1 to

 Re‐familiarise

calibrate EEG

 Fit and

model and

initialise  sensors

ANFIS models 1‐11

 Calibration data collection

 Online validation ANFIS 1‐11

 Online validation ANFIS 1‐5

 Online validation EEG model

10 minutes

24 minutes

16 minutes

20 minutes

Figure 6.1.  Overall methodology for Experimental Activity 3.

Participants

For this study 12 participants took part in the session. As described in the inclusion criteria

in  Chapter  3,  subject  within  the  working  age  were  approached  to  participate  (18‐67).

Additionally,  participants  that  completed  Experimental  Activity  2  were  asked  to  again

participate in Experimental Activity 3. Among the participants from the previous experiment

six took part in this session. In total there were 5 females and 7 males that took part in the

session, where the average age was 31 with a standard deviation of ±9.3. The data collection

took part between the middle of November till the middle of December 2020.

215 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

MATB scenario design

The MATB task design was developed with the same requirements as defined in Chapter 5.

Here three levels were used with level one including two tasks, level two had three tasks

and level 3 had four tasks. Below is the task profile for Round 1 which in total lasted 16

minutes. Here the pre‐ and post‐resting lasted for two minutes, while each level lasted for

four minutes each.

Figure 6.2. Task profile for Round 1 of the MATB scenario.

Table 6.1. Requirements for task profile for Round 1.

Track

SYSMON

COMM

RESMAN

REST  Level 1+   Level 2  Level 3  REST

Duration (16 min) 2 min  4 min  4 min  4 min  2 min

High – med  High – med  High – med

3 per/min  6 per/min  9 per/min

3 per/min (2/1)  4 per/min (3/1)

2 fail‐fix l/min

Round 2 included the participant performing the task profile as seen in the Figure 6.3. Similar

to before the profile consisted of three pre‐defined levels, however in this round the task

profile is re‐arranged. The pre‐ and post‐resting were two minutes each as before. The levels

were  however  in  different  order  and  with  different  durations  ranging  from  two  to  five

minutes. This was done to thoroughly test the inference model’s ability to infer the MWL.

216 Chapter 6. Experimental Activity 3

Figure 6.3. Task profile for the online validation round in Round 2.

Table 6.2. Requirements for task profile for online validation in Round 2.

Track

SYSMON

COMM

RESMAN

4 per/min (3/1)  4 per/min (4/0)  3 per/min (2/1)  4 per/min (3/1)

2 fail‐fix /min  6 fail‐fix /min    2 fail‐fix /min

REST  Level 1   Level 3  Level 3+  Level 2  Level 3  Level 1  Level 2  REST

Duration (22 min) 2 min  2 min  4 min  1 min  3 min  3 min  3 min  2 min  2 min

High – med  High – med  High – med  High – med  High – med  High – med  High – med

3 per/min  9 per/min  12 per/min  6 per/min  9 per/min  3 per/min  6 per/min

3 per/min (2/1)

Data collection and processing

This experiment was a direct extension from the previous Experimental Activity 2 in Chapter

5. While the previous work included rigorous testing of several multimodal models in an

offline calibration and validation, this experimental activity included the online validation of

these models. As such the extracting the features was the same as in Chapter 5, with some

minor adjustments. Hence, for details on the feature extractions for the EEG, eye activity

tracking and control input device see Section 5.5 in the Chapter 5. The cardiac feature was

not  included  in  this  experimental  activity  as  it  showed  a  poor  average  correlation  in

Experimental Activity 2. The full processing included using the features from the EEG, eye

data  and  control  inputs,  to  pass  on  to  11  ANFIS  models  (as  determined  in  Chapter  5)  to

investigate how the various ANFIS models performed and compared to one another. The

network used for performing the online processing can be seen in Figure 6.4, where the

217 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

features were received by a server that then passes on the features to the respective ANFIS

models.

Figure 6.4. Online validation network for Experimental Activity 3.

6.5.1. Networking during the experiment

The networking for the sessions was different for Round 1 and Round 2 and can be seen in

the Figure 6.5 and 6.6. In Round 1 the networking for the processing and collection of the

data  firstly  included  saving  the  EEG  data  in  a  .vhdr  file  using  the  BrainVision  recorder

software.  For  processing  and  storing  the  eye  feature  data  a  number  of  JS  scripts  were

developed and used in combination with TCP/IP for passing the data between the scripts.

The  calculation  of  the  various  eye  activity  features  was  the  same  as  in  the  previous

experimental activity, however the data was further passed onto an additional script where

the features were passed to the ANFIS models 1‐5 to compute the respective inference of

MWL. Lastly both the input features and the resulting output from the ANFIS models were

stored in a CSV file. To ensure the synchronisation of all the data the same method as used

in Chapter 5 was implemented, see Section 5.5 for further detail.

Save .vhdr file

Start recording in  ‘recorder’  software

Initialise  impedance with  ‘recorder’  software

218 Chapter 6. Experimental Activity 3

EEG Brain Products    ‐ actiCAP Xpress    ‐ V‐Amp   ‐ 16 data ch.

Calculate features from Gazepoint data

Inference code

JS script that  defines ROI

Eye tracker

CALCULATE JS script that  receives ROI and  eye data and  calculates

Port 4242

Port  4222

JS script that  receives data and  infers MWL with  ANFIS 1‐5

Port  4223

GazePoint GP3 ‐ Raw data

Receive raw data  with JS script and  format data

‐ SPE  ‐ BPM ‐ etc.

Save input and output data in .csv file

JS script to  calculate mouse  control inputs

Figure 6.5. Round 1 network for Experimental Activity 3.

The  networking  for  Round  2  was  in  its  entirety  with  all  features  being  used  for  online

validation of the multimodal inference models of MWL. The eye activity data as well as the

controller input data were processed in the same way as in Round 1. However, in addition

to this the inference code received the feature from the EEG model. After collecting the raw

.vhdr  data  in  Round  1,  the  data  was  used  to  calibrate  the  EEG  model.  Once  this  was

completed  the  real‐time  EEG  data  could  be  linked  with  the  hardware  using  the  V‐AMP

connector. The data was then passed onto the NeuroPype software using LSL. With this data

received the calibrated model processed the data and performed an online inference of the

MWL that was then passed through to the inference code with TCP/IP. Once the inference

code received all the features, the ANFIS model 1‐11 could compute the final inference of

MWL and the results were stored for later analysis.

219 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

NEUROPYPE

Port  4262

Pass data  with LSL

Link V‐Amp with  V‐AMP connector

Transmit result  with TCP/IP

EEG BrainProducts    ‐ actiCAP Xpress    ‐ V‐Amp   ‐ 16 data ch.

Inference code

Receive data in  NeuroPype and  estimate real‐  time EEG data  with calibrated  model

Calculate features from Gazepoint data

JS script that receives  data and infers MWL  with ANFIS 1‐11

JS script that  defines ROI

Save input and output data in .csv file

Eye tracker

CALCULATE JS script that  receives ROI and  eye data and  calculates

Port 4223

Port 4242

Port  4222

GazePoint GP3 ‐ Raw eye data

Receive raw data  with JS script and  format data

‐ SPE  ‐ BPM ‐ etc.

JS script to  calculate mouse  control inputs

Figure 6.6. Round 2 network for Experimental Activity 3.

Data analysis

6.6.1. Round 1 analysis

The analysis for this experimental activity was conducted using the MAE and the CC. This

was the same method of analysis as in the previous chapter, and for more detail about the

equations used see Chapter 3. The analysis was conducted for Round 1 results and Round 2

results, with a comparison presented in the discussion section.

In Round 1 the results of the cross‐session ANFIS model 1‐5 will be presented using the MAE

between  the  task  level  for  Round  1  and  the  inferred  results  from  the  five  cross‐session

models. In addition to this the CC between all the features will be presented. This will be

conducted by normalising the timeseries between 0 and 1 and performing the Pearson CC

to get the pairwise correlation.  This is mainly done to reaffirm results from the previous

experimental activity and will also provide explainability by giving an insight into why the

ANFIS performed the way it did. Lastly, the MAE between the offline calibration of the EEG

model (using five‐fold validation) and the task profile will be presented to show how the

EEG model performed in the offline calibration from the Round 1 data.

220 Chapter 6. Experimental Activity 3

6.6.2. Round 2 analysis

For the second part of the analysis the data from Round 2 will be presented. This will be

conducted similarly to the part one analysis. However, the analysis of the data in Round 2

will be done on all ANFIS models 1‐11, which are calibrated from data collected in Round 1.

In addition to this the CC between all the features in Round 2 is again conducted. Lastly the

online validation of the inference of the EEG model is presented with the MAE between the

Round 2 task profile and the inference of MWL from the EEG model.

6.6.3. Threshold criterion

As part of the post processing analysis, a threshold criterion was set for the ANFIS models

online outputs. This was conducted by obtaining the median of the respective dataset and

determining upper and lower thresholds that were three scaled mean absolute deviations

away from the median. Any sample that exceeded the thresholds would be identified as an

outlier and replaced with either the upper or the lower threshold value depending on which

threshold  was  breached.  MATLAB  was  used  for  detecting  outliers,  were  the  “isoutlier”

function was implemented to identify outliers, and a custom script was developed to replace

outliers with either upper or lower threshold values.

In Round 1 the threshold criterion was applied for the online output from the ANFIS models

1 to 5. Overall there were 812 outliers that were identified out of a total of 28,800 samples

(960*5*6 = 28,800). For Round 2, the threshold criterion also applied to all online outputs

from  the  ANFIS  models.  There  were  7,206  samples  identified  as  outliers  out  of  173,240

samples (1320*11*12=173,240).

221 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Results

The  results are  presented  in  two  section,  with  the  first  section  showing  the  results  from

Round 1 and the second section showing the results from Round 2.

6.7.1. Round 1 results

6.7.1.1. Online cross-session validation of ANFIS models 1-5

In Round 1 all the data was collected in preparation for calibrating the models and validating

the models in real‐time for Round 2. However, in parallel to this cross‐session validation of

ANFIS  models  1‐5  was  conducted  for  six  participants  who  completed  the  previous

Experimental Activity 2. As such ANFIS models 1 to 5, trained using the data collected from

Chapter 5, were tested in real‐time. The results from these five models can be seen in Table

6.3. All the different cross‐session ANFIS models produced an overall inference of MWL that

was around a MAE of 0.70. ANFIS model 2 had the lowest error across all the subjects with

an average MAE of 0.63 with a standard deviation of ±0.23. The highest average MAE was

seen for ANFIS models 3 and 5, with a MAE = 0.74 ±0.13 and MAE = 0.74 ±0.17 respectively.

One of the results for subject five can be seen in Figure 6.7, which shows the results from

ANFIS  model  2.  Here  the  visual  comparison  between  the  ANFIS  output  and  the  pre‐

determined task level are presented. The output closely fits the task profile although there

are  some  instances,  particularly  between  360  and  600  seconds  where  the  output  can  at

times seem to be either a little higher or lower than the task level. This can be a consequence

of the notion that level 2 is more discrete in MWL demand as the communication task is

only active at in‐frequent instances.

As  outlined  in  Section  3.3.6,  all  the  outputs  from  the  ANFIS  models  1‐5  were  tested  for

normality using the Kolmogorov‐Smirnov test. All the outputs successfully passed the test

as detailed in Appendix C, Table C.2.

222 Chapter 6. Experimental Activity 3

Table 6.3. MAE from online inference of MWL using a cross‐session ANFIS models 1‐5.

Participant ANFIS 1

2. 0.53

3. 0.72

4. 0.91

6. 1.07

7. 0.59

Avg. MAE 0.72 ± 0.22

5. 0.53

ANFIS 2

0.67

0.69

0.96

0.71

0.38

0.63 ± 0.23

0.37

ANFIS 3

0.72

0.70

0.84

0.72

0.92

0.74 ± 0.13

0.53

ANFIS 4

0.53

0.81

0.91

0.67

0.64

0.67 ± 0.16

0.48

ANFIS 5

0.71

0.96

0.80

0.62

0.85

0.74 ± 0.17

0.49

Figure 6.7. ANFIS model 2 from participant 5 with a MAE = 0.37.

6.7.1.2. Offline calibration of the EEG model

During  Round  1  only  the  raw  EEG  data  was  collected.  Once  collected,  the  EEG  model

implemented could be calibrated using the raw data and defining the labels based on the

task  level.  To  give  an  indication  of  the  performance  of  the  model  a  five‐fold  cross  task

validation  was  performed  while  calibrating  the  model.  The  results  from  the  five‐fold

validation can be seen in Table 6.4 and was the MAE between the predicted output and the

task level. The lowest error showed to be 0.40 for participant seven with the highest error

being 0.68 for participant one. On average the error was 0.53 across all the subjects with a

low standard deviation of ±0.09. This indicated that the five‐fold validation was consistent

for all subject with an overall MAE around 0.5.

223 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Table 6.4. EEG result from offline calibration with MAE from five‐fold validation.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

Participant

1.

MAE

0.68  0.61  0.44  0.42  0.57  0.46  0.40  0.58  0.49  0.47  0.63  0.60

Avg. 0.53 ±0.09

6.7.1.3. Correlation between features in Round 1

To provide an assessment of each of the individual features, and the contribution to the

ANFIS models, the pairwise correlation between all the features were computed as shown

in  Table  6.5.  The  most  notable  correlation  was  between  the  task  level  and  all  the  other

features. For these correlations the pairwise correlation between the EEG inference and task

level showed the highest correlation, with a CC = 0.82 ± 0.07. This was expected to be strong,

given as the EEG prediction was done using the task level. The scan pattern entropy also

showed a strong positive correlation with the task level, while the blinks per minute showed

a  strong  negative  correlation  with  the  task  level.  The  CI  showed  a  high  moderate‐level

correlation with the task level, while the pupil diameter and the proportional dwell time

showed a moderate‐level correlation.

Table 6.5.  CC across all subject and for all features. Normalised between 0 and 1 and averaged across all  subjects with standard deviation.

EEG

Task level

DIA

DWELL

CI

SPE

BPM

1

SPE

‐0.61  ±0.15  1

BPM

0.52  ± 0.26  ‐0.42  ± 0.25  1

DIA

‐0.53  ± 0.35  0.42   ± 0.39  ‐0.45   ± 0.19   1

DWELL

0.56  ± 0.10  ‐0.46  ± 0.12  0.42  ± 0.26  ‐0.23  ± 0.27  1

CI

0.67  ± 0.14  ‐0.64  ± 0.11  0.47  ± 0.30  ‐0.37  ± 0.32  0.59  ± 0.10  1

EEG

0.73 ± 0.15 -0.72 ± 0.08 0.50 ± 0.33 -0.39 ± 0.33 0.66 ± 0.13 0.82 ± 0.07 1

Task level

6.7.2. Round 2 results

The  second  round  of  the  experiment  includes  online  validation  of  all  the  ANFIS  models.

These models are trained using the data collected from Round 1 and are tested on all the 12

224 Chapter 6. Experimental Activity 3

subjects that participated. In addition to the results from testing all the 11 ANFIS models,

the  results  from  the  EEG  model  will  be  presented,  and  lastly  the  pairwise  correlation

between all the features are also shown.

6.7.2.1. ANFIS results from Round 2

The performance of the various ANFIS models was done using the MAE between the task

level and ANFIS output as well as the pairwise correlation between them. In addition, the

results  from  offline  validation  is  also  presented  for  comparison.  ANFIS  1‐9  were  models

trained with generic feature combinations as determined in Chapter 5, while ANFIS 10‐11

were  custom  subject  specific  feature  combinations  for  each  subject.  This  was  only

conducted on five participants, as these were the participants that completed the previous

experimental  activity  which  was  a  requirement to  determine  the  subject  specific  feature

combination.  Moreover,  ANFIS  models  1‐5  were  models  that  only  contained  feature

combinations  with  eye  features  and  CI,  while  ANFIS  models  6‐9  also  included  the  EEG

measure in the feature combination.

The Figures 6.8. to 6.10 can be seen below and shows the output from the ANFIS models in

comparison with the pre‐determined task level. These figures each show one of the better

real‐time  inferences  of  MWL  for  six  subjects.  As  in  Chapter  5,  the  values  on  the  y‐axis

represent  the  level  of  MWL  with  one  indicating  resting,  two  indicating  level  1,  three

indicating level 2 and value four indicating level 3 of the MATB task scenario. In all of these

cases the real‐time estimation of MWL is quite accurate, where it closely fits the profile of

the task level. During the resting phases, the models consistently inferred a value centred

around one as it is intended to do. Although in some cases, the inference in the post resting

phase can be seen to be a bit delayed in dropping the estimation to one. For most of the

cases the inference, as seen in red, clearly performs a step at the beginning of level 1 after

the  pre  resting  phase.  The  inference  of  MWL  then  correctly  stabilises  around  value  two.

Following level 1, level 3 commences and a step is again clearly seen for most of the cases,

where  in  some  cases  there  is  a  more  transient  increase.  In  the  following  level  2,  the

inference of MWL is seen for most of the cases to be a bit delayed in the decrease. The

increase in inference of MWL is however clear when level 3 again commences in at around

700 seconds. The drop in task load in level 1 at around 900 seconds is also clearly reflected

225 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

in the inference of MWL. Lastly the final increase to level 2 in the MATB scenario is also

reflected  in the  inference  of  MWL  in  all  these  figures,  although  some do  not  stabilise  as

prominently around the corresponding value three.

(a) (b)

Figure 6.8. Task level (blue) and ANFIS output (red): (a) ANFIS output 4 for participant 1 with MAE =  0.41; (b) ANFIS output 3 for participant 2 with MAE=0.51.

(a) (b)

Figure 6.9. Task level (blue) and ANFIS output (red): (a) ANFIS output 7 for participant 5 with MAE =  0.53 and; (b) ANFIS output 8 for participant 11 with MAE = 0.53.

(a) (b)

Chapter 6. Experimental Activity 3 226

Figure 6.10. Task level (blue) and ANFIS output (red): (a) ANFIS output 11 for participant 5 with  MAE = 0.72; (b) ANFIS output 11 for participant 7 with MAE = 0.49.

The  results  from  all  the  participants  are  presented  in  Table  6.6  below.  Among  the

multimodal ANFIS models the lowest error and highest CC result was ANFIS model 3, which

included the ANFIS model with all the eye features and the CI feature. Here the results across

all subjects showed a MAE = 0.67 ±0.18 and CC = 0.71 ±0.15. The other ANFIS models that

contained only eye and CI features also performed well with results around this same level.

ANFIS models 6‐9 however had somewhat more variable results. As further elaborated on

when specifically analysing the performance of the EEG model, the EEG results showed to

be inconsistent as compared to the other features. Whereas in the cases where the EEG

model performed proficiently, the ANFIS results for these models remained strong with a

MAE around 0.50 as seen for subject seven. Moreover, as explained in Section 6.7.2.2, the

EEGs efficacy can be seen in the profile of the result for many subjects. Nonetheless, it was

seen to contain an offset for many of the participants. As such, this offset also effected the

results for ANFIS models 6‐9 for many of the subjects. However, when normalising these

ANFIS outputs it could be seen that the CC results remained strong with a high moderate‐

level correlation with the task level. These results were similarly seen for the customised

ANFIS  models  10‐11,  that  all  commonly  contained  the  EEG  measures  in  the  feature

combination. Note however, that the customised feature combination was a result from the

analysis of the subjects that completed the previous Experimental Activity 2. Nonetheless,

for ANFIS models 10 and 11 there is a high‐level correlation with the task level.

In  addition  to  the  aforementioned  results,  the  result  from  the  offline  calibration  of  the

models  is  also  included  in  Table  6.6.  These  results  include  the  offline  calibration  and

validation  on  all  the  data  and  would  thus  naturally  include  a  better  error  across  all  the

subjects. These results are included to serve as a comparison and showed that the models

performed well and also showed good potential given the offline calibration data.

As outlined in Section 3.3.6, all the online outputs from the ANFIS models 1‐11 were tested

for normality using the Kolmogorov‐Smirnov test. All the outputs successfully passed the

test as detailed in Appendix C, Table C.3.

227 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

Table 6.6. MAE and CC for Round 2 between task level and the ANFIS outputs.  (* indicates MAE from offline validation)

228 Chapter 6. Experimental Activity 3

6.7.2.2. EEG results during Round 2

The  use  of  the  EEG  included  using  supervised  ML  models  that  on  its  own  would  make

predictions of the MWL. While the ANFIS is calibrated using labels 1, 2, 3 and 4 indicating

resting, level 1, level 2 and level 3, the EEG model is calibrated using the labels 0, 1, 2 and 3.

For  this  model  the  analysis  was  done  using  the  MAE  as  well  as  the  CC  between  the

normalised  inferred  MWL  and  the  pre‐determined  task  level.  The  results  from  the  error

between the inferred MWL and task level showed a high MAE across all subjects of 3.04

±2.47. Here the lowest MAE is 0.71, while the highest MAE is at 8.62. Nonetheless, although

the error between the output from the EEG model and the task level are high, there are

some considerations to show the efficacy of the EEG model. Firstly, looking at the pairwise

correlation between the normalised output and the task level shows that the average for all

participant is 0.54 ± 0.24. This indicates a moderate level correlation, although the standard

deviation is quite high at ±0.24. This can be explained when looking at the results from the

individual  subjects  as  for  a  number  of  subjects  including  subjects  3  to  7  and  11,  showed

results with a high‐level correlation, with the highest correlation seen for participant 5 with

CC = 0.85. On the other hand, a number of subjects did not show a correlation, with the

lowest for participant 12, that showed no correlation with the task level.

In addition to the correlation, the other means to illustrate the efficacy of the EEG model

was taking the MAE after accounting for the noticeable offset. The EEG model showed to

produce a result that was in many instances highly correlated with the task profile, indicating

that it was responsive to the changes in MWL. However, in many of the cases there was

included an offset in the prediction, thus the prediction would start at a higher value such

at e.g. 3 instead of 1 during resting. To analyse the efficacy of the inference of MWL from

the EEG model, the average value during the resting period was calculated for each subject

with a noticeable offset. With the average value from the resting period the offset could be

calculated by subtracting the average value from the resting with the intended value for

resting, which was defined as 0 for the EEG model. With the offset calculated, the whole

inference of MWL from the EEG model could account for this offset. The MAE between this

new time series and task level was then calculated, although for participant 1, 7 and 12 there

was not calculated an offset as these outputs did not require it to do so (but is included in

brackets for comparison). The results from this then show that the average MAE across all

229 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

subject was MAE = 1.06 ±0.31. This is notably improved from the previous average of the

MAE between the models output and task level. The most improved case from performing

the  offset  could  be  seen  for  participant  six.  Here  the  original  MAE  was  4.41,  while

performing the offset gave a good MAE of 0.61.

Table 6.7. MAE and CC between online EEG inference and task level in Round 2.

MAE*

CC

Participant

MAE

0.86

0.86 (1.51)

1.

0.47

2.

3.91

1.55

0.40

3.

5.90

0.93

0.63

4.

1.34

1.07

0.77

5.

1.92

0.74

0.85

6.

4.41

0.61

0.78

7.

0.71

0.71 (1.07)

0.78

8.

1.56

1.43

0.25

9.

4.70

0.98

0.48

10.

8.62

1.48

0.52

11.

1.39

1.15

0.68

12.

0.06

1.25

1.25 (2.90)

Average

0.54 ± 0.24

1.06 ± 0.31

3.04 ± 2.47

*MAE after offset

The  results  are  visually  represented  in  Figures  6.11  to  6.14  that  shows  the  EEG  models

output from four participants. Here the leftmost figure is the original output from the EEG

model, the middle is the result after accounting for the offset, while the right figure is the

comparison of the normalised values. As seen in the rightmost figures, there is a profile from

the  EEG  models  output  that  correlates  well  with  the  task  level.  However,  as  seen  the

leftmost figure there is a clear offset in many of the cases that skews the output. Accounting

for  the  offset  as  explained  before,  then  results  in  an  output  from  the  EEG  that  closely

resembles the task level profile (see middle figures). In some instances, such as Figure 6.13

there was not needed to adjust for the offset. This was also reflected in the numerical results

(see value in brackets in Table 6.7) as taking the offset resulted in a higher error than the

original output.

230 Chapter 6. Experimental Activity 3

(a) (b) (c)

Figure 6.11. EEG model result for participant 5: (a) The original output in relation to the task level; (b) after  subtracting offset; (c) normalised output.

(a) (b) (c)

Figure 6.12. EEG model result for participant 6: (a) The original output in relation to the task level; (b) after  subtracting offset; (c) normalised output.

(a) (b)

Figure 6.13. EEG model result for participant 7: (a) The original output in relation to the task level; (b)  normalised output.

(a) (c)

(b)  Figure 6.14. EEG model result for participant 4: (a) The original output in relation to the task; (b) after  subtracting offset; (c) normalised output.

231 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

6.7.2.3. Correlations between features in Round 2

To  provide  an  understanding  of  how  each  of  the  individual  features  compared  with  one

another, the pairwise correlation between all features are presented as seen in Table 6.8.

Here the most notable correlation was between the task level and the other seven features.

The strongest correlation was between the ANFIS model 3 (as performed best among all

subjects) and the task level with a CC = 0.71 ±0.15. The other pairwise correlation with a

high‐level correlation included the SPE and task level as well as a strong negative correlation

between BPM and the task level. The other features including pupil diameter, proportional

dwell time, EEG and CI showed a moderate level correlation around 0.50. Moreover, the

pupil  diameter  and  EEG  both  showed  a  high  standard  deviation  indicating  that  these

features were highly correlated for some subjects while other subjects did not show a high

correlation  in  response  to  the  changes  in  task  load.  The  other  notable  correlation  was

between  the  ANFIS  model  3  and  the  other  features.  Here  again  the  correlations  remain

good, with high and moderate level correlations, while for BPM and SPE the correlation was

somewhat improved as compared to the correlation with the task level.

As all the features were fundamentally meant to measure the changes in MWL, the results

from correlating all the features demonstrated that they do in fact achieve this during Round

2 of this experimental activity. This was demonstrated with features showing high level and

moderate level correlations with the task level and between one another. The correlation

between the other features showed the same with either positive or negative correlations.

However, when e.g. correlating between two features such as BPM and pupil diameter, the

correlation was somewhat lower than for example BPM and task level or the pupil diameter

and task level. Nonetheless, in some instances such as the pairwise correlation between the

SPE and proportional dwell time there was a higher negative level correlation as compared

to the correlation between the proportional dwell time and the task level.

232 Chapter 6. Experimental Activity 3

Table 6.8.  CC between all subject. Normalised between 0 and 1 and averaged across all  subjects with standard deviation.

CI

EEG

ANFIS 3

SPE1

BPM

DIA

DWELL

Task level

1

SPE1

‐0.63  ± 0.12

0.52  ± 0.28

‐0.63  ± 0.13

0.42  ± 0.19

0.44  ± 0.28

0.69  ± 0.21

0.67 ± 0.06

1

BPM

‐0.45  ± 0.12

‐0.52  ± 0.22

‐0.75  ± 0.16

-0.70 ± 0.08

‐0.44  ± 0.25

0.46  ± 0.14

1

DIA

‐0.49  ± 0.17

0.39  ± 0.23

0.41  ± 0.24

0.47  ± 0.34

0.54 ± 0.30

1

DWELL

‐0.31  ± 0.14

‐0.32  ± 0.24

‐0.49  ± 0.16

-0.53 ± 0.08

1

CI

0.42  ± 0.18

0.57  ± 0.18

0.58 ± 0.13

1

EEG

0.54 ± 0.24

0.48  ±0.31

1

ANFIS 3

0.71   ± 0.15

1

Task level

Discussion

While the previous chapter included the offline calibration and validation of a multimodal

inference  model,  this  chapter  has  investigated  the  online  validation  of  11  ANFIS  models

assessed in the previous chapter. Although offline validation using unseen data can assist in

determining the efficacy of the model, taking it a step further and testing with real‐time data

is vital supervised ML models are prone to overfitting and unexpected aspects can occur in

the  data  produced  and  processed  in  real‐time.  In  addition,  a  CHMS  is  required  to  drive

system  adaptation  based  on  real‐time  data.  Thus,  a  rigorous  testing  of  the  model’s

performance in an online validation was conducted as part of this Experimental Activity 3.

6.8.1. Discussion of methodology design and networking considerations

This study included testing the inference models on twelve subjects, where six subjects had

previously completed the MATB session in Chapter 5. Only half of the subject’s participated

in this experimental activity due to the lack of necessary resources and the availability of

233 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

subjects  to  perform  both  sessions.  Nevertheless,  having  subjects  that  had  previously

completed the experiment meant that the online validation of the models calibrated in the

previous session could be tested in this experimental activity. However, this session did not

solely depend on the calibration of the models from the previous experimental activity as

this  activity  included  the  subjects  completing  an  initial  16‐minute  calibration  (Round  1),

followed  by  the  online  validation  round  that  lasted  for  22  minutes  (Round  2).  Both  the

calibration and validation rounds consisted of the same level 1, 2 and 3, sandwiched with

pre‐  and  post‐resting.  However,  whereas  the  calibration  in  Round  1  consisted  of  an

incremental increase in difficulty, as in Chapter 5, the validation round included the same

three  levels  but  with  a  new  more  random  order  and  duration  of  the  levels.  This  was

important as testing the efficacy of the models thoroughly was dependent on the having the

model respond to somewhat unpredictable task loads presented to the human operator.

The  incremental  increase  in  Round  1  was  however  useful  as  new  subjects  who  did  not

complete  the  previous  session,  could  gradually  be  introduced  to  the  tasks  in  a  more

comprehendible manner.

There were 11 ANFIS models tested in this online validation study that were determined

based on the results from Chapter 5. As opposed to Experimental Activity 2, the efficacy of

these  models  was  thoroughly  tested  using  real‐time  data.  As  mention  above  six  of  the

participants did the previous session, this then allowed for online cross‐session validation of

ANFIS  models  1‐5  for  these  subjects  (during  the  Round  1).  These  models  were  the  ones

calibrated on the subject specific data from Experimental Activity 2. Only models 1 to 5 were

tested as the other generic models that included the EEG measure could not be included.

This was the case as preliminary testing showed that the EEG model did not give a good

indication  of  the  model’s  ability  for  cross‐session  inference.  This  could  likely  be  due  to

factors such as changes in electrode impedance and electrode position in between sessions.

This would preferably be tested by running the previously calibrated subject specific EEG

model while simultaneously collecting the raw EEG data for re‐calibrating the model with

the newly collected EEG data. However, there were two software’s needed for running the

EEG model and collecting the raw EEG data. As these were separate software’s they were

not able to both access the data from the V‐AMP amplifier at the same time. As such, due

to these networking constrains a decision was made to focus on collecting the raw EEG data

234 Chapter 6. Experimental Activity 3

during  Round  1  of  this  experiment  and  not  fully  test  the  cross‐session  ability  of  the  EEG

model calibrated in the previous experimental activity.

As part of the analysis a threshold criterion was set as outlined in Section 6.6.3. Using three

scaled mean absolute deviations from the median would give upper and lower thresholds

that  were  appropriately  distanced  from  the  median,  thus  preventing  the  instances  with

excessive  inference  of  MWL.  For  future  implementation  of  a  full  CHMS  a  similar

methodology can be implemented in real‐time by defining upper and lower thresholds in

the  software  that  will  prevent  excessive  inference  of  MWL.  The  threshold  values  would

depend on the requirement of the system, but this could for example be done by setting an

upper bound to 5 and a lower bound to 0.

6.8.2. Discussion of results

6.8.2.1. Discussion of the pairwise correlation analysis

The results for the pairwise correlations between all the features were presented for Round

1 and Round 2. As in the previous Experimental Activity 2 the main correlation was between

the  task  level  and  the  other  respective  features.  In  addition,  for  this  analysis  only  the

correlations that showed good results in Chapter 5 were further included in this study. This

thus included implementing the SPE, BPM, pupil diameter, proportional dwell time, CI and

the EEG measure, while the cardiac feature was not included.

In Chapter 5, the results that showed a good correlation included the SPE, EEG and the CI

measure, with an average correlation ranging from 0.75 to 0.82. The moderate performing

correlations on the other hand included BPM, pupil diameter and proportional dwell time

with an average correlation in the range of 0.45 too 0.60, where BPM showed the lowest

correlation. However, for Round 1 of this experimental activity, the features that showed a

good correlation with the task level included the SPE, BPM, CI and the EEG measure. The

most notable difference from the correlation analysis performed in Chapter 5, is the much

improved  correlation  between  the  BPM  and  the  task  level.  Whereas  the  previous  BPM

correlation showed a moderate level correlation of CC = ‐0.45 across all participants, the

correlation  for  Round  1  of  this  experimental  activity  was  CC  =  ‐0.72.  This  high‐level

235 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

correlation persisted between the features in Round 2 where the correlation remained at a

high‐level  CC  =  ‐0.70.  Looking  at  the  individual  results  from  the  previous  experimental

activity  showed  that  the  variance  in  performance  was  prevalent,  where  excluding  seven

participants  that  showed  a  poor  correlation  then  gave  an  average  CC  =  ‐0.66.  This  then

showed how the BPM measure was a feature that was highly sensitive for some subjects,

while  less  so  for  others  in  Experimental  Activity  2.  Nevertheless,  the  difference  in  BPM

between  the  two  experimental  activities  could  not  be  conclusively  traced  to  a  particular

reason.

As for the SPE feature, which is the only measure implemented in all three experimental

activities, remained at a consistently high‐level correlation across all the activities with a

result above CC=0.70. Considering the absolute average of the pupil diameter feature would

then also demonstrate that the measure remained quite consistent among both rounds as

well as in Experimental Activity 2. In the previous study the absolute average correlation

across all subjects was CC=0.60, although looking at the individual results there were only

two  subjects  that  showed  no  correlation  with  the  task  level.  For  Round  1  and  2  of  this

activity,  the  average  correlation  was  around  CC=0.50  although  looking  at  the  standard

deviation it was clear that the measure was highly sensitive for some subjects while a few

did not show much correlation between the pupil diameter and the task level.

As  for  proportional  dwell  time,  this  measure  consistently  showed  a  moderate  level

correlation for all the sessions of around CC = ‐0.50. This moderate correlation indicated

that  this  feature  was  only  somewhat  sensitive  to  the  changes  in  MWL.  The  CI  measure

showed a very good correlation during the study in Chapter 5. For this study the result across

all subjects showed a somewhat reduced correlation, of around CC=0.60. This however, still

indicated  a  good  correlation  with  the  task  level  and  remained  a  measure  for  this  task

scenario that was sensitive to changes in MWL.

Looking at the CC results for the EEG model, this measure showed a good correlation with

the task level in the results from the experimental activity in Chapter 5 and Round 1 of this

experimental activity. However, this was expected as the model used was calibrated using

the task level for tuning the model. For Round 2 however, the calibrated EEG model was

tested  with  real‐time  data  and  gave  a  more  objective  determination  of  the  EEG  models

236 Chapter 6. Experimental Activity 3

performance. Across all the subjects the model gave a CC = 0.54, nonetheless, there was a

relatively high standard deviation of ±0.24, indicating that the model performed well for

some  subjects  and  less  so  for  others.  The  efficacy  of  the  EEG  model  will  be  discussed  in

further detail in the later paragraphs.

Lastly,  the  correlation  across  all  subjects  for  the  ANFIS  model  3  was  included  in  the

correlation  between  all  features  in  Round  2  and  served  as  a  comparison  with  the  other

individual features. This was included as this was the best performing ANFIS model across

all twelve subjects and showed that the model performed well with a CC=0.71. Moreover,

the pairwise correlation between the ANFIS models and the other features further provided

some interesting insights as it showed what features it correlated strongest with. This could

serve  as  an  additional  insight  into  what  features  the  ANFIS  model  emphasised  in  the

calibration and the resulting online validation which could help explainability of the model.

For example, on average ANFIS model 3 showed a very good correlation with BPM, which

was higher than between the task level and BPM. Thus, indicating that the ANFIS model

emphasises BPM in the calibration and resulting online validation. Similarly, to what was

detailed in the discussion in Chapter 5, these results are in line with previous studies and as

there were no major deviations in the results compared to Chapter 5.

6.8.2.2. Discussion of the EEG model and ANFIS models

The results from the ANFIS models were presented for Round 1 and Round 2. To assess the

error  the  MAE  was  solely  used  for  this  analysis.  This  was  done  as  the  nMAE,  as  used  in

Experimental  Activity  2,  was  used  to  provide  a  more  intuitive  comparison  for  the  many

models assessed in that activity.

Discussion of cross‐session inference during Round 1

As  mentioned  above  ANFIS  models  1  to  5  were  implemented  to  perform  cross‐session

inference  for  the  participants  that  participated  in  the  previous  experimental  activity  in

Chapter  5.  Due  to  the  networking  constraints  the  features  used  in  the  combination  only

contained the eye and CI features. All these models performed well, with ANFIS model 2

performing the best with a MAE = 0.63 ±0.23. This included only using the SPE and CI in the

feature  combination.  This  was  as  expected  as  these  two  features  were  the  ones  that

237 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

correlated  strongest  with  the  task  level  in  the  previous  activity.  This  further  assisted  in

explaining how highly correlated features contributed to the inference of MWL when using

an ANFIS model. Nonetheless, the other ANFIS models still performed well with a MAE at

around  the  0.70  mark.  Comparing  these  results  with  the  offline  validation  performed  in

Chapter  5  showed  that  on  average  the  online  validation  of  the  ANFIS  models  1  to  5

performed  twice  as  poor  as  the  offline  validated  results.  The  offline  validation  from

calibrating and validating the model on separate half of the data gave an average MAE of a

bit higher than 0.30 for most of the cases. This increase was as expected as many variables

can affect the performance of the model between sessions. Nonetheless, although the error

was somewhat higher the online validation demonstrated good results as it was still able to

correctly infer the MWL given the eye activity and CI features. This demonstrated that using

those features and respective inference models can be used for cross‐session inference of

MWL.

Discussion of the EEG models result during Round 2

For the model’s performance in Round 2 both an online validation of the EEG model and the

multimodal ANFIS models was performed. In terms of the EEG model, the results showed to

be  a  bit  variable.  Looking  at  the  results  from  the  five‐fold  validation  during  the  offline

calibration showed a pretty consistent result where the MAE on average was around 0.50.

Nonetheless,  for  the  online  validation  the  EEG  model  performed  somewhat  different  to

what  was  anticipated.  Here  the  MAE  across  all  participants  was  3.04  with  a  standard

deviation  of  ±2.47,  however  adjusting  for  the  arbitrary  offset  of  the  output  of  the  EEG

models gave an improved MAE of 1.06 ±0.31. Although this was a notably improved result,

the error was still a bit high and does not solely solve the issue. Moreover, looking at the

normalised CC result gave an average of 0.54 ±0.24. The large standard deviation indicated

that the CC was poor for a number of subjects, which was reflected when looking at the

individual results. If excluding the results from the three participants that showed no or poor

correlation with the task level would then give a good result with a CC = 0.66. This could

assist in demonstrating the efficacy of the model, as the profile of the EEG model’s output

was present for most of the subjects. However, the discrepancy with the offset meant that

the EEG model did not demonstrate an accurate and reliability inference of MWL as needed

for  a  sensing  and  estimation  module  of  a  CHMS.  Nonetheless  the  EEG  model  did

238 Chapter 6. Experimental Activity 3

demonstrate to correlate with the task level, thus showing that the model had elements of

inferring MWL during a MATB task scenario.

On  way  of  handling  the  offset  with  the  EEG  model  before  commencing  with  the  online

validation  would  be  to  implement  a  form  of  online  calibration.  This  could  for  example

include implementing the same method that was used for accounting for the offset in post

processing and would be done by taking the average during the pre‐resting phase and then

account for this offset before commencing with the MATB task scenario. This would then

provide the same result as what was shown in the middle figures in Figure 6.11 to 6.14, and

thus enable the ANFIS model to accurately infer MWL. Another experiment would have to

be performed to test this, but this could not be performed due to the limit of scope for this

research project.

Discussion of the ANFIS models results during Round 2

Regarding the ANFIS models output in Round 2, the discrepancy with the EEG model had

some follow‐on effects. Similarly to the cross‐session inference models used in Round 1, the

within‐session ANFIS models 1‐5 performed quite well in the online validation for Round 2.

The ANFIS models 6‐9 did however not perform as well due to the discrepancies with the

EEG results. This was similarly seen for the customised ANFIS models 10‐11 performed on

only the participants that had completed the experimental activity in Chapter 5. Comparing

the performance of the online validation of ANFIS models 1‐5 from Round 1 and Round 2,

showed  that  in  both  rounds  the  models  performed  quite  similar  with  a  MAE  across  all

subjects at around the 0.70 mark. Although, the within‐session models did across all the

models  perform  slightly  better.  This  demonstrated  the  repeatability  and  consistency  of

these ANFIS models and its ability to reliably infer MWL on online data using only eye activity

features (as in the case for ANFIS 5) and a combination of eye activity and CI features (ANFIS

1‐4).

The discrepancies with the EEG model were undesirably reflected in the ANFIS models 6‐11

where the EEG models input would skew the output of the ANFIS models in line with the

offset. As such the error from these ANFIS models would be quite high. Nonetheless, the

efficacy  of  these  models  could  be  observed  by  analysing  the  correlation  between  the

normalised task level and the respective ANFIS model. Here the pairwise correlation across

239 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

all participants ranged from 0.61 to 0.77, hence indicating a strong and high‐level correlation

for many of the models. This also demonstrated a correlation result with the task level that

was similar with ANFIS models 1‐5. In fact, ANFIS model 11 showed the highest pairwise

correlation with the task level among all the models tested, although this was the model

that used the subject specific feature combination only calibrated on the five participants

that completed the previous experimental activity. When looking at the participant were

the EEG model did indeed perform as expected, the results were quite good with an error

that was low. This was for example seen for participant 7, where the error for the ANFIS

models that contained the EEG feature would be similar to ANFIS model 1‐5, that did not

include the EEG feature.

ANFIS  models  10  and  11  were  calibrated  using  a  subject  specific  feature  combination  as

determined from Experimental Activity 2. These models were tested on participants that

had completed the previous experiment, where out of the six applicable participants one

participant was not included as the feature combination had a wrong feature included. All

of  these  models  had  the  EEG  feature  included,  thus  for  most  of  the  participants  the

discrepancy with the feature would similarly result in a skewed output for these models.

Nonetheless, as outlined before the efficacy of the models could be assessed based on the

correlation between the normalised task level and ANFIS models output. The results from

ANFIS models 10 and 11 showed a high‐level correlation with a CC = 0.72 ±0.20 and CC =

0.77  ±0.06  across  all  subjects.  In  particular,  as  mentioned  above  ANFIS  11  showed  the

highest correlation with the task level across all the different models, hence indicating that

the subject specific feature combination demonstrated to perform the best among all the

models.  Nonetheless,  as  this  was  only  conducted  on  five  of  the  twelve  subjects  this  can

indicate that the results are not directly comparable with the other ANFIS models.

6.8.3. Discussion of contribution

Similar to what was discussed in Chapter 5, the use of adaptive NFS for multimodal fusion

has been conducted in a few previous studies [1‐5]. An online validation has however been

conducted for a limited number of studies [2, 5]. An ANFIS model was implemented in the

study  by  Lim  et  al.  [2],  but  as  discussed  in  Chapter  5  the  online  validation  showed  the

240 Chapter 6. Experimental Activity 3

resulting inference from the model to have a poor level correlation with the target value

and a relatively high RMSE, which could potentially be a result of overfitting. In the study by

Ting et al. [5], an extension of the work in Zhang et al. [4] was conducted to perform an

online inference of MWL using HRV, EEG measurement (similar to the one in Chapter 4) and

task performance measures during a simulated air cabin management scenario, and was

tested  for  real‐time  system  adaptation.  A  NFS  was  implemented,  although  a  GA  based

Mamdani fuzzy system was used to optimise the parameters, unlike this study that used an

ANFIS. The intervals for the physiological measure were quite long with 7.5 minute intervals,

although  the  task  performance  measure  was  taken  at  150  seconds  (and  moving  average

applied). Arguably, this interval can be considered quite high for the requirements of driving

system adaptation in a sensing and estimation module of an operational CHMS. As the study

focused on the real‐time system adaptation, this experimental activity thus deviates as the

study  by  Ting  et  al.  did  not  include  a  detailed  analysis  of  the  online  performance  of  the

inference model implemented. Nonetheless, based on that study the results showed that

the  use  of  physiological  and  performance  measures  enhanced  the  performance  of  the

system adaptation over using system adaptation that was solely based on the system error

for driving adaptation.

Additional studies have also used other methods for multimodal fusion when inferring MWL

in real‐time [6‐9]. Particularly in the study by Wilson and Russell [8], an ANN was used to

fuse  data  from  an  EEG  (band‐power  from  delta,  theta,  alpha,  beta  and  gamma  from  six

electrodes), EOG (blinks and interblink intervals) and cardiorespiratory (respiration, HR and

HRV) in a MATB task scenario using resting, low and high task load conditions. Here the ANN

would perform online classification on the respective task load at 5 second intervals and

demonstrated  a  classification  accuracy  of  84.3%.  However,  in  this  chapter  a  regression

approach is implemented with a continuous inference of MWL, that is arguably needed for

driving system adaptation in a CHMS system.

This  experimental  activity  differentiates  on  the  aforementioned  by  demonstrating  the

online  validation  of  an  inference  model  of  MWL  from  using  an  ANFIS  and  thoroughly

assessing  the  performance  of  various  models  tested  (ANFIS  models  1‐11),  as  well  as

assessing the individual features. The features combination implemented were moreover

different from the aforementioned studies, and a regression approach was implemented

241 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

contrarily to the study by Wilson and Russell [8]. Henceforth this experimental activity has

demonstrated the inference of MWL in real‐time with the fusion of multiple modalities with

an ANFIS to produce one accurate and repeatable measure of MWL at regular intervals. This

mainly included ANFIS model 1‐5, that additionally demonstrated the model’s capability for

cross‐session  inference  of  MWL.  However,  ANFIS  models  6‐9  included  the  EEG  models

feature  that  had  a  discrepancy  with  an  offset  that  equally  skewed  the  respective  ANFIS

models output. The efficacy of the EEG model and resulting ANFIS models outputs could be

seen with the normalised pairwise correlation with the task level. Lastly, the subject specific

feature  combinations  used  for  training  ANFIS  models  10‐11  (trained  on  five  participants

having completed Experimental Activity 2), equally showed a skewed output due to the EEG

result. Nonetheless, the results demonstrated a strong pairwise correlation with the task

level, with ANFIS model 11, showing the highest correlation among all the eleven tested

ANFIS models.

6.8.4. Discussion of multimodal inference of MWL for CHMS

The multimodal inference model of MWL is in this research project developed with the aim

of an accurate and repeatable sensing and estimation module as needed for a CHMS. For an

operational  CHMS  the  sensing  and  estimation  is  required  to  fulfil  some  top‐level

requirements as set in Chapter 3. As part of these requirements this experimental activity

has  demonstrated  to  fulfil  many  of  the  points  including  Requirements  A‐D,  which  in

summary  included  the  real‐time  inference  of  MWL  with  multimodal  data  fusion  that

demonstrated  reliable  inference  at  regular  intervals.  Moreover,  Requirement  L  was

achieved  with  enforcing  privacy  of  the  information  from  the  participants.  In  addition,

Requirements E‐H, J‐K and M were partially demonstrated, with Requirement E showing the

use  of  wearable  and  non‐wearable  sensors  that  were  mainly  not  intrusive  to  the  task.

Nonetheless,  for  the  EEG  it  was  reported  from  some  of  the  participants  that  after  an

extended period (i.e. 20‐30 minutes) the pressure exerted from the cap would result in some

discomfort.  Moreover,  as  the  EEG  is  prone  to  noise  from  movement  artifacts  the

participants were limited in their movement and the eye tracker had a certain field of view

large  movements. that  also  meant  the  subjects  were  somewhat  restricted  from

Nevertheless,  this  did  not  directly  result  in  being  intrusive  to  the  task  and/or  hinder  the

242 Chapter 6. Experimental Activity 3

operational  effectiveness  of  the  task.  As  for  Requirement  F,  for  some  of  the  models  the

results proved to be consistent and repeatable. However, as in the case for the EEG, there

was  an  offset  in  the  inference  of  MWL.  In  terms  of  Requirement  G,  there  were  some

elements that could withstand artifacts although the restriction in the scope of this research

would mean that a full artifact rejection method was not implemented. As for Requirement

H, this experimental activity demonstrated the ability to run multiple models in parallel, thus

catering for dynamically adjusting the model used for driving system adaptation in an event

that a sensor becomes unavailable for some unforeseen reason. Cross‐session inference was

demonstrated in this experimental activity as determined by Requirement J, although some

limit in data meant elements of this needs to be further investigated. Requirement K was

also  partially  fulfilled  by  demonstrating  a  calibration  and  online  validation  sessions  that

could be completed in one sitting, however this activity did not investigate the most optimal

calibration  procedure.  Lastly,  the  requirements  that  were  not  achieved  as  part  of  this

research included Requirements I and M‐N. This included not demonstrating explainability

to the participant about what features are contributing to the resulting inference in MWL,

not investigating other cognitive states that are sensitive to the task load (i.e. attention or

fatigue), and finally not demonstrating the models capability for cross‐task or cross‐level

inference of MWL.

Moreover, in terms of the sensing and estimation module being capable of driving system

adaptation  in  a  CHMS,  this  experimental  activity  showed  promise  regarding  dynamically

changing  between  the  pre‐defined  task  loads  within  the  respective  task  scenario

implemented.  However,  considerations  would  have  to  be  accounted  for  such  as  at  what

stage the changes in task load would be trigger. For example when the inference of MWL

spikes above a certain threshold, or if its triggered after an extended period of time at a

certain level of inference of MWL. More discussion on this was outlined in the following

studies,  where  elements  of  online  system  adaptation  were  explored  and  preliminary

experiments were implemented [2, 5]. This research project did however not include system

adaptation as part of the scope.

In terms of cross‐level ability (with many of the current methods) if not all the applicable

task  scenarios  are  considered  in  a  calibration  session  it  could  be  challenging  for  the

inference  model  to  be  able  to  infer  the  current  state  of  MWL  accurately,  as  needed  to

243 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

reliably  drive  system  adaptation  in  an  operational  scenario  (i.e.  ATM  or  Piloting)  that

implements  a  CHMS.  Moreover,  the  current  limitations  in  cross‐task  inference  [10‐12],

would similarly mean that if an unforeseen task is presented to the operator, e.g. during an

emergency, a model with limited cross‐task inference capabilities could make a fatal error

when attempting to alter the system state.

Moreover, some particular limitations in terms of the results from this experimental activity

include, as discussed in Chapter 5, that some of the features are task dependent (i.e. SPE).

This provides additional challenges when specifically implementing cross‐task inference of

MWL. This is the case as the features may not be suitable when a new task is presented.

However,  the  task  dependent  features  should  be  able  to cope  with  cross‐level  inference

considering  that  a  calibration  phase  appropriately  accommodates  for  this.  Some  studies

have nevertheless investigated elements of this with the use of EEG, with particularly the

studies by Radüntz and Radüntz et al. [13, 14]. These studies demonstrated offline validation

of the use of DFHM for feature extraction of theta and alpha from EEG data in combination

with a SVM classification algorithm that showed some promising indications of cross‐task

and  also  cross‐subject  classification  of  low,  medium  and  high  MWL.  In  another  study  by

Georgios  et  al.  [15],  a  feature  extracting  method  together  with  a  SVM  classifier  was

calibrated on EEG data by creating models that extracted features from data sets collected

from performing two different tasks. The resulting model calibrated on the data from both

tasks showed a good result with a classification accuracy of 87%. Lastly, in a study conducted

by Zhang et al. [16], the use of a Recurrent 3 Dimensional Convolutional Neural Network

was implemented for classifying between high and low with EEG data. The result showed a

promising  88.9%  classification  accuracy  for  the  cross‐task  classification.  Nonetheless,  in

reference  to  this  experimental  activity,  these  studies  use  classification  methods  that  are

arguably  not  quite  suited  for  the  purpose  of  a  CHMS.  In  addition,  the  two  latter  studies

implement quite simple task scenarios including an n‐back task and an arithmetic task.

Henceforth, these studies demonstrate the difficulty of producing a generalised model that

can  applied  between  different  tasks  scenarios.  However,  the  optimal  candidates  for  a

generalised  model  would  include  features  with  measures  from  physiological  activity  as

these are under involuntary control. In particular, measuring brain activity from metabolic

and electrical activity (i.e. EEG and fNIR), is a strong candidate as this is where the cognitive

244 Chapter 6. Experimental Activity 3

states originate from. This can be deduced as the behavioural eye activity features (i.e. SPE,

BPM,  proportional  dwell  time),  other  behavioural  measures  (i.e.  CI)  or  performance

measures (i.e. error rate) are task dependent and are thus inherently limited in their ability

for cross‐task inference. Moreover, physiological eye measures, such as pupil dilation, can

be  too  sensitive  to  light  illumination  if  the  environment  is  not  properly  contained  [17].

Henceforth, ambitious technologies such as the one proposed by Neuralink [18], may in fact

be what is required to achieve the accuracy and reliability needed for a fully operational

CHMS used for aerospace applications.

Henceforth, this experimental activity has demonstrated or partially demonstrated many of

the top‐level requirements of a sensing and estimation modules as needed for a CHMS. This

included  demonstrating  a  model  that  has  the  potential  for  driving  real‐time  system

adaptation for certain task scenarios. Nonetheless, certain major challenges still need to be

overcome for a CHMS to be applicable for many aerospace applications that require high

level of safety. This includes the lack of inference models of MWL to demonstrate cross‐task

inference, which is likely to occur if for example an unforeseen emergency in an operational

scenario  is  to  occur.  Generalised  models  would  need  to  be  further  research,  where

measurements  of  MWL  should  include  features  that  are  not  task  dependent.  Moreover,

sensors that are likely to produce cross‐task models would include sensors that measure the

metabolic and electrical activity of the brain including fNIR and EEG. As such future research

should investigate the viability of using sensor that can extract non task dependent features

that are capable of at a minimum performing cross‐level inference, and with the potential

for driving cross‐task inference of MWL as further needed for performing repeatable and

accurate real‐time system adaptation in an operational CHMS.

Conclusion

This  chapter  has  included  an  online  validation  of  various  ANFIS  models.  As  outlined  in

Section 5.5.4.1, the model implemented has included an ANFIS that used FCM as the initial

clustering algorithm. Once the initial clustering of the FIS was generated, further tuning was

performed where backpropagation was used to tune the input membership functions, while

least  squares  estimation  was  used  to  tune  the  output  membership  functions.  From  the

245 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

analysis  conducted  in  the  previous  Experimental  Activity  2  (Chapter  5),  11  ANFIS  models

were selected for further online validation. The test was conducted over two rounds, where

Round 1 included data collection as well as online cross‐session validation, while Round 2

included  the  online  validation  of  all  the  ANFIS  models.  This  was  performed  on  twelve

participants where six had completed Experimental Activity 2 and where thus eligible for

cross‐session validation and the testing of ANFIS models 10 and 11. In comparison with the

previous  experimental  activity,  most  of  the  features  showed  to  be  quite  consistent  as

demonstrated with the pairwise correlation. However, the most notable difference was the

BPM feature that showed the lowest correlation in the previous activity but demonstrated

a high‐level correlation in both rounds of Experimental Activity 3.

As  for  the  results  from  the  online  validation  of the  multimodal  ANFIS  models,  the  cross‐

session validation of ANFIS models 1‐5 showed a good result for all the models, with a MAE

of around 0.7, with the best one including ANFIS model 2 that achieved a MAE = 0.63. The

results proved to be somewhat more variable for the online validation of the ANFIS models

performed in Round 2. The ANFIS models 1‐5 demonstrated to perform equally well across

all subjects in Round 2 with ANFIS model 3 demonstrating a MAE = 0.67 and CC = 0.71.  For

ANFIS models 6‐11 however, these models included the EEG models output that showed a

discrepancy with an offset. This equally resulted in an offset in the final online inference of

the ANFIS models thus resulting in a large error. Nonetheless, the efficacy of the EEG model

and the resulting ANFIS models was seen with the normalised pairwise correlation between

the outputs and the task level. For ANFIS model 6‐9, the results showed a good pairwise

correlation in the range of 0.61 to 0.69, while ANFIS model 11 that implemented the subject

specific feature combination showed a CC = 0.77, which was the best results among all the

models  tested.  These  results  demonstrate  that  the  inference  of  MWL  can  be  reliably

estimated in real‐time using eye and control input features and could give a repeatable and

accurate measure of MWL.

246 Chapter 6. Experimental Activity 3

References

[1]

J.  Zhang  and  R.  Wang,  "Adaptive  Fuzzy  Modeling  Based  Assessment  of  Operator  Functional  State  in  Complex  Human–Machine  Systems,"  in  Complex  Systems,  G.  M.  Dimirovski,  Ed.  (Studies  in  Systems,  Decision and Control, no. 55)  Switzerland: Springer International Publishing, 2016, pp. 189‐210.

[2]

Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol.  10, p. 12, January 2021.

[3]  R. Wang, J. Zhang, Y. Zhang, and X. Wang, "Assessment of human operator functional state using a novel  differential  evolution  optimization  based  adaptive  fuzzy  model,"  Biomedical  Signal  Processing  and  Control, vol. 7, no. 5, pp. 490‐498, September 2012.

[4]

J.‐H. Zhang, X.‐Y. Wang, M. Mahfouf, and D. A. Linkens, "Fuzzy Logic based Identification of Operator  Functional States Using Multiple Physiological and Performance Measures," in International Conference  on BioMedical Engineering and Informatics, Sanya, 2008, pp. 570‐574.

[5]  C.‐H. Ting et al., "Real‐Time Adaptive Automation System Based on Identification of Operator Functional  State in Simulated Process Control Operations," IEEE Transactions on Systems, Man, and Cybernetics,  vol. 40, no. 2, pp. 251‐262, March 2010.

[6]

J. Cannon, P. A. Krokhmal, R. Lenth, and R. Murphey, "An algorithm for online detection of temporal  changes in operator cognitive state using real‐time psychophysiological data," Biomed. Signal Process.  Control, vol. 5, pp. 229‐236, 2010.

[7]

K.  Durkee,  A.  Hiriyanna,  S.  Pappada,  J.  Feeney,  and  S.  Galster,  "Multi‐model  Approach  to  Human  Functional State Estimation," Springer International Publishing, 2016, pp. 188‐197.

[8]  G. F. Wilson and C. A. Russell, "Real‐Time Assessment of Mental Workload Using Psychophysiological

Measures and Artificial Neural Networks," Human Factors, vol. 45, no. 4, pp. 635‐643, 2003.

[9]

P.  Arico  et  al.,  "Towards  a  multimodal  bioelectrical  framework  for  the  online  mental  workload  evaluation," 2014.

[10]  C. L. Baldwin and B. N. Penaranda, "Adaptive training using an artificial neural network and EEG metrics  for within‐and cross‐task workload classification," NeuroImage, vol. 59, no. 1, pp. 48‐56, January 2012.

[11]  G.  Zhao,  Y.‐J.  Liu,  and  Y.  Shi,  "Real‐Time  Assessment  of  the  Cross‐Task  Mental  Workload  Using  Physiological Measures During Anomaly Detection," IEEE Transactions on Human‐Machine Systems, vol.  48, no. 2, pp. 149‐160, April 2018.

[12]  Y.  Ke  et  al.,  "Towards  an  effective  cross‐task  mental  workload  recognition  model  using  electroencephalography  based  on  feature  selection  and  support  vector  machine  regression,"  International Journal of Psychophysiology, vol. 98, no. 2, pp. 157‐166, October 2015.

[13]  T. Radüntz, "Dual Frequency Head Maps: A New Method for Indexing Mental Workload Continuously

during Execution of Cognitive Tasks," Frontiers in Physiology, vol. 8, p. 1019, December 2017.

[14]  T. Radüntz, N. Fürstenau, T. Mühlhausen, and B. Meffert, "Indexing Mental Workload During Simulated  Air Traffic Control Tasks by Means of Dual Frequency Head Maps," Frontiers in Physiology, vol. 11, p. 300,  April 2020.

[15]  G. N. Dimitrakopoulos, Y. Sun, K. Ardian, N. V. Thakor, and A. Bezerianos, "A method for cross‐task mental  workload classification based on brain connectivity," Frontiers in Human Neuroscience, vol. 10, pp. 1940‐ 1949, November 2017.

[16] P.  Zhang,  X.  Wang,  W.  Zhang,  and  J.  Chen,  "Learning  Spatial–Spectral–Temporal  EEG  Features  With Recurrent  3D  Convolutional  Neural  Networks  for  Cross‐Task  Mental  Workload  Assessment,"  IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 27, no. 1, pp. 31‐42, January 2019.

[17] F.  Chen  et  al.,  Robust  Multimodal  Cognitive  Load  Measurement,  Cham,  SWITZERLAND:  Springer

International Publishing AG, 2016.

[18] E.  Musk,  "An  integrated  brain‐machine  interface  platform  with  thousands  of  channels,"  bioRxiv,  p.

703801, 2019.

Multimodal Data Fusion for Cyber‐Physical‐Human Systems 247

Chapter 6. Experimental Activity 3 248

This page is intentionally left blank to support presswork

Chapter 7

Synthesis, Conclusion and Recommendations

Introduction

This chapter provides a synthesis of the discussions detailed in Chapters 4, 5 and 6. Following

this  a  conclusion  for  this  research  will  be  conducted,  that  will  also  include  outlining  the

objectives achieved as part of this research. Lastly, recommendations for future research

are provided.

Synthesis of experimental findings

As outlined in Chapter 4, 5 and 6 the activities conducted as part of this research consisted

of three separate experimental activities (Experimental Activity 1, 2 and 3). To concisely link

them all together the following synthesis of the respective discussions was developed.

As  outlined  in  Chapter  4,  Experimental  Activity  1  served  as  an  exploratory  experimental

activity  for  investigating  an  EEG  index  and  the  data  fusion  with  the  SPE,  collected  from

participants  performing  a  complex  OTM  UAV  wildfire  detection  scenario.  The  measures

were based on previously proven measures of MWL but were applied in a complex OTM

UAV scenario. This exploratory study was a collaborative work with a further contribution

249

250 Chapter 7. Synthesis, Conclusion and Recommendations

by  demonstrating  the  capabilities  of  an  improved  EEG  index  and  the  effects  of  a

straightforward multimodal data fusion method. This was done with an EEG index based on

band‐power in the theta and alpha bands at the frontal and occipital regions that showed a

good correlation with the performance index, while the fusion of the EEG index with the SPE

showed the highest correlation CC = 0.73 ±0.14 with the task index. As such Experimental

Activity  1  demonstrated  an  exploratory  study  that  verified  a  multimodal  data  fusion

approach,  which  could  assist  towards  improving  the  reliability  of  MWL  measurements.

Nevertheless,  some  drawbacks  highlighted  as  part  of  this  activity  included  that  the  EEG

index had some limitations in terms of further implementation. This included that the design

was based on a straightforward BCI design, with limited number of data channels and did

not  account  for  optimising  the  frequency  bands  for  the  specific  subject.  This  could  then

result in loss of some vital information and the design was henceforth not further pursued

in the following experimental activities. Additionally, the fusion strategy implemented in this

exploratory activity was not optimal and also lacks in providing a model that could provide

an inference of MWL as needed for a CHMS.

As outlined in Chapter 5, Experimental Activity 2, expanded on the preceding activity with

the  implementation  of  more  complex  features  and  higher  number  of  features  being

extracted.  This  included  the  extraction  of  four  eye  activity  features,  one  feature  from  a

complex  EEG  model,  one  cardiac  feature  and  one  control  input  feature.  The  respective

features  of  MWL  were  thoroughly  analysed  with  a  similar  process  as  in  the  previous

Experimental Activity 1 by using the pairwise correlation between the respective features

and  the  pre‐determined  task  level.  This  analysis  was  carried  out  to  assess  what  features

were suitable for creating various generic feature combinations as well as determining a

subject specific feature combination that was used to test a number of ANFIS models (used

for  inferring  MWL).  The  results  from  analysing  the  pairwise  correlation  between  the

respective features and task level showed that BPM, SPE, pupil diameter, proportional dwell

time, the EEG models output and CI were consistent with previous studies, where they have

shown to be sensitive to changes in MWL. High‐level correlations included SPE, CI and the

EEG  model,  while  moderate  level  correlations  included  BPM,  pupil  diameter  and

proportional dwell time. Nonetheless, the individual results revealed that the latter features

would be highly sensitive for some subjects and less so for others. However, the cardiac HR

251 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

feature  only  showed  a  poor  correlation  with  the  task  level,  which  was  in  line  with  the

literature as it has shown inconsistent results for this measure.

The results from calibrating and validating the multimodal ANFIS model showed that among

the generic feature combination that were tested, the ones that performed the best were

ANFIS models that contained two or more features that correlated strongly with the task

level. This generally included the use of the EEG, SPE and/or CI in the feature combination

and showed results from the MAE ranging between 0.30 to 0.36. Using a subject specific

feature  combination,  as  determined  by  the  preceding  pairwise  correlation  analysis,

demonstrated that the ANFIS model that used the subject specific feature combination with

CI and selecting the best performing models for the respective subjects gave an average

MAE  =  0.28.  This  was  the  best  result  across  all  the  multimodal  ANFIS  models  tested,

including  the  models  that  used  a  generic  and  subject  specific  feature  combination.

Nonetheless, the results from using all the seven features in the combination showed a MAE

= 0.36. This was a result that could be considered quite close and comparable with the best

performing model as the error was not that much higher. Although, the feature combination

that contained all seven features also included the features that were not well correlated

with  the  task  level,  the  fact  that  the  combination  contained  two  or  more  features  that

showed  a  high‐level  correlation  with  the  task  level  would  mean  that  the  other  non‐

contributing features were not as detrimental to the final results. Henceforth, this meant

that the slight decrease in performance was not detrimental to the accuracy in inference of

MWL,  and  the  model  containing  as  many  features  as  possible  could  be  considered

preferable  as  it  would  increase  the  reliability  of  the  model  in  the  case  that  a  sensor

unexpectedly becomes unavailable.

Lastly,  as  outlined  in  Chapter  6,  Experimental  Activity  3  was  conducted  and  included  an

online validation of various ANFIS models. Based on the analysis conducted in the previous

activity,  11  ANFIS  models  were  selected  for  further  online  validation.  The  test  was

conducted over two rounds (Round 1 included data collection as well as online cross‐session

validation and Round 2 included online validation) and twelve participants completed the

experiment where six had completed Experimental Activity 2. Similarly to the two previous

activities, the pairwise correlation with the target value (i.e. task level for this activity) was

conducted  for  all  the  respective  features  used  in  Experimental  Activity  2  (although  not

252 Chapter 7. Synthesis, Conclusion and Recommendations

including HR). The results from this analysis demonstrated that the features that showed a

high‐level  correlation  included  SPE  ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) 0.73,  (cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) 0.67),  BPM  ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) (cid:3398)0.72,

(cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) (cid:3398)0.70), while the EEG demonstrated a high‐level correlation for Round 1 and a

moderate  level  correlation  for  Round  2  ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) 0.82,  (cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) 0.54).  The  features  that

demonstrated a moderate level correlation for both rounds included the CI ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) 0.66,

(cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) 0.58),  proportional  dwell  time  ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) (cid:3398)0.39,  (cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) (cid:3398)0.53)  and  pupil

diameter  ((cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2869) (cid:3404) 0.50,  (cid:1829)(cid:1829)(cid:3045)(cid:3031)(cid:2870) (cid:3404) 0.54).  In  comparison  with  the  previous  experimental

activity, most of the features were quite consistent, while the most notable difference was

the BPM measure, where this demonstrated the lowest correlation in the previous activity

(Experimental Activity 2) but showed a high‐level correlation in both rounds in Experimental

Activity 3. Most of the respective features, apart from CI, demonstrated in both rounds an

average  correlation  with  the  task  level  that  was  consistent  with  previous  findings  in  the

literature.

As for the results from the online validation of the ANFIS models, this experimental activity

tested a few aspects including the cross‐session capability of ANFIS models 1‐5 during Round

1 (tested on six participants), within‐session inference for all ANFIS models 6‐9 in Round 2

(tested on all the participants), as well as testing ANFIS models 10‐11, that were calibrated

using  a  subject  specific  feature  combination  for  five  of  the  subjects  that  completed

Experimental Activity 2. Starting with the cross‐session validation of ANFIS models 1‐5, these

models showed good results, with a MAE of around 0.7, were the best performing model

(ANFIS model 2) achieved a MAE = 0.63. This was on average twice as poor as the offline

validation  results  as  presented  in  Experimental  Activity  2,  but  still  demonstrated  a  good

ability for the online inference of MWL using a cross‐session model that incorporates eye

activity and CI features.

The  results  proved  to  be  somewhat  more  variable  for  the  online  validation  of  the  ANFIS

models  performed  in  Round  2.  This  was  mainly  a  result  of  a  discrepancy  with  the  EEG

model’s online output that showed an arbitrary offset. This discrepancy resulted in an error

across all subject with an average MAE = 3.04. However, adjusting for the offset gave a MAE

= 1.06, but this alone did not fully resolve the issue. Furthermore, looking at the pairwise

correlation showed an average CC = 0.54, but excluding three of the subjects that showed

poor or no correlation with the task level gave an average pairwise correlation of CC = 0.66,

253 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

which  was  quite  strong.  Henceforth,  for  ANFIS  models  1‐5,  that  did  not  include  the  EEG

feature,  the  results  remained  quite  good  and  performed  equally  well,  with  a  slightly

improved  result  compared  to  the  cross‐session  validated  ANFIS  models  1‐5.  This  then

demonstrated  the  accuracy  and  repeatability  of  the  ANFIS  models  that  contained  eye

activity features and a CI feature. Among these models, ANFIS model 3 was included in the

pairwise  correlation  across  all  the  features  as  this  had  the  highest  correlation  (CC=0.71).

Moreover, this also highlighted which of the features correlated the strongest with ANFIS

model 3, and demonstrated a very high correlation with BPM, which was in fact higher than

between the correlation of the task level and BPM. This thus indicated that the ANFIS model

emphasised  the  BPM  feature  in  the  calibration  and  the  resulting  online  validation,

henceforth  contributing  to  the  explainability  of  the  model.  As  for  the  ANFIS  models  6‐9,

these models showed a high error (a MAE between 1.17 to 1.59) with the task level as a

result of the discrepancy with the EEG models output. However, looking at the normalised

pairwise  correlation  between  the  respective  ANFIS  models  and  the  task  level  showed  a

strong average correlation result that ranged from 0.61 to 0.69. Lastly, as for ANFIS models

10‐11 that were calibrated on the subject specific feature combination for five of the six

subjects that completed the Experimental Activity 2, demonstrated similar results to ANFIS

models  6‐9  as  these  models  also  contained  the  EEG  models  output.  Nevertheless,  the

pairwise correlation equally showed a strong correlation with the task level, where in fact

ANFIS model 11 achieved a CC = 0.77 across all the respective subjects and was the highest

among all the models tested. However, these results were tested on five out of the twelve

subjects  hence  the  results  were  not  directly  comparable.  When  further  investigating  the

results from the participants that did produce a result from the EEG model as expected, the

results were in fact quite strong with a low error. As for example seen for participant 7, all

the ANFIS models for that subject produced comparably good results.

The different experimental activities were conducted as part of this research for the purpose

of  verifying  the  multimodal  sensing  and  estimation  module  as  needed  for  a  CHMS.  The

online inference of MWL using multimodal data fusion was demonstrated to be a promising

method for implementing it for dynamically changing between pre‐defined task loads within

a respective task scenario. In particular, the thorough assessment of the individual features

allowed  to  optimise  the  performance  of  the  multimodal  fusion  model.  However,  the

254 Chapter 7. Synthesis, Conclusion and Recommendations

implementation of non‐contributing features was not detrimental to the performance of

the ANFIS model when using it for multimodal fusion, as the use of multiple features can

prove vital in the reliability of the inference of MWL.

Conclusion

With increasingly higher levels of automation in aerospace CPS it is imperative that human

operators  maintain  the  required  level  of  SA  in  order  to  contribute  effectively  to  both

strategic  and  tactical  decision‐making  processes.  To  ensure  that  the  performance  of  the

system and the MWL of the human operator are maintained at an acceptable level, one

possible approach is to introduce real‐time adaptation in HMI2. Current aerospace systems

and interfaces are limited in adaptability where the authority for reconfiguration and task

allocation  in  current  HMI2  is  manually  controlled  by  the  human  operator.  Henceforth,  a

CHMS addresses these issues with  a  cyber‐physical human design that provides dynamic

real‐time  system  adaptation.  Nevertheless,  to  reliably  drive  adaptation  of  aerospace

decision support systems there is a need to accurately and repeatably estimate cognitive

states, in particular MWL, in real‐time. Henceforth this research has studied methods for

sensing  physiological  and  behavioural  responses  associated  with  MWL  and  used  the

corresponding features to provide a multimodal inference of MWL. Previous work related

to the measurement of MWL has demonstrated the capability of supervised ML models to

improve  the  estimation  of  MWL.  Nevertheless,  classification  models  using  multiple

modalities have generally been implemented with discrete classification (i.e.  resting, low

and high), and where the analysis has been conducted using offline calibration and offline

validation.  The  use  of  ML  models  that  employ  a  continuous  regression  approach  for  the

multimodal inference of MWL is less implemented. While some previous work has included

the use of a NFS to fuse the data from multiple modalities, the accurate online performance

of an ANFIS model for the multimodal inference of MWL has not previously been reported.

This includes the thorough investigation of the performance of the model from an online

validation,  with  an  analysis  of  the  performance  of  the  model  based  on  using  different

feature combinations.

255 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

The work conducted as part of this research included an exploratory experimental activity

(Experimental Activity 1) that implemented and analysed an EEG index during a OTM UAV

wildfire  detection  scenario.  The  index  included  previously  proven  features  of  MWL,

including the changes in the theta and alpha band, and showed to be sensitive to changes

in MWL in the complex task scenario. Moreover, a straightforward data fusion approach

showed  that  fusing  the  EEG  index  and  scan  pattern  entropy  features  gave  the  highest

correlation with the secondary task performance measure (CC = 0.73 ± 0.14).

The following more comprehensive Experimental Activities 2 and 3 conducted as part of this

research  consisted  of  the  development  and  offline/  online  validation  of  a  multimodal

inference model of MWL that was experimentally tested during a MATB scenario. While the

terms offline validation and online validation were adopted in this thesis, the terms were

used to reflect the language used in the literature and to convey that the models were tested

with  “unseen”  data  in  offline  and  online  processing.  Nonetheless,  these  experimental

activities were exploratory studies into the development of a multimodal inference model

of  MWL.  These  experimental  activities  involved  a  rigorous  analysis  of  subject  specific

inference models and included using a subject specific EEG model and an ANFIS model for

fusing  the  multimodal  physiological  and  behavioural  features.  The  multimodal  inference

model implemented in Experimental activity 2 and 3 included an ANFIS that used FCM as an

initial clustering method. Once the initial clustering was generated, a further tuning process

was performed that used backpropagation to tune the input membership function and least

squares estimation to tune the output membership functions (see Section 5.5.4.1 for further

detail). The results from the offline calibration and validation (Experimental Activity 2), of

the several multimodal inference models of MWL, demonstrated that the average from the

best performing subject specific feature combinations gave the lowest error with the task

level with a MAE = 0.28. Nonetheless, the results from using all the seven features in the

combination  showed  a  MAE  =  0.36.  While  the  former  demonstrated a  smaller error,  the

latter showed quite a comparable result, hence demonstrating that the use of the  other

non‐contributing features was not as detrimental to the ANFIS when performing multimodal

inference of MWL.

The final Experimental Activity 3 included the online validation of 11 selected ANFIS models

as  determined  in  the  previous  activity.  In  addition  to  this  the  online  validation  of  ANFIS

256 Chapter 7. Synthesis, Conclusion and Recommendations

models  1‐5  (containing  different  feature  combinations  of  eye  activity  and  control  input

features)  where  tested  for  cross‐session  inference  of  MWL  on  half  of  the  participants  in

Round 1, while ANFIS models 10‐11 used a subject specific feature combination and were

tested  on  half  of  the  participants  in  Round  2.  As  in  the  previous  case  the  features  were

thoroughly assessed using the pairwise correlation with the task level. The average showed

in both Experimental Activities 2 and 3 to be consistent with the results in previous studies.

The results from the online cross‐session validation of ANFIS models 1‐5 in Round 1 showed

that all models performed well, with ANFIS model 2 showing the lowest error with a MAE =

0.63. The ANFIS models 1‐5 performed equally well across all subjects in Round 2 with ANFIS

model 3 showing a MAE = 0.67 and CC = 0.71. The ANFIS models 6‐11 (performed in Round

2) included the measure from the EEG model that showed a discrepancy with an offset. This

equally resulted in an offset in the final online inference of the ANFIS models thus resulting

in a large error. Nonetheless, the efficacy of the EEG model and resulting ANFIS models could

be seen with the normalised pairwise correlation between the outputs and the task level.

For ANFIS models 6‐9, the results showed a good pairwise correlation in the range of 0.61

to 0.69, while ANFIS model 11 that implemented the subject specific feature combination

showed a CC = 0.77, which was the best result among all the models tested.

Henceforth these results demonstrated the ability for multimodal data fusion from features

extracted from EEG, eye activity and control inputs to produce an accurate and repeatable

inference of MWL. In particular this included ANFIS model 1‐5, that showed to consistently

produce  a  repeatable  inference  of  MWL  during  within‐  and  cross‐session  validation.  The

investigation  of  multimodal  fusion  for  MWL  inference  has  assisted  in  corroborating  the

viability of real‐time system adaptation in future aerospace CPHS architectures.

7.3.1. Objectives achieved

The  aim  of  this  research  was  the  development  of  an  accurate  and  repeatable  inference

model for MWL estimation as needed for a CHMS. In working towards this the following

objectives were achieved.

OBJ. 1. A comprehensive literature review on MWL measurements, EEG, ECG, eye

activity tracking, control inputs, human factors, adaptive automation, closed

257 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

loop system adaptation, passive BCI, HMI2, CNS+A, multimodal data fusion,

machine learning and ANFIS:

The real‐time inference of MWL is a multidisciplinary field that requires the review

of many different areas. As such this research has completed a detailed review of

multiple  areas  ranging  from  the  theoretical  relation  between  various  cognitive

states,  to  the  technology  of  the  sensors  performing  the  physiological  and

behavioural  measurements  and  the  analysis  of  this  data  for  producing  a  final

multimodal inference of MWL. In addition to this a review was conducted on the

CHMS and the application of it for future aerospace operations.

OBJ. 2. Identify methods for multimodal data fusion and corresponding data labelling/

target value strategies:

As part of the review this objective was more specifically emphasised. This objective

was  achieved  with  a  detailed  overview  of  the  various  multimodal  data  fusion

techniques and an investigation of applicable labelling techniques as used for the

inference  model.  As  supervised  ML  techniques  were  implemented  a  labelling

strategy was identified and implemented.

OBJ. 3. Determine and experimentally verify physiological and behavioural

measurements associated with MWL:

Extensive reviews have identified that measures of MWL are not universally valid

for all task scenarios. Henceforth, this research has thoroughly analysed a number

of  different  physiological  and  behavioural  features  associated  with  MWL.  The

results  from  the  experimental  activities  has  verified  several  strong  correlations

between the respective measurements of MWL and other objective measures of

MWL  (i.e.  task  performance  or  task  analysis).  Most  of  the  experimentally  tested

measures of MWL have shown to be consistent with previously reported findings in

the literature.

OBJ. 4. Select and experimentally implement a subject specific machine learning

technique most suited for continuously inferring MWL at frequent intervals

based on multimodal data:

258 Chapter 7. Synthesis, Conclusion and Recommendations

To  achieve  a  repeatable  and  accurate  inference  of  MWL,  two  ML  models  were

selected and later implemented for experimental testing. This included the use of a

supervised  ML  models  for  the  EEG  data  as  well  as  an  ANFIS  for  fusing  the

multimodal  data.  The  results  from  the  ANFIS  model  demonstrated  an  accurate

inference  of  MWL  at  regular  1  second  intervals,  and  with  the  EEG  model

demonstrating an inference of MWL at 3 second intervals.

OBJ. 5. Perform a thorough analysis from offline calibration and validation of a

multimodal inference model of MWL and analyse performance from using

different generic and subject specific feature combinations:

As  completed  in  Experimental  Activity  2,  a  thorough  offline  calibration  and

validation was conducted using a multimodal ANFIS model that was calibrated using

a  number  of  feature  combinations,  including  a  generic  and  a  subject  specific

combination.

OBJ. 6. Perform online validation of the multimodal inference models of interest,

including online cross-session validation:

As  completed  in  Experimental  Activity  3,  an  online  validation  of  the  multimodal

inference model of MWL was performed and showed for some models to produce

accurate  and  repeatable  inference  of  MWL  based  on  real‐time  data.  An  online

cross‐session validation of five of the multimodal models demonstrated the ability

for cross‐session inference of MWL.

OBJ. 7. Analyse elements of explainability of the inference of MWL from the ML model

implemented:

As part of the pairwise correlation analysis with the respective features and the task

level,  the  multimodal  ANFIS  model  performed  well  in  line  with  the  preceding

correlation analysis. Moreover, an analysis conducted after the online validation of

the ANFIS models demonstrated which features correlated strongest with the real‐

time output, thus providing some level of explainability in terms of the features the

model emphasised in the final multimodal inference of MWL.

259 Multimodal Data Fusion for Cyber‐Physical‐Human Systems

OBJ. 8. Create and implement a protocol for rapid calibration of a multimodal inference

model:

For  an  operational  CHMS,  calibration  of  the  various  models  will  need  to  be

performed efficiently. As part of Experimental Activity 3, a rapid calibration protocol

was developed where the subject specific inference models could be calibrated and

then validated in real‐time during a single session.

Recommendations for future research

The  following  key  points  have  been  identified  as  recommendations  for  further  research

activities in the area of real‐time multimodal MWL estimation:

 A major challenge within this research area is achieving reliable cross‐task classification/

inference  from  a  calibrated  multimodal  model.  Hence  future  research  should  further

investigate the capability of calibrating a multimodal model on one task and validating

the multimodal model on another task. As part of future research, it would be viable to

take the multimodal model developed in Chapter 6 and assessing its ability to infer MWL

on another task;

 Building on the previous point, the ability for cross‐task inference is dependent on the

measurement to be task independent. Thus, future research should focus on studying

physiological and behavioural measure of MWL that are task independent. This includes

exploring  new/  other  task  independent  physiological  and  behavioural  measures  (i.e.

facial expression) for their sensitivity to changes in MWL, and their effect on performing

multimodal fusion;

 Having accurate and frequent labelled data is crucial when implementing supervised ML

techniques, however knowing the “ground truth” of the humans perceived MWL is one

of  the  major  challenges.  Henceforth,  an  area  for  further  research  would  be

implementing a different objective measure of MWL, such as task‐based measures or

reserving other well‐established physiological/ behavioural measures as data labels for

calibration  and  validation.  This  additionally  includes  implementing  a  more  objective

assessment of the model’s performance by using one measure for labelling the data and

another objective measure for validating the model’s performance;

260 Chapter 7. Synthesis, Conclusion and Recommendations

 Many of the ML models techniques lack in the explainability of the final estimation of

MWL. Future research should thus explore the explainability of inference models, such

that the operator’s cognitive state can be explained at important junctures in real‐time.

This includes studying how an operator can be prompted regarding a certain level of

inferred MWL whilst conducting a certain task;

 While the experimental activities implemented some limited artifact rejection, future

research  should  considerably  extend  the  reliability  and  maturity  of  real‐time  artifact

removal from the various sensors;

 While this research focused on the multimodal sensing and estimation of MWL, future

research should further study the implementation of this for driving real‐time system

adaptation in conventional and emerging aerospace concepts such as ATC, SPO or UTM.

This should include studying how the dynamic system adaptation affects the operation

of the system and should investigate if the trust of the operation is maintained.

Appendix A

Subject Specific Feature Combination

Table A.1 Subject specific feature combination with the Controller Input (CI) feature (see  Section 5.5.3.4) (not including features with pairwise correlation less than CC=0.45)

Subject

Best 2 features

Best 3 features Best 4 features

Best 5 features

Best 6 features

SPE, CI

EEG, CI, SPE

EEG, CI, SPE, DIA

EEG, CI, SPE, DIA, Dwell

N/A

1

DIA, EEG

DIA, EEG, SPE

DIA, EEG, SPE, CI

DIA, EEG, SPE, CI, HR

N/A

2

3

CI, SPE

CI, SPE, BPM

CI, EEG, SPE, BPM

CI, EEG, SPE, BPM, HR

4

SPE, CI

EEG, SPE, CI

EEG, SPE, CI, Dwell

EEG, SPE, CI, Dwell, Dia

CI,  EEG, SPE,  BPM,  HR,  DIA  N/A

5

SPE, CI

SPE, CI, Dia

SPE, CI, DIA, EEG

SPE, EEG, CI, DIA, Dwell

6

EEG, CI

EEG, CI, SPE

EEG, CI, SPE, DIA

EEG, CI, SPE, DIA, HR

EEG,  SPE,  DIA,  Dwell,  BPM  N/A

7

EEG, CI

EEG, CI, SPE

EEG, CI, SPE, BPM

N/A

N/A

8

SPE, DIA

SPE, DIA, CI

SPE, DIA, CI, EEG

SPE, DIA, CI, EEG, Dwell

9

CI, SPE

CI, SPE, EEG

CI, SPE, EEG, Dwell

CI, SPE, EEG, Dwell, DIA

SPE,  DIA,  click,  EEG,  Dwell, BPM  N/A

10

EEG, CI

EEG, CI, SPE

EEG, CI, SPE, DIA

EEG, CI, SPE, DIA, BPM

11

EEG, CI

EEG, CI, DIA

EEG, CI, DIA, BPM

EEG, CI, DIA, BPM, Dwell

12

CI, SPE

CI, SPE, Dia

CI, SPE, DIA, EEG

CI, EEG, SPE, DIA, BPM

13

SPE, CI

SPE, CI, EEG

SPE, CI, EEG, Dwell

N/A

EEG, CI, SPE, DIA, BPM,  Dwell  EEG,  CI,  DIA,  BPM,  Dwell, SPE  CI, EEG, SPE, DIA, BPM,  HR  N/A

14

EEG, CI

EEG, CI, SPE

EEG, CI, SPE, Dwell

EEG, CI, SPE, Dwell, DIA

N/A

15

SPE, CI

EEG, CI, SPE

EEG, CI, SPE, DIA

EEG, CI, SPE, DIA, BPM

16

CI, SPE

CI, SPE, BPM

CI, SPE, BPM, EEG

EEG, CI, SPE, BPM, DIA

17

CI, SPE

CI, SPE, DIA

CI, SPE, DIA, EEG

EEG, CI, SPE, DIA, BPM

EEG, CI, SPE, DIA, BPM,  Dwell  EEG, CI, SPE, BPM, DIA,  Dwell  EEG, CI, SPE, DIA, BPM,  Dwell

261

262

Table A.2 Subject specific feature combinations without the Controller Input (CI) feature (see  Section 5.5.3.4) (not including features with pairwise correlation less than CC=0.45)

Participant

Best 2 features Best 3 features

Best 4 features

Best 5 features

All 6 features

EEG, SPE

EEG, SPE, DIA

EEG, SPE, DIA, Dwell

N/A

N/A

1

EEG, DIA

EEG, DIA, SPE

EEG, DIA, SPE, HR

EEG, DIA, SPE, HR, dwell

N/A

2

SPE, BPM

EEG, SPE, BPM

EEG, SPE, BPM, HR

EEG, SPE, BPM, HR, DIA

3

EEG, SPE

EEG, SPE, Dwell

EEG, SPE, Dwell, DIA

N/A

EEG,  SPE,  BPM,  HR, DIA, Dwell  N/A

4

SPE, DIA

EEG, SPE, DIA

EEG, SPE, DIA, Dwell

EEG, SPE, DIA, Dwell, BPM  N/A

5

EEG, SPE

EEG, SPE, DIA

EEG, SPE, DIA, HR

N/A

N/A

6

EEG, SPE

EEG, SPE, BPM

N/A

N/A

N/A

7

SPE, DIA

SPE, DIA, EEG

SPE, DIA, EEG, Dwell

SPE, DIA, EEG, Dwell, BPM  N/A

8

EEG, SPE

EEG, SPE, Dwell

EEG, SPE, Dwell, DIA

N/A

N/A

9

EEG, SPE

EEG, SPE, DIA

EEG, SPE, DIA, BPM

EEG, SPE, DIA, BPM, Dwell  N/A

10

EEG, DIA

EEG, DIA, BPM

EEG, DIA, BPM, Dwell   EEG, DIA, BPM, Dwell, SPE  N/A

11

SPE, DIA

EEG, SPE, DIA

EEG, SPE, DIA, BPM

EEG, SPE, DIA, BPM, HR

N/A

12

EEG, SPE

EEG, SPE, Dwell  N/A

N/A

N/A

13

EEG, SPE

EEG, SPE, Dwell

EEG, SPE, Dwell, DIA

N/A

N/A

14

EEG, SPE

EEG, SPE, DIA

EEG, SPE, DIA, BPM

EEG, SPE, DIA, BPM, Dwell  N/A

15

SPE, BPM

EEG, SPE, BPM

EEG, SPE, BPM, DIA

EEG, SPE, BPM, DIA, Dwell  N/A

16

SPE, Dias

EEG, SPE, DIA

EEG, SPE, DIA, BPM

EEG, SPE, DIA, BPM, Dwell  N/A

17

263

Table A.3  Selection  of  best  performing  subject  specific  feature  combinations  (comb.)  for  ANFIS models 10 and 11 based on results from offline validation. (CI indicates the Controller  Input feature (see Section 5.5.3.4))

Subject

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16 17

Custom ANFIS 10 Best model - no CI Best 3 comb.  Best 3 comb.  Best 4 comb.  Best 2 comb.  Best 4 comb.  All 6 comb.  Best 2 comb.  Best 4 comb.  All 6 comb.  Best 4 comb.  Best 5 comb.  All 6 comb.  Best 2 comb.  Best 4 comb.  Best 2 comb.  Best 2 comb.  Best 3 comb.

Custom ANFIS 11 Best model - with CI Best 3 comb.  Best 3 comb.  Best 5 comb.  All 7 comb.  Best 3 comb.  Best 2 comb.  Best 3 comb.  Best 4 comb.  Best 2 comb.  Best 5 comb.  Best 2 comb.  Best 6 comb.  Best 2 comb.  Best 3 comb.  Best 2 comb.  Best 3 comb.  Best 2 comb.

Appendix B

Neuropype Pipeline Designer

Figure B.1. EEG pipeline implemented in Pipeline Designer for offline calibration and validation for Experimental Activity 2.

264

265

Figure B.2. EEG pipeline implemented in Pipeline Designer for offline calibration and online validation during Round 2 in Experimental Activity  3.

Appendix C

Results from Normality Test

The  following  are  the  results  from  testing  for  normality  for  the  outputs  from  the  ANFIS

models for both Experimental Activity 2 (Chapter 5) and Experimental Activity 3 (Chapter 6).

As evident in the respective tables below all results passed the normality test.

Table C.1. Testing for normality for all the outputs from the ANFIS models 1‐11 (validated

on first half of data (Section 5.7.4.2)) and respective subjects in Session 1. All outputs from

the multimodal ANFIS models passed the normality test. (E represents times ten raised to

the power).

266

267

Tabel C.2. Testing for normality for all the outputs from the ANFIS models 1‐5 and

respective subjects in Session 2 Round 1 (Section 6.7.1.1). All outputs from the multimodal

ANFIS model passed the normality test. (E represents times ten raised to the power).

2.

3.

4.

5.

7.

ANFIS 1

ANFIS 2

ANFIS 3

ANFIS 4

ANFIS 5

4.7  E‐47  1.4  E‐77  1.5  E‐33  7.6  E‐35  5.9  E‐68

6.7  E‐107  1.6  E‐123  3.4  E‐130  7.8  E‐139  4.8  E‐89

1.5  E‐97  4.8  E‐103  1.6  E‐44  1.7  E‐95  3.9  E‐88

5.8  E‐99  1.6  E‐46  3.7  E‐27  6.1  E‐96  1.3  E‐21

6. 2.1  E‐123  1.5  E‐91  4.0  E‐56  1.8  E‐51  2.3  E‐65

7.1  E‐109  2.5  E‐104  2.4  E‐251  3.1  E‐160  4.4  E‐217

Table C.3. Testing for normality for all the outputs from the ANFIS models 1‐11 and

respective subjects in Session 2 Round 2 (Section 6.7.2.1). All outputs from the multimodal

ANFIS model passed the normality test. (E represents times ten raised to the power).

10.

11.

12.

ANFIS 1

ANFIS 2

ANFIS 3

ANFIS 4

ANFIS 5

2. 4.3  E‐32  1.5  E‐12  1.5  E‐51  5.6  E‐29  2.3  E‐44

3. 2.0  E‐28  3.4  E‐39  1.7  E‐09  5.5  E‐26  7.1  E‐64

4. 4.0  E‐16  8.1  E‐39  9.5  E‐41  8.4  E‐43  6.6  E‐47

9. 1.9  E‐42  8.1  E‐26  3.6  E‐23  1.9  E‐83  2.3  E‐26

1.6  E‐19  7.2  E‐45  6.6  E‐25  1.3  E‐04  2.0  E‐70

ANFIS 6

0

0

0

0

0

6. 4.5  E‐77  2.7  E‐78  3.9  E‐37  5.5  E‐07  6.0  E‐21  2.8  E‐66

ANFIS 7

0

0

0

0

4.6  E‐227

2.0  E‐50

ANFIS 8

0

0

0

0

1.6  E‐27

5.9  E‐48  2.7  E‐33  3.3  E‐35  1.5  E‐27  1.0  E‐65  6.6  E‐92  1.5  E‐120  3.6  E‐40

ANFIS 9

0

0

0

0

0

1. 7.0  E‐09  8.8  E‐14  7.5  E‐36  3.1  E‐40  1.1  E‐33  2.4  E‐12  2.0  E‐58  1.4  E‐23  2.0  E‐18

9.9  E‐83

8. 2.0  E‐23  2.5  E‐11  7.7  E‐16  4.5  E‐20  3.6  E‐67  3.0  E‐58  6.1  E‐86  3.0  E‐39  1.6  E‐71

3.5  E‐18  1.8  E‐35  7.7  E‐21  3.7  E‐43  8.7  E‐91  1.2  E‐34  2.4  E‐21  2.2  E‐98  4.7  E‐157

ANFIS 10

0

0

n/a

n/a

5.6  E‐145  3.9  E‐226  5.5  E‐175

n/a

n/a

n/a

n/a

n/a

ANFIS 11

0

0

n/a

n/a

5. 1.4  E‐47  6.8  E‐60  3.1  E‐44  2.7  E‐55  6.0  E‐41  1.9  E‐106  2.0  E‐47  7.6  E‐35  8.8  E‐111  9.9  E‐324  8.4  E‐29

1.4  E‐122

7. 3.2  E‐57  3.6  E‐45  7.0  E‐45  1.7  E‐12  8.0  E‐58  4.1  E‐52  5.1  E‐41  2.4  E‐23  1.5  E‐49  1.4  E‐47  4.3  E‐49

n/a

n/a

n/a

n/a

n/a

Appendix D

List of Publications

As part of this research project, the author has produced the following publications.

Lead author publications:

 L. J. Planke, A. Gardi, R. Sabatini, T. Kistan and N. Ezer, "Online Multimodal Inference

of Mental Workload for Cognitive Human Machine Systems," Computers, vol. 10, no.

6, p. 81, June 2021

 L. J. Planke, Y. Lim, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "A Cyber‐Physical‐

Human System for One‐to‐Many UAS Operations: Cognitive Load Analysis," Sensors,

vol. 20, no. 19, p. 5467, September 2020

Co‐author publications:

 N. Pongsakornsathien, Y. Lim, A. Gardi, S. Hilton, L. J. Planke, R. Sabatini, T. Kistan,

N. Ezer, "Sensor Networks for Aerospace Human‐Machine Systems," Sensors, vol. 19,

no. 16, p. 3465, August 2019

268