Chapter 14

McGraw­Hill/Irwin

Copyright © 2014 by The McGraw­Hill Companies, Inc. All rights reserved.

Simple Linear Regression Analysis

Simple Linear Regression Analysis

14.1 The Simple Linear Regression Model  and the Least Square Point Estimates 14.2 Model Assumptions and the Standard

Error

14.3 Testing the Significance of Slope and y­

Intercept

14.4 Confidence and Prediction Intervals 14.5 Simple Coefficients of Determination

14­2

and Correlation

Simple Linear Regression Analysis  Continued

14.6 Testing the Significance of the

Population Correlation Coefficient

14­3

14.7 An F Test for the Model 14.8 The QHIC Case 14.9 Residual Analysis 14.10 Some Shortcut Formulas (Optional)

LO14-1: Explain the simple linear regression model.

The independent (or predictor) variable is the

variable we will use to understand or predict the  dependent variable

Regression analysis is a statistical technique that  uses observed data to relate the dependent variable  to one or more independent variables

The objective is to build a regression model that can  describe, predict and control the dependent variable  based on the independent variable

14­4

14.1 The Simple Linear Regression Model  and the Least Squares Point Estimates The dependent (or response) variable is the  variable we wish to understand or predict

LO14-1

Form of The Simple Linear Regression  Model y = β0 + β1x + ε (cid:0)

y = β0 + β1x + ε is the mean value of the  dependent variable y when the value of the  independent variable is x

β0 is the y­intercept; the mean of y when x is

β1 is the slope; the change in the mean of y

0

ε is an error term that describes the effect on

per unit change in x

14­5

y of all factors other than x

LO14-1

Regression Terms

β0 and β1 are called regression parameters β0 is the y­intercept and β1 is the slope We do not know the true values of these

So, we must use sample data to estimate

parameters

b0 is the estimate of β0 and b1 is the estimate

them

14­6

of β1

LO14-2: Find the least squares point estimates of the slope and y- intercept.

The Least Squares Point Estimates

Estimation/prediction equation

̂

y  = b

0 + b1x

Least squares point estimate of the slope β1

SS

xy

b 1

SS

xx

(cid:0)

y i

x i

SS

y

(

yx ()

)

xy

x i

i

yx i

i

n

2

(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0)

2

x i

SS

x

(

)

xx

x i

2 x i

n

(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0)

y

i

x i

y

b 0

xby 1

n

n

x Least squares point estimate of y­intercept (cid:0)

0

14­7

(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0)

LO14-3: Describe the assumptions behind simple linear regression and calculate the standard error.

14.2 Model Assumptions and the  Standard Error

1. Mean of Zero

At any given value of x, the population of potential error term  values has a mean equal to zero

2. Constant Variance Assumption

At any given value of x, the population of potential error term  values has a variance that does not depend on the value of x

3. Normality Assumption

4.

At any given value of x, the population of potential error term  values has a normal distribution Independence Assumption Any one value of the error term ε is statistically independent  of any other value of ε

14­8

Figure 14.7

LO14-4: Test the significance of the slope and y-intercept.

14.3 Testing the Significance of the  Slope and y­Intercept

A regression model is not likely to be useful

To test significance, we use the null

unless there is a significant relationship  between x and y

hypothesis:

Versus the alternative hypothesis:

H0: β1 = 0

14­9

Ha: β1 ≠ 0

LO14-5: Calculate and interpret a confidence interval for a mean value and a prediction interval for an individual value.

14.4 Confidence and Prediction  Intervals

The point on the regression line corresponding to a  particular value of x0 of the independent variable x  is ŷ = b0 + b1x0

It is unlikely that this value will equal the mean

value of y when x equals x0

Therefore, we need to place bounds on how far the

predicted value might be from the actual value

We can do this by calculating a confidence interval  mean for the value of y and a prediction interval for  an individual value of y

14­10

LO 6: Calculate and interpret the simple coefficients of determination and correlation.

14.5 Simple Coefficient of  Determination and Correlation

How useful is a particular regression model? One measure of usefulness is the simple

It is represented by the symbol r2

14­11

This section may be covered anytime after reading Section 14.1

coefficient of determination

LO14-7: Test hypotheses about the population correlation coefficient.

14.6 Testing the Significance of the  Population Correlation Coefficient The simple correlation coefficient (r)

measures the linear relationship between the  observed values of x and y from the sample The population correlation coefficient ( ) ρ

r is an estimate of ρ

14­12

measures the linear relationship between all  possible combinations of observed values of  x and y

LO14-8: Test the significance of a simple linear regression model by using an F test.

14.7 An F Test for Model

For simple regression, this is another way to

test the null hypothesis

This is the only test we will use for multiple

H0: β1 = 0

The F test tests the significance of the

regression

14­13

overall regression relationship between x and  y

LO14-9: Use residual analysis to check the assumptions of simple linear regression.

14.9 Residual Analysis

Checks of regression assumptions are performed

by analyzing the regression residuals

Residuals (e) are defined as the difference  between the observed value of y and the  predicted value of y, e = y ­ ŷ  ◦Note that e is the point estimate of ε

If regression assumptions valid, the population

of potential error terms will be normally  distributed with mean zero and variance σ2

Different error terms will be statistically

independent

14­14