Bài giảng Nhập môn Kinh tế lượng với các ứng dụng - Chương 11: Dự báo

Chöông trình Giaûng daïy Kinh teá Fulbright<br /> Nieân khoùa 2003-2004<br /> <br /> Phöông phaùp phaân tích<br /> Baøi ñoïc<br /> <br /> Nhaäp moân kinh teá löôïng vôùi caùc öùng duïng<br /> Chöông 11: Döï baùo<br /> <br /> CHÖÔNG 11<br /> <br /> DÖÏ BAÙO<br /> Lyù do quan troïng cuûa vieäc thieát laäp moâ hình kinh teá löôïng laø ñeå taïo ra caùc<br /> giaù trò döï baùo cuûa moät hoaëc nhieàu bieán kinh teá. ÔÛ Chöông 1 chuùng ta ñaõ trình<br /> baøy moät soá ví duï veà döï baùo, vaø ôû Muïc 3.9 chuùng ta ñaõ söû duïng moâ hình hoài quy<br /> ñôn ñeå minh hoïa caùc nguyeân taéc cô baûn cuûa döï baùo(1). Trong chöông naøy, chuùng<br /> ta tieáp tuïc vaán ñeà döï baùo moät caùch chi tieát hôn. Chuùng ta seõ moâ taû nhöõng<br /> phöông phaùp khaùc nhau, cuõng nhö nhöõng phöông phaùp ñaùnh giaù caùc giaù trò döï<br /> baùo vaø keát hôïp caùc döï baùo ñöôïc taïo ra bôûi caùc moâ hình khaùc nhau. Tuy nhieân,<br /> do Döï baùo laø moät chuû ñeà raát roäng, neân chöông naøy chæ giôùi thieäu nhöõng vaán ñeà<br /> coù lieân quan. Ñaõ coù raát nhieàu saùch vieát veà chuû ñeà naøy, ñoäc giaû coù theå tham khaûo<br /> neáu muoán bieát theâm chi tieát.<br /> Maëc duø thuaät ngöõ döï baùo (hoaëc thuaät ngöõ töông ñöông döï ñoaùn) thöôøng<br /> ñöôïc söû duïng trong ngöõ caûnh laø coá gaéng döï ñoaùn töông lai, caùc nguyeân taéc cuûa<br /> noù cuõng hoaøn toaøn coù theå öùng duïng ñeå döï ñoaùn caùc bieán cheùo. Chaúng haïn,<br /> ngöôøi ta coù theå söû duïng ví duï veà baát ñoäng saûn ôû chöông 3, 4, 6 vaø 7 ñeå döï ñoaùn<br /> ñöôïc giaù trung bình cuûa ngoâi nhaø khi cho tröôùc caùc ñaëc ñieåm cuûa noù.<br /> Veà phaân loaïi caùc phöông phaùp döï baùo, coù theå phaân bieät hai nhoùm phöông<br /> phaùp. Döï baùo kinh teá löôïng döïa treân moâ hình hoài quy ñeå noái keát moät hoaëc moät<br /> vaøi bieán phuï thuoäc vôùi moät soá bieán ñoäc laäp. Phöông phaùp naøy raát phoå bieán do<br /> noù coù khaû naêng giaûi thích caùc thay ñoåi ôû caùc bieán phuï thuoäc theo söï thay ñoåi<br /> cuûa caùc bieán kinh teá hay caùc bieán ñoäng thaùi khaùc – ñaëc bieät laø nhöõng thay ñoåi<br /> trong caùc bieán veà chính saùch. Ngöôïc vôùi phöông phaùp kinh teá löôïng, phöông<br /> phaùp döï baùo chuoãi thôøi gian chuû yeáu döïa treân nhöõng noã löïc ñeå döï ñoaùn caùc giaù<br /> trò cuûa moät bieán caên cöù vaøo nhöõng giaù trò trong quaù khöù cuûa chính bieán aáy.<br /> Nhöõng nhoùm naøy raát roäng vaø ranh giôùi giöõa chuùng laø khoâng roõ raøng. Chaúng<br /> haïn, trong khi moät soá moâ hình kinh teá löôïng ñöôïc thieát laäp chæ döïa treân caùc giaù<br /> trò quaù khöù cuûa bieán phuï thuoäc, thì moät soá moâ hình chuoãi thôøi gian thuaàn tuùy<br /> (phi kinh teá löôïng) laïi keát noái moät bieán vôùi caùc giaù trò cuûa caùc bieán khaùc (ví duï<br /> nhö caùc moâ hình töï hoài quy vectô ñaõ ñeà caäp ôû chöông 10). Phöông phaùp chuoãi<br /> thôøi gian thöôøng ñöôïc xem laø troäi hôn phöông phaùp kinh teá löôïng khi döï baùo<br /> ngaén haïn. Caùc moâ hình kinh teá löôïng seõ thích hôïp hôn trong tröôøng hôïp moâ<br /> hình hoùa caùc aûnh höôûng daøi haïn hôn. Caùc moâ hình toång hôïp caû hai nhoùm<br /> (1)<br /> <br /> Neân ñoïc laïi Muïc 3.9<br /> <br /> Ramu Ramanathan<br /> <br /> 1<br /> <br /> Thuc Doan/Hao Thi<br /> <br /> Chöông trình Giaûng daïy Kinh teá Fulbright<br /> Nieân khoùa 2003-2004<br /> <br /> Phöông phaùp phaân tích<br /> Baøi ñoïc<br /> <br /> Nhaäp moân kinh teá löôïng vôùi caùc öùng duïng<br /> Chöông 11: Döï baùo<br /> <br /> phöông phaùp naøy thöôøng taïo ra ñöôïc tieàm naêng caûi thieän caùc döï baùo caû ngaén<br /> haïn laãn daøi haïn. Muïc 11.6 seõ thaûo luaän veà döï baùo kinh teá löôïng vaø Muïc 11.7 seõ<br /> trình baøy toång quan veà döï baùo chuoãi thôøi gian.<br /> 11.1 Caùc Giaù Trò Thích Hôïp, Döï Baùo Kieåm Ñònh Vaø Tieân Nghieäm<br /> Trong moâi tröôøng döï baùo coù ba thôøi ñoaïn ñöôïc quan taâm. Ñaàu tieân, ngöôøi khaûo<br /> saùt söû duïng döõ lieäu trong thôøi ñoaïn n1, ñeán n2 (ví duï nhö töø 1948 ñeán 1982) ñeå<br /> öôùc löôïng moät hoaëc moät vaøi moâ hình. Töø vieäc öôùc löôïng ñoù (ñoâi khi coøn goïi laø<br /> döï baùo trong maãu) seõ thu ñöôïc caùc giaù trò thích hôïp, nghóa laø caùc giaù trò döï<br /> baùo ñöôïc tính cho thôøi ñoaïn töø n1 ñeán n2 cuûa maãu (töø 1948 ñeán 1982 nhö trong<br /> ví duï). Chaúng haïn, xeùt moâ hình hoài quy sau:<br /> <br /> Yt = β1 + β 2 X t 2 + β 3 X t 3 + ...β k X tk + ut<br /> (11.1)<br /> Giaù trò thích hôïp tính cho thôøi ñoaïn t laø:<br /> ^<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> Y t = β 1 + β X t 2 + β 3 X t 3 + ... + β k X tk<br /> <br /> (11.2)<br /> <br /> Tieáp theo, caùc giaù trò döï baùo ngoaøi maãu ñöôïc taïo ra cho caùc thôøi ñoaïn n2 +<br /> 1 trôû ñi. Thôøi kyø sau maãu naøy coù theå ñöôïc chia thaønh hai phaàn : caùc thôøi ñoaïn<br /> töø n2 + 1 ñeán n3 (chaúng haïn nhö töø 1983 ñeán 1994), trong ñoù giaù trò thöïc teá cuûa<br /> Y vaø taát caû caùc Xs ñeàu ñaõ bieát; vaø thôøi ñoaïn n3 + 1 trôû ñi (chaúng haïn, töø 1995<br /> trôû ñi) trong ñoù caùc giaù trò cuûa Xs vaø Y ñeàu chöa bieát. Caùc giaù trò döï baùo ñöôïc<br /> taïo ra cho thôøi kyø töø n2 + 1 ñeán n3 ñöôùc goïi laø caùc giaù trò döï baùo kieåm ñònh, vaø<br /> caùc giaù trò döï baùo ñöôïc taïo ra cho thôøi kyø töø n3 + 1 trôû ñi ñöôïc goïi laø caùc giaù trò<br /> döï baùo tieân nghieäm. Hình 11.1 minh hoïa ba thôøi ñoaïn döï baùo naøy. Vì Yt ñaõ<br /> bieát trong thôøi gian n2 + 1 ñeán n3 neân coù theå so saùnh caùc giaù trò döï baùo vôùi caùc<br /> giaù trò thöïc teá cuûa chuùng vaø ñaùnh giaù ñöôïc vieäc döï baùo ngoaøi maãu cuûa moâ hình<br /> (seõ trình baøy roõ hôn trong muïc tieáp theo). Do döõ lieäu trong thôøi ñoaïn döï baùo<br /> kieåm ñònh chöa ñöôïc söû duïng tröôùc ñoù ñeå tính ra caùc giaù trò öôùc löôïng cuûa caùc<br /> tham soá neân vieäc döï baùo kieåm ñònh seõ thöïc söï cho bieát khaû naêng döï baùo cuûa<br /> moâ hình. Caùc döï baùo tieân nghieäm ñöôïc thöïc hieän cho nhöõng thôøi ñoaïn maø giaù<br /> trò thöïc cuûa caû bieán phuï thuoäc laãn bieán ñoäc laäp ñeàu chöa bieát, do ñoù noù laø caùc<br /> döï baùo trong töông lai chöa bieát.<br /> <br /> Ramu Ramanathan<br /> <br /> 2<br /> <br /> Thuc Doan/Hao Thi<br /> <br /> Chöông trình Giaûng daïy Kinh teá Fulbright<br /> Nieân khoùa 2003-2004<br /> <br /> Phöông phaùp phaân tích<br /> Baøi ñoïc<br /> <br /> Nhaäp moân kinh teá löôïng vôùi caùc öùng duïng<br /> Chöông 11: Döï baùo<br /> <br /> Hình 11.1 Caùc thôøi ñoaïn döï baùo trong maãu, kieåm ñònh vaø tieân nghieäm<br /> ∧<br /> <br /> Yt<br /> Döï<br /> baùo<br /> Kieåm<br /> ñònh<br /> <br /> Thôøi kyø öôùc löôïng<br /> Döï baùo trong maãu<br /> <br /> n1<br /> <br /> n2<br /> <br /> Döï baùo<br /> Tieân<br /> nghieäm<br /> <br /> n3<br /> <br /> t<br /> <br /> VÍ DUÏ 11.1<br /> Laáy ví duï: Moät nhaø phaân tích trong boä phaän döï baùo phuï taûi ñieän cuûa moät ñôn<br /> vò phuïc vuï muoán döï baùo toång doanh thu ôû khu vöïc hoä daân cö. Nhaø phaân tích coù<br /> moät soá moâ hình thaùng noái keát möùc tieâu thuï ñieän ôû caùc hoä daân vôùi daïng thöùc<br /> thôøi tieát trong thaùng vaø nhöõng taùc ñoäng theo muøa khaùc: giaù baùn ñieän, toång caùc<br /> duïng cuï söû duïng ñieän, thu nhaäp hoä gia ñình, v.v... Giaû söû raèng ngöôøi döï baùo coù<br /> döõ lieäu theo thaùng trong 10 naêm (120 quan saùt). Ñeå so saùnh khaû naêng döï baùo<br /> cuûa caùc moâ hình khaùc nhau, ñaàu tieân ngöôøi khaûo saùt coù theå söû duïng caùc quan<br /> saùt töø 1 ñeán 100 ñeå öôùc löôïng caùc moâ hình (ñaây laø thôøi kyø trong maãu). Sau ñoù,<br /> coâ ta söû duïng caùc moâ hình ñaõ ñöôïc öôùc löôïng ñeå taïo ra caùc giaù trò döï baùo kieåm<br /> ñònh veà möùc söû duïng ñieän trong caùc thôøi ñoaïn töø 101 ñeán 120, söû duïng giaù trò<br /> ñaõ bieát cuûa caùc bieán ñoäc laäp. Vì caùc giaù trò cuûa bieán phuï thuoäc cuõng ñaõ ñöôïc<br /> bieát moät caùch chaéc chaén trong thôøi kyø sau maãu, caùc giaù trò döï baùo coù theå ñöôïc<br /> ñaùnh giaù caên cöù theo caùc giaù trò ñaõ bieát naøy vaø moät trong caùc moâ hình seõ ñöôïc<br /> choïn löïa laø “toát nhaát”. Tieáp ñoù, moâ hình ñöôïc choïn naøy seõ ñöôïc öôùc löôïng laïi,<br /> baèng caùch söû duïng toaøn boä maãu (trong ví duï naøy laø taát caû 120 quan saùt) vaø caùc<br /> giaù trò döï baùo tieân nghieäm (döïa treân moâ hình ñaõ ñöôïc öôùc löôïng laïi) seõ ñöôïc<br /> taïo ra cho nhöõng thôøi ñoaïn sau thôøi ñoaïn 120. Nhöõng giaù trò döï baùo tieân<br /> nghieäm seõ laø cô sôû ñeå hoaïch ñònh coâng suaát phaùt ñieän trong töông lai vaø giaù<br /> ñieän seõ ñöôïc xaùc ñònh.<br /> <br /> 11.2 Ñaùnh Giaù Caùc Moâ Hình:<br /> Haàu heát caùc nhaø döï baùo ñaùnh giaù caùc moâ hình cuûa hoï theo naêng löïc döï baùo cuûa<br /> moâ hình. Moät soá phöông phaùp ñöôïc söû duïng ñeå ñaùnh giaù naêng löïc döï baùo.<br /> Trong muïc 3.9, sai soá bình phöông trung bình (MSE) ñaõ ñöôïc giôùi thieäu laø<br /> moät caùch ñeå so saùnh caùc giaù trò döï baùo töø caùc moâ hình khaùc nhau. Vôùi moät moâ<br /> hình toång quaùt coù k heä soá hoài quy, MSE ñöôïc ñònh nghóa nhö sau:<br /> <br /> Ramu Ramanathan<br /> <br /> 3<br /> <br /> Thuc Doan/Hao Thi<br /> <br /> Chöông trình Giaûng daïy Kinh teá Fulbright<br /> Nieân khoùa 2003-2004<br /> <br /> Phöông phaùp phaân tích<br /> Baøi ñoïc<br /> <br /> MSE<br /> <br /> ∑ (Y<br /> =<br /> <br /> Nhaäp moân kinh teá löôïng vôùi caùc öùng duïng<br /> Chöông 11: Döï baùo<br /> f<br /> <br /> t<br /> <br /> − Yt ) 2<br /> <br /> n−k<br /> <br /> trong ñoù n laø soá caùc quan saùt, Yt laø giaù trò thöïc teá cuûa bieán phuï thuoäc, Ytf laø giaù<br /> ∧ 2<br /> <br /> trò ñöôïc döï baùo töø moâ hình. Trong thôøi kyø maãu, MSE töông ñöông vôùi σ , laø<br /> öôùc löôïng cuûa phöông sai cuûa soá haïng sai soá ut.<br /> Tieâu chuaån löïa choïn moâ hình ñaõ ñeà caäp trong muïc 4.3 cuõng coù theå ñöôïc söû<br /> duïng ñeå ñaùnh giaù naêng löïc döï baùo. Caùch laøm laø duøng moãi moâ hình so saùnh ñeå<br /> döï ñoaùn caùc giaù trò cuûa Y trong thôøi kyø kieåm ñònh. Keá ñoù, tính toång bình<br /> phöông sai soá (ESS) baèng ∑(Ytf - Yt )2 vaø sau ñoù duøng tieâu chuaån choïn moâ<br /> hình trong baûng 4.3. Moâ hình naøo coù caùc giaù trò thoáng keâ naøy thaáp hôn thì ñöôïc<br /> xem laø toát hôn xeùt veà naêng löïc döï baùo.<br /> Caùch thöù ba ñeå ñaùnh giaù moâ hình laø döïa treân cô sôû öôùc löôïng cuûa pheùp hoài<br /> quy ñôn giöõa giaù trò döï baùo vaø giaù trò quan saùt nhö sau:<br /> Yt = a + b Ytf + et<br /> ∧<br /> <br /> Neáu vieäc döï baùo laø hoaøn haûo trong suoát caùc thôøi ñoaïn t, thì ta seõ coù a baèng<br /> ∧<br /> <br /> 0 vaø b baèng 1. Ñieàu naøy coù theå ñöôïc kieåm chöùng chính thöùc baèng caùch söû<br /> duïng t – test thích hôïp.<br /> Cuoái cuøng, neáu taát caû caùc quan saùt ôû bieán phuï thuoäc ñeàu laø döông thì ngöôøi<br /> ∧<br /> <br /> <br /> ta coù theå tính sai soá phaàn traêm tuyeät ñoái, APEt = 100 Yt − Y  / Yt vaø sai soá<br /> <br /> <br /> phaàn traêm tuyeät ñoái trung bình (MAPE) ñaõ ñöôïc ñònh nghóa trong chöông 3<br /> ∧<br /> <br /> <br /> laø (1/n) ∑ 100 Yt − Y  / Yt vaø choïn moâ hình naøo coù giaù trò MAPE thaáp. Chuùng<br /> <br /> <br /> ta ñaõ thaáy nhieàu ví duï trong ñoù MAPE vaø MSE ñöôïc tính vaø naêng löïc döï baùo<br /> cuûa moâ hình ñöôïc ñaùnh giaù.<br /> 11.3 Giaù Trò Döï Baùo Coù Ñieàu Kieän Vaø Voâ Ñieàu Kieän<br /> Khi xeùt caùc giaù trò döï baùo kieåm ñònh hay tieân nghieäm ñieàu quan troïng laø phaân<br /> bieät giöõa caùc giaù trò döï baùo coù ñieàu kieän vaø khoâng ñieàu kieän. Giaù trò döï baùo coù<br /> ñieàu kieän coù ñöôïc khi bieán phuï thuoäc ñöôïc döï baùo vôùi giaû thieát laø caùc bieán ñoäc<br /> laäp coù caùc giaù trò cuï theå (coù theå laø caùc giaù trò ñaõ bieát). Ñeå coù moät ví duï ñôn<br /> giaûn veà döï baùo coù ñieàu kieän, haõy xeùt moâ hình sau:<br /> Ht =<br /> <br /> Ramu Ramanathan<br /> <br /> α +<br /> <br /> β Pt + ut<br /> <br /> 4<br /> <br /> (11.3)<br /> <br /> Thuc Doan/Hao Thi<br /> <br /> Chöông trình Giaûng daïy Kinh teá Fulbright<br /> Nieân khoùa 2003-2004<br /> <br /> Phöông phaùp phaân tích<br /> Baøi ñoïc<br /> <br /> Nhaäp moân kinh teá löôïng vôùi caùc öùng duïng<br /> Chöông 11: Döï baùo<br /> <br /> trong ñoù Ht laø soá caên hoä ôû moät thaønh phoá naøo ñoù vaø Pt laø daân soá cuûa thaønh phoá<br /> ñoù. Nhö ñaõ neâu trong muïc 3.9, giaù trò döï baùo coù ñieàu kieän cuûa H khi cho tröôùc<br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> P, chaúng haïn laø P0, laø H = α + β P0 . Giaû söû cho daân soá ôû thôøi ñieåm (n+1) laø<br /> Pn+1, thì giaù trò döï baùo coù ñieàu kieän cuûa H vôùi ñieàu kieän P = Pn+1 laø<br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> H n +1 = α + β Pn +1 . Do ñoù, giaû thieát raèng daân soá ôû thôøi ñieåm tieáp theo laø Pn+1<br /> <br /> chuùng ta seõ coù ñöôïc döï baùo coù ñieàu kieän cuûa soá caên hoä trong thôøi ñoaïn tieáp<br /> ∧<br /> <br /> ∧<br /> <br /> theo laø α + β Pn +1 .<br /> Caùc giaù trò döï baùo khoâng ñieàu kieän coù ñöôïc khi caùc giaù trò cuûa caùc bieán<br /> ngoaïi sinh khoâng ñöôïc cho tröôùc maø ñöôïc taïo ra töø chính moâ hình hoaëc töø moät<br /> moâ hình phuï trôï. Do vaäy, caùc bieán ñoäc laäp khoâng ñöôïc ño moät caùch chaéc chaén<br /> maø mang tính baát ñònh. Trong ví duï veà caên hoä, daân soá trong töông lai cuûa<br /> thaønh phoá laø soá chöa bieát. Moät moâ hình phuï trôï veà nhaäp cö, sinh saûn vaø töû<br /> vong coù theå ñöôïc söû duïng ñeå coù ñöôïc caùc döï baùo veà daân soá ôû thôøi ñoaïn n+1<br /> ∧<br /> <br /> (goïi laø P n +1 ). Caùc giaù trò döï baùo veà soá caên hoä coù ñöôïc baèng caùch phoái hôïp moâ<br /> hình kinh teá löôïng vôùi moâ hình daân soá laø khoâng ñieàu kieän. Do vaäy, ta coù<br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> ∧<br /> <br /> H n +1 = α + β Pn +1 , trong ñoù P<br /> <br /> n +1<br /> <br /> laø giaù trò döï baùo cuûa daân soá, coù ñöôïc töø moâ<br /> <br /> hình phuï trôï. Caùc moâ hình VAR ñaõ trình baøy trong chöông tröôùc laø nhöõng coâng<br /> cuï raát toát ñeå taïo ra caùc giaù trò döï baùo khoâng ñieàu kieän.<br /> Caùc giaù trò thích hôïp ñöôïc taïo ra trong thôøi kyø trong maãu laø coù ñieàu kieän<br /> (vì caùc giaù trò cuûa Xs ñöôïc cho tröôùc), nhöng caùc giaù trò döï baùo trong thôøi kyø<br /> tieân nghieäm laø khoâng ñieàu kieän vì chuùng ñoøi hoûi caùc bieán ñoäc laäp phaûi ñöôïc döï<br /> baùo tröôùc khi bieán phuï thuoäc ñöôïc döï baùo. Caùc giaù trò döï baùo trong thôøi kyø<br /> kieåm ñònh coù theå laø coù ñieàu kieän hoaëc khoâng ñieàu kieän tuøy thuoäc vaøo caùch taïo<br /> ra chuùng.<br /> Ñeán luùc naøy, caàn löu yù moät vaøi ñieåm khoâng nhaát quaùn trong caùc taøi lieäu lyù<br /> thuyeát coù lieân quan ñeán vieäc söû duïng thuaät ngöõ coù ñieàu kieän vaø khoâng ñieàu<br /> kieän. Moät soá taùc giaû ñònh nghóa nhöõng thuaät ngöõ naøy hoaøn toaøn ngöôïc laïi vôùi<br /> ñònh nghóa ñöôïc trình baøy ôû ñaây. Ñieàu naøy khoâng ñuùng. Thuaät ngöõ coù ñieàu kieän<br /> xuaát xöù töø thuaät ngöõ trong lyù thuyeát xaùc suaát trong ñoù ta xeùt phaân phoái coù ñieàu<br /> kieän, kyù hieäu laø P (Y/X), cuûa moät bieán ngaãu nhieân cho tröôùc giaù trò cuûa moät<br /> bieán ngaãu nhieân khaùc. Trò trung bình coù ñieàu kieän cuûa phaân phoái naøy laø E<br /> (Y/X). Moät giaù trò döï baùo cuûa Y laø moät öôùc löôïng cuûa E (Y/X) vaø seõ phuï thuoäc<br /> vaøo X. Do ñoù, giaù trò döï baùo cuûa Y vôùi moät giaù trò cuûa X cho tröôùc laø moät giaù<br /> trò döï baùo coù ñieàu kieän. Trò trung bình khoâng ñieàu kieän cuûa Y, kyù hieäu laø E (Y),<br /> laø giaù trò kyø voïng cuûa Y treân maät ñoä xaùc suaát hôïp f(x,y) vaø khoâng phuï thuoäc<br /> vaøo X. Moät öôùc löôïng cuûa E(Y) laø moät giaù trò döï baùo khoâng ñieàu kieän trong ñoù<br /> X cuõng ñöôïc xem laø moät bieán ngaãu nhieân.<br /> <br /> Ramu Ramanathan<br /> <br /> 5<br /> <br /> Thuc Doan/Hao Thi<br /> <br />