Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 1
CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK
Hà nội1
Bài 12 - Hiệnthựcảo
Virtual Reality
CNTT-ĐHBK Hà nội2
I. Virtual Reality
Khái niệm “virtual” ?
“Virtual” là 1 trong những từ được lạm dụng trong ngành công nghệcao
ngày nay và được dùng phổbiến.
“virtual bank”, “virtual heritage”,... ngụ ý đến 1 điều kỳquái -
monstrosities.
virtual X
với X có thểlà bất cứthứgì , điều gì. virtual X không phải là X nhưng
có giao diện (hình dáng, hoạt động ...) giống hệt như X
Ví dụ: virtual memory không phải là bộnhớ nhưng nó làm việc với vi
xử lý đúng như là bộnhớ.
Tương tựvirtual disks, virtual terminals, virtual networks, etc.
CNTT-ĐHBK Hà nội3
Định nghĩa Virtual Reality
Coates (1992):
Greenbaum (1992):
Theokinhnghiệmcon người:
(Isdale, 1998)
Các thuậtngữkhác thường dùng:
Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace
...
CNTT-ĐHBK Hà nội4
Lịch sửphát triển
1962 : Sensorama (from the movie industry : Morton Heilig)
1970sh : visualisation of virtual world on the screen
1970 : First Head Mounted Display : Daniel Vivkers from Utah
University (From a Ivan Sutherland / MIT 's idea)
1982 : Dataglove
1980-85 : First VR commercial products 1987 Virtual Cockpit
(British Aerospace) head and hand tracking, eye tracking, 3d
visuals, 3D audio, speech recognition vibro tactile feedback
1990-95 : Popularisation of VR (Film, Books...)
ARMY – spend close to $1000 million 1998 in VRresearch.
CNTT-ĐHBK Hà nội5
So sánh Virtual Reality vàcác
Media khác
Sống động - Vividness (biểu diễn được
môi trường chính xác)
breadth (visibility, audibility, touch,
smell)
depth (quality, fidelity-chính xác)
Tương tác - Interactivity (cho phép
người dùng có khảnăng thay đổimôi
trường )
speed (update rates, time lag)
mapping (text, speech, gestures,
gaze, complex behavior patterns)
CNTT-ĐHBK Hà nội6
Kiếntrúchệthống củaVirtual
Environments
CuuDuongThanCong.com https://fb.com/tailieudientucntt
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 2
CNTT-ĐHBK Hà nội7
Thành phầnKiếntrúc
Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …)
Tính chất hình học- Shape, color, texture
Tính chất vật lý – Weight, speed, position, etc…
Người dùng - User
Tương tác với môi trường, có thể được nhìn thấy bằng CAMERA
Có hình thểtham gia vào thếgiới ảo (avatar)
Có thểnghe, nói (Voice recognition)
Có thểdi chuyển (gesture recognition)
Đa người dùng - Multi user
Mạng máy tính - Network connection
Mô phỏng - Simulation
Điều khiển ứng dụng
Điều khiển hướng sựkiện (tránh va chạm)
Mô phỏng hướng theo tính chất vật lý của đối tượng (act according the objects physical
attributes)
Thếgiới, môi trường World
Kết nối tát cảnhững phần khác nhau vào thành 1 môi trường mà người dùng hoạt
động ở trong đóCNTT-ĐHBK Hà nội8
Đặcđiểm
Virtual reality (VR), Phảiđảmbảo
Trong thựctếđểđạtđượcchấp nhận:
Hoà nhập - “immersion”.
CNTT-ĐHBK Hà nội9
ĐặcđiểmThựctếcủaHiệnthựcảo
MộtVR thật không tồntại, làm con ngườicảmthấythoảimái
khi có các nhầmlẫn, Phảicóđượcđặcđiểm
Cảm giác hoà nhập - immersion:
Chophéptương tác với các đốitượng trong cảnh nhưcách
ngời dùng làm trong thựctếchấp nhận tính xấpxỉvớihạnđộ
hợplý.
Tạo càng nhiềucảmnhận trên các giác quan càng tốt
CNTT-ĐHBK Hà nội10
Công nghệtrong VR
Màn hình hiển thị-Visual displays: hiển thịthếgiới ảo đến người
sửdụng.
Hệthống theo dõi-Tracking systems: theo dõi vịtrí và hướng của
người dùng trong môi trường ảo
Hệthống tính toán-Computation Systems: thực hiện những tính
toán cần thiết để sinh ra không gian ảo
Thiết bịxúc giác-Haptic devices: cung cấp thao tác và nhận được
các cảm giác phản hồi từthếgiới thực
Audio systems- phản hồi âm thanh từthực tại ảo
CNTT-ĐHBK Hà nội11
Perceive
The ability to sense the position and location and orientation and
movement of the body and its parts.
ear
balance, acceleration,
position, location,
orientation,
movement of the
body
proprioception
The perception of body position and movement and muscular tension
etc; SYN: kinaestesia, feeling of movement
muscles
position, movement,
muscular
tensions
kinesthesia
The faculty of taste; SYN. gustation, sense of taste, gustatory
modality.
tongue/nosesavour, flavourtaste
The faculty of smell; SYN. sense of smell, olfaction, olfactory
modality.
noseodoursmell
The faculty of touch; SYN. sense of touch, skin senses, touch
modality, cutaneous senses.
skinsurface / temperaturetouch
The ability to see; the faculty of vision; SYN. vision, visual sense,
visual modality.
eyesimagesight
The ability to hear; the auditory faculty; SYN. audition, auditory
sense, sense of hearing, auditory modality.
ears,bodysoundhearing
CNTT-ĐHBK Hà nội12
Cảmnhậnmôitrường ảo
Perceive ?
a) monoscopic cues( cảnh mono)
relative size
interposition and occlusion( lỏng lẻo)
perspective distortion( méo)
lighting and shadows
texture gradient
motion parallax ( thịsai chuyểnđộng)
b) binocular (stereoscopic) cues
stereo disparity (phân tách)
convergence( hộitụ)
Anthropocentric User-Diagram
CuuDuongThanCong.com https://fb.com/tailieudientucntt
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 3
CNTT-ĐHBK Hà nội13
Tái tạocảmgiác
recreate sensation ?
a) monoscopic cues
realistic rendering / lighting simulation
b) stereoscopic cues -> stereodisparity presentation of
appropriate view to each eye
- time multiplexing of images
- multiplexing with chromatic filters (anaglyph)
- multiplexing with polarizer filters
- providing two views simultaneously
Color Encoded Stereo Image Pair
CNTT-ĐHBK Hà nội14
Yêu cầuVR
Cảnh-scene: cần được vẽ, sinh ra phụthuộc vào điểm nhìn của người dùng
Vịtrí của mắt cần xác định, thiết bịtheo dõi xác định hướng và vịtrí của đầu và mắt.
Theo đóPhần mềm cần hiệu chỉnh ma trận chiếu phù hợp để có kết quả..
Cảnh hiển thị3-D .
stereo vision: Hình ảnh nhận được sửdụng sựkhác biệt We perceive 3-D primarily
using the difference between the images received by the two eyes -.
perceive 3-D is by focus: the lens in the eye focuses light differently for near vs.
far objects.
The user needs to be able to affect the scene somehow.
Tracking capability (to determine head/eye placement), the user a hand-held
object with a tracker on it.
User’s motions directly, either through placement of tracking devices on the
user’s clothes, or by giving the computer several video feeds of the user.
CNTT-ĐHBK Hà nội15
Ứng dụng
Engineering
Aero Engine design
Submarine design
Architecture
Human factors modeling
Industrial concept design
Telecoms engineering
Entertainment
Computer animator
Television
Game system
Science
Science
–Computational Neuroscience
–Molecular modeling
–Phobias ~ Virtual Therapy
–Telepresence
–Ultrasound Echolography
Training
Training
–High-risk work
–Flight simulation
–Medicine
–Military training
–Nuclear industry
–Accident simulation (Airline,
car collision testing)
CNTT-ĐHBK Hà nội16
An Immersive Car Simulator
Using HMD(© British Aerospace)
CNTT-ĐHBK Hà nội17
A BOOM Display Application in
Aerodynamics
(© NASA Ames Research Center)
CNTT-ĐHBK Hà nội18
Phân loạiVR-Desktop VR
Desktop VR
Non-immersive: chuột 3d, window system
3D world hiểnthịtren màn hình, chuột và bàn phím là đầuvàotương tác.
Giá thấp, dùng cảvớiPC thôngdụng.
VRML, Games
Window on a World (WoW)
Một sốhệthống sửdụng một màn hình truyền thống để hiển thịthếgiới trực
quan (visual world).
Người ta phải xem màn hình hiển thị như là một cửa sổmà qua cửa sổ đó
người ta có thểthấy một thếgiới ảo.
Thách thức đối với lĩnh vực đồ hoạmáy tính là làm cho hình ảnh trong cửa sổ
đó trông giống như thật, âm thanh nghe giống thật và các đối tượng hành
động giống thật.
“One must look at a display screen as a window through which one beholds a
virtual world. The challenge to computer graphics is to make the picture in
the window look real, sound real and the objects act real” [quoted from
Computer Graphics V26#3].
CuuDuongThanCong.com https://fb.com/tailieudientucntt
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 4
CNTT-ĐHBK Hà nội19
Ánh xạVideo (Video Mapping)
Đây là một biến thểcủa cách tiếp cận theo kiểu WoW. Tiếp cận theo kiểu này
sẽkết hợp một đoạn video hình ảnh người sửdụng với đồ hoạ 2D. Người sử
dụng sẽthấy một màn hình hiển thị tương tác của hình anh ta với máy tính.
DVR hệthống đơn giản sửdụng các thiết bị tương tác thông thường như :
chuột 3d, window system. Thếgiới 3D được hiển thịtrên màn hình, chuột và
bàn phím là đầu vào tương tác.
Ưu điểm của hệthống và các ứng dụng loại nay là chi phí và giá cảthấp, có
thểdùng được cảvới PC thông dụng và các thiết bịthông dụng khác.
Phù hợp với việc phát triển những ứng dụng đại tràvàcác sản phẩm cấp thấp
không cần đến đội chính xác tuyệt đối.
CNTT-ĐHBK Hà nội20
Thếgiới thực bổxung-
Augmented Reality
Sựkết hợp giữa đồ hoạvà thếgiới thực tạo thành 1 hệthống
chung phục vụcho việc nhìn nhận và đánh giá thếgiới thực.
Kết hợp Telepresence và các hệthống thực tại ảo cho ta một
thực tại hỗn hợp(Mixed Reality) hay các hệthống mô phỏng
liền mạch (Seamless Simulation systems).
Ở đây, các dữliệu vào sinh sinh ra bởi máy tính sẽ được hợp
nhất (kết hợp) với các dữliệu vào telepresence và/hoặc quan
điểm (cách nhìn) vềthếgiới thực của người sửdụng.
CNTT-ĐHBK Hà nội21
Xuất hiện - Presence
Xuất hiện ảo-Virtual presence
... Is experienced by a person when sensory information generated only by and within a
computer compels a feeling of being present in an environment other than the one the
person is actually in” (Sheridan, 1992, pg.6)
Presence: là cảm nhận tâm lý xuất hiện ởmột môi trường dựa vào công nghệhình
thành theo kiểu hoà nhập - immersive.
Trên thực tếhệthống hoạt động theo kiêu này không cần thiết áp dụng cho tất cảmọi
người mà chỉcho một vài người có vai trò nhất định trong cộng đồng.
Việc tích hợp giữa immersive và presence luôn là bài toán khó cho công nghệ. Một
ứng dụng của Presence là: Telepresence và teleoperate
CNTT-ĐHBK Hà nội22
Telepresence
Telepresence : Là thuật ngữmô tảviệc sửdụng các công nghệkhác nhau gây
hiệu ứng đặt ngưòi dùng tại một vịtrí khác.
Telepresence là một cách mường tượng, hình dung các thếgiới được sinh ra
hoàn toàn trong máy tính. Đây là một kỹthuật kết nối các cảm biến từxa
trong thếgiới thực với cảm giác của người điều khiển. Các cảm biến từxa
này có thể được định vịtrên một robot, giống như là các công cụ.
Lính cứu hoảsửdụng các phương tiện điều khiển từ xa để xửlý những trường
hợp nguy hiểm. Các bác sĩgiải phẫu sửdụng các thiết bịvô cùng nhỏtrên
những dây cáp để thực hiện ca phẫu thuật mà không cần rạch ra một lỗlớn
trên cơ thểbệnh nhân. Các thiết bịnày có một video camera nhỏở đầu làm
việc (business end).
Các robot được trang bịcác hệthống telepresence này đã thay đổi cách thức
thực hiện các cuộc thí nghiệm vềbiển sâu hoặc núi lửa. Kỹthuật này ngoài ra
còn được áp dụng trong các cuộc nghiên cứu vũtrụ...
CNTT-ĐHBK Hà nội23
II. Immersion( hoà nhập)
Tạoracảm giác hoà nhậpgiữangườidùngvàmôitrường, hình ảnh quan
sát là hình ảnh ngườisửdụng nhìn đượcbaogồmcảkhông gian và
phương hướng.
Phầnhìnhảnh người dùng quan sát đượcchỉlà 1 phầnrấtnhỏso với
không gian hiểnthị
Thông thường công nghệcho hiển thị đóng vai trò quan trọng và các cảm
nhận khác cũng được kiểm tra.
Hệthống thực tại ảo - VR systems sẽtạo cho người dùng là một phần của
thếgiới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang
mô phỏng là 1 góc của thếgiới thực mà người dùng hiện hữu.
Hệthống immersive VR đầu tiên là hệthống mô phỏng lái máy bay mà ở
đósựhoà nhập là sựkết hợp tinh xảo giữa các thiết bịthật và các hình ảnh
ảo. Buồng lái thật với các thiết bịthực tếcho phép phi công sửdụng như 1
chuyến bay bình thường. Hình ảnh hiển thịlà những cảnh ảo được chuẩn
bịsẵn. CNTT-ĐHBK Hà nội24
Kỹthuật sinh immersive
Head-Mounted Display: Put the screen right in front of the
user’s eyes. Include a lens, for comfortable focusing.
Advantage: It is easy to give the eyes different views.
Disadvantage: Need separate screen for each user.
BIG Disadvantage: When the user’s head moves, there is noticeable lag
before the image updates. (Faster computers should fix this problem.)
Large-Screen Display: Use a very large screen or group of
screens that fill the user’s vision.
Advantage: Image-update lag is not as much of a problem. (Why not?)
Advantage: Multiple users can view a single screen (but only one gets a
precisely correct view).
BIG Disadvantage: The setup is incredibly expensive.
Challenge: How to give the eyes different views?
CuuDuongThanCong.com https://fb.com/tailieudientucntt
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 5
CNTT-ĐHBK Hà nội25
Phân loại
Immersive - Virtual Environments
1. Immersive Virtual Environments- môi trường ảo hoà nhập
•các đối tượng tương tác quan sát được và độc lập hoàn toàn với thếgiới thật
•Cảnh ảo phản ứng lại các hành động tương tác của đối tượng.
•các đối tượng không thểtác động lên môi trường thật
2. Semi-Immersive Virtual Environments-môi trường ảo bán hoà nhập
•các đối tượng có thểtác động lên cả môi trường thật và ảo
•vai trò của các đối tượng trong môi trường ảo lớn hơn nhiều so với môi trường
thật
•tác động nên môi trường thực là rất hạn chế
3. Non-Immersive Virtual Environments – VR thông thường
•các cảnh 3D như là 1 phần của thếgiới thật (môi trường vật lý)
•các đối tượng đáp lại hoàn toàn trong thếgiới thật
•Tồn tại rất ít quan hệvới môi trường ảo - VE
CNTT-ĐHBK Hà nội26
Hoà nhập mức độ thấp
First Level of Immersion /
Interactivity Low level, Physical level
Because the computer is physically connected to the human
body by its senses and its motor responses.
The physical devices, Which interface to use ?
You have to know that not only Sight interface exist (HMD...),
but lots of other,l you should have an idea of all the others
What Hardware (interface, computer) ?
What Software (Driver, Toolkit, Programming Language...) ?
CNTT-ĐHBK Hà nội27
Second Level : Mental Immersion / Interactivity of the user
Triadic diagram for the behavioral interfacing
Desired Behavior... where are the
shemas...
Effective motor function : what the
user will do : Schema, Schema by
substitution or Metaphore
Effective perception : as natural as
possible, with as many senses as
possible, and as weel synchorised
(cohering) as possible
programmed motor function :
Behavorial Software Assistance
Programmed perception : what is
available from the virtual world
CNTT-ĐHBK Hà nội28
Các bướcthiếtkế
VR Environments
Content
• story writing
• scenario setup
• semantics
Objects
• geometry and static attributes (color etc…)
• textures
•sound
Dynamics
• object relationships
•events
• dynamic object properties (behavior)
System Implementation
CNTT-ĐHBK Hà nội29
Low Level Tools
• Keep Track of Primitive Lists
• Transformation of Vertices
• Drawing of Primitives
• Reading Devices on Driver Level
• Polygon Intersection Testing
Examples
• C++ Compiler
• OpenGL, Direct3D
CNTT-ĐHBK Hà nội30
High Level Tools
• Loading Objects (Geometry, Sounds…)
• Scene Graph Construction
• Advanced Camera Models
• Automatic Sensor Handling
• Automatic Collision Detection
Examples
• C++ Compiler
• Simulation Libraries (WorldToolKit, VRT, DIVE, dVise)
• WorldUp, Superscape
CuuDuongThanCong.com https://fb.com/tailieudientucntt