Nghiên cu phát trin h Robot – camera
t động tìm kiếm và bám đối tượng di động VICON.
PGS. TSKH Phm Thượng Cát, Ths. Trn Vit Phong
Phòng công ngh T Động Hóa - Vin Công Ngh Thông Tin
Tel. 8363484, e-mail: ptcat@ioit.ncst.ac.vn
Tóm tt:
H điu khin visual servoing bám đối tượng di động liên quan đến vn đề điu khin và th giác máy được
rt nhiu tác gi quan tâm. H thng được trình bày trong báo cáo này bao gm mt robot hai bc t do pan/tilt
có gn mt camera. H thng có nhim v bám đối tượng đang di chuyn vi qu đạo không biết trước, thông
qua điu khin các khp quay ca robot sao cho nh ca đối tượng thu được chính gia tâm camera. Báo cáo
đưa ra mô hình động hc ca h, liên quan đến v trí ca đối tượng trong nh và góc quay pan, tilt. Sau đó, để
mc tiêu luôn luôn chính gia nh, mt mô hình d báo v trí và tc độ ca mc tiêu được áp dng. Báo cáo
cũng gii thiu v phương pháp xnh, t động tìm kiếm và nhn dng đối tượng di động. Các kết qu nghiên
cu được áp dng trong h thc nghim VICON cho kết qu rt kh quan.
Development of a Robot-camera system VICON
for automatic recognition and tracking of moving objects.
Abstract:
The robotic visual servoing system relates to robot control and machine vision issue has received many
attention from reseachers. The system introduced in this paper consists of a pan/tilt robot with 2 degree of
freedom (pitch and yaw) that controls a videocamera. The aim of system is to move robot in such a way that the
image of an unknown moving object attains the center of camera. We propose a kinematic model that relates the
position of object’s centroid in the image plane with the pan and tilt rotation angles. In order to permanently
maintain the object in the field of vision of videocamera, a prediction algorithm is used. This paper also briefly
describes image processing, auto detection and recognition of moving objects. The experiments with VICON
system present good results.
1.GII THIU.
H thng điu khin robot có th giác được
s dng để theo dõi các mc tiêu di động trong các
ng dng ca robot công nghip và quc phòng. H
thng th giác có th được phân thành hai lp, theo
như cu trúc ca h, đó là h có camera gn c định
và h có camera gn trên tay máy (eye-in-hand).
Trong h camera c định, các camera được gn c
định so vi h ta độ thc, thu thp nh ca c mc
tiêu và ca c môi trường. Mc đích ca h này là
cung cp tín hiu điu khin tay máy sao cho tay
máy đạt ti v trí mong mun. Mc đích ca cu
trúc eye-in-hand là điu khin tay máy sao cho nh
ca mc tiêu c định hoc di động luôn luôn được
duy trì v trí mong mun trên mt phng nh thu
được. Trên cơ s nh thu được t camera, được s
hóa và tích hp trong vòng điu khin phn hi, h
thng điu khin các khp ca tay máy (DOF). Để
ci thin cht lượng ca h bám, các thut điu
khin khác như thích nghi, ti ưu, lc Kalman
thường được s dng. S bc t do ca robot tùy
thuc tng bài toán c th, ví d khi
th thay đổi không biết trước (do gió, ánh sáng thay
đổi). Các nghiên cu v h môi trường động b b
khá xa so vi h môi trường tĩnh do b nh hưởng
khá ln ca tc độ tính toán, cũng như độ chính xác
ca vic phân tích nh. Do vy, có nhiu thut toán
để ci thin tc độ xnh và xem xét đến các
yếu t nhiu tác động lên quá trình thu thp nh.
Mt thách thc khác ca bài toán visual servoing là
vic phân loi đối tượng. Mt robot có th phi đối
mt vi rt nhiu đối tượng khác nhau, trong đó ch
có mt đối tượng quan tâm, còn các đối tượng khác
thì không. Do vy chúng ta phi m rng kh năng
ca h thng bao gm chc năng thông minh t
nhn dng chính xác đối tượng cn tìm. Để nhn
được thông tin v v trí ca mc tiêu trong môi
trường động, các đặc trưng ca mc tiêu rt quan
trng. Các đim l, các góc cnh, các đặc trưng
hình hc ca mc tiêu được phân tích thông qua
quá trình nhn dng. Đặc tính v trng tâm ca mc
tiêu có th d dàng tính thông qua momen bc nht
ca nh, trong trường hp môi trường tĩnh, nhưng
trong trường hp môi trường động, vic này rt khó
thc hin vì chi phí thi gian tính toán ln. Mt gii
pháp hay được s dng để lc nhiu, do v trí
tiếp theo ca mc tiêu, do đó gim đáng k thi
gian xnh, được trình bày trong trong bài báo là
phương pháp lc Kalman.
H thng VICON đưc thiết kế da trên sơ đồ hình
1 đưc th nghim trong phòng thí nghim cho kết
qu tt, mc dù có mt s hn chế s được trình bày
phn sau. Bài báo này được t chc như sau.
Phn th nht mô t h bám mc tiêu di động. Phn
th hai trình bày v mô hình động hc ca h
thng. Phn tiếp theo gii thiu v mô hình b lc
Kalman trong d báo v trí mc tiêu. Phn th 4 là
thut toán nhn dng, xnh. Kết qu th nghim
h thng VICON s được trình bày phn 5. Cui
cùng là kết lun và hướng nghiên cu tiếp theo.
2. MÔ T H BÁM MC TIÊU DI ĐỘNG.
H bám mc tiêu di động được trình bày
trong bài này như hình 2. H thng bao gm mt b
quay hai bc t do (2DOF), camera CCD có th di
chuyn đồng thi theo hai hướng pan và tilt.
Hình 2. Thiết b điu khin pan/tilt-camera.
Cu trúc h điu khin visual servoing gm hai
thành phn chính. Phn th nht là phn xnh,
da vào chui nh liên tiếp thu được t camera để
nhn dng và tính toán v trí ca đối tượng quan
tâm. Phn th hai là phn điu khin, da vào thông
tin v trí ca đối tượng trong mt phng nh, tính
toán tín hiu điu khin robot sao cho nh ca đối
tượng di chuyn duy trì chính gia mt phng
nh.
Precision
deg/step
Range
deg
Max velocity
deg/s
Pan 0.01290-1590 – +158060
Tilt 0.01290-300 – +41060
Bng 1. Các đặc trưng ch yếu ca Robot.
Các thông s cơ bn ca robot được gii thiu như
trên bng 1.
Do các tín hiu điu khin da trên thông tin x
nh, nên mt mô hình ánh x t mt phng nh vào
không gian robot cn được thc hin. Hơn na, để
gim nh hưởng ca nhiu và gim khi lượng tính
toán trong xnh nên các bước tin x lí, nhn
dng, thích nghi cũng được s dng. Các bước này
s ln lượt được trình bày dưới đây.
3. MÔ HÌNH HÓA ĐỘNG HC ROBOT.
Nhm mc đích duy trì nh ca mc tiêu
càng gn tâm ca mt phng nh, chúng ta thiết lp
mi quan h tương đối gia biến quan sát được x0
và y0 là ta độ ca đối tượng trên h ta độ gn vi
mt phng nh (IP), đối vi biến điu khin ca
robot φθ.
Yc Xc
Oc P(X, Y, Z)
Zc
ZY'
d
2
θ
φ
d
1
XOX'
Z'
Y
Hình 3. Mô hình động hc h.
Trong hình 3, ta có th nhìn thy rng φθ là các
góc quay xung quanh trc tương ng là OZOZ’,
sao cho, sau khi di chuyn tâm ca mc tiêu di
động có ta độ P(X, Y, Z) s được ánh x lên tâm
ca mt phng nh.
Mô hình động hc ca h s được th hin trong hai
phn. Đầu tiên là xây dng mt mô hình hình hc
xp x quan h gia biến điu khin và biến quan
sát. Tiếp theo, s dng xp x đó để xây dng mô
hình động hc ca h.
2
1. Mô hình xp x hình hc.
Gi OXYZ là h to độ thc ca h robot-camera
và OXcYcZc là h to độ gn vi camera. P(X, Y, Z)
là to độ ca đối tượng trên h to độ thc, to độ
ca P chiếu lên mt phng nh là (xp, yp). Hình 4
th hin quan h hình hc ca góc quay φ là góc
quay ca h robot-camera sao cho tâm ca đối
tượng P(X, Y, Z) nm trên trc OcZc. T hình v 4,
có th nhn thy:
X
Y
)tan( =φ (1)
λ
=
==α p
c
cx
dX
Y
Z
X
)tan(
1
(2)
trong đó X và Y th hin v trí ca tâm mc tiêu
trong h ta độ thc, d1 là khong cách t trc OY
đến trc OcXc , λ là tiêu c camera.
T (1) ta nhn thy, để tính được φ chúng ta phi
biết X và Y, là các đại lượng không đo được, cũng
không quan sát được, khi ch dùng mt camera tĩnh.
Cũng t (2) ta nhn thy rng, t xP, là biến có th
quan sát được, và λđại lượng có th đo được, ta
có th tính được α.
Nếu sai s để có th xp x φ αđủ nh, thì φ
th tính qua α, do đó có th tính φ t các đại lượng
đo được và quan sát được.
Nếu φe là sai lch khi thc hin xp x này thì ta có
φ = α + φe. Do đó ta có th viết:
)tan()tan(1
)tan()tan(
)tan()tan(
e
e
e
φα
φα
φαφ
+
=+=
(3)
t (1), (2), (3) ta có:
1YXdX
t (4) có th nhn thy rng sai s khi thc hin xp
+
=φ 22
1Yd
arctan
e (4)
- 0. Khi h điu khin bám chính xác
-
d và Y, tc là X >> d Y .
n gii ca robot và sai s do nhiu
ác biến quan sát được x , y đo lường được λ.
2. Mô hình động hc ca h robot-camera.
x có th chp nhn được, trong các trường hp sau:
limY0 φe =
đối tượng.
- limd10 φe = 0. Khi gc O và Oc là trùng nhau.
limX→∞ φe = 0. Khi khong cách X rt ln so vi
1 1
Các gi thiết này được áp dng cho mô hình động
hc ca h thng đang xét vi sai s nh φc 0.005
rad. Sai s này có th chp nhn được nếu so vi
sai s do độ phâ
trong xnh.
Đối vi xp x góc θ cũng tính tương t. Ta có th
kết lun rng, khi tính φθ có th gi thiết rng O
và OC trùng nhau. Mc đích ca xp x này là
chúng ta có th tính góc quay pan φ và góc tilt θ t
cP P
Nhm mc đích tìm mô t quan h gia xp và yp đối
vi φθ, đầu tiên ta tìm ma trn chuyn đổi đồng
nht ca hai phép quay camera xung quanh O
mt góc φθ.
O
Oc
R
H to độ quy chiếu ca robot được xác định theo
quy tc David - Hetenberg như trên hình 3.
Hình 4. Phép chiếu quay quanh trc OZ.
Ma trn chuyn t h to độ O’X’Y’Z’ v h to độ
OXYZ:
Ma trn chuyn t h to độ OcXYZ v h to độ
O’X’Y’Z’ khi quay quanh O’Z’ góc θ:
Ma trn đồng nht khi chuyn t h to độ camera
Oc v h to độ thc O là . Ma trn
đồng nht khi chuyn t h ta độ thc O v h ta
độ camera O
'O
O
O
'O
O
OCC RRR =
c, theo định nghĩa ta có:
(
)()
T
O
O
O
O
O
OCC
cRRR == 1
Do vy:
=
c
O
O
R
Hình 3 và hình 4 ch ra rng các đim P(X, Y, Z) s
được chiếu lên tâm ca mt phng nh IP sau khi
thc hin phép quay φθ . Do vy, khi biết ma
trn đồng nht , ta có th viết được như sau:
c
O
O
R
(5)
cos(
φ
) 0 sin(
φ
) 0
sin(
φ
) 0 -cos(
φ
) 0
0 1 0 0
0 0 0 1
O
O'
R=
cos(
φ
)cos(
) sin(
φ
)cos(
) sin(
) 0
-cos(
φ
)sin(
θ
) -sin(
φ
)sin(
θ
) cos(
θ
) 0
sin(
φ
) -cos(
φ
) 0 0
0 0 0 1
Y
P(X, Y, Z)
Xc
Y
φ
Z
c
λ
α
xp
O
OcX
IP
d1
X
cos(
θ
) -sin(θ) 0 0
sin(θ) cos(θ) 0 0
0 0 1 0
0 0 0 1
'O
O
C
R=
c
0
0
1=
3
Trong đó, (c, 0, 0, 1) và (X, Y, Z, 1) là ta độ đồng
nht ca đim P khi nhìn trong h to độ Oc và h
to độ O tương ng.
Gii (5) ta có:
Xsin(φ) - Ycos(φ) = 0 (6)
-Xcos(φ)sin(θ) - Ysin(φ)sin(θ) + Zcos(θ) = 0
ta có:
=φ X
Y
arctan
(7)
()
φ=θ cos
Y
Z
arctan
t gi thiết xp x (1) và (2) ta có:
λ
=φ p
x
arctan
(8)
()
φ
λ
=θ cos
y
arctan p
Công thc (8) biu din quan h gia v trí ca mc
tiêu trên h ta độ nh và các biến điu khin ca
robot, qua đó ta có th điu khin robot sao cho nh
ca mc tiêu tiến ti chính gia ca mt phng nh.
Trước khi trình bày v phn xnh, ta gii thiu
v phương pháp d báo v trí, tc độ ca mc tiêu
trên nh để điu khin sao cho nh ca mc tiêu
luôn duy trì chính gia mt phng nh khi mc
tiêu di chuyn, đồng thi phép d báo này cũng làm
gim khi lượng tính toán xnh.
3. D BÁO V TRÍ CA MC TIÊU TRONG
MÔI TRƯỜNG CÓ NHIU BNG B LC
KALMAN.
Bài toán bám mc tiêu di động vi qu
đạo không biết trước yêu cu phi d báo được v
trí và tc độ ca đặc trưng nh bước tiếp theo. B
lc Kalman được s dng để ước lượng d đoán
căn c vào thông tin nh thu được t camera s ti
thi đim hin ti. B lc Kalman được coi như b
ước lượng trng thái h thng, có cu trúc lc đơn
gin và độ hi t tt cùng vi kh năng lc nhiu
cao [8], [9], [10].
Mô hình cn được ước lượng d báo được mô t
bi h phương trình trng thái:
kkk
kkk
ζCxy
GωAxx
+=
+=
+
+
1
1 (15)
đây, xy tương ng là vector trng thái và
vector đầu ra ca h thng, các ch s ‘k’ và ‘k+1’
ch các vector ti thi đim th k và k+1. Đối vi
bài toán ước lượng đặc trưng nh, ta có:
T
kkkkk vvuu ][ &&
=x;
T
kkk vu ][=y
trong đó (uk, vk) và tương ng là to
độ và tc độ ca nh đối tượng trên mt phng nh
thi đim th k.
),( kk vu &&
- Nhiu quá trình ωknhiu th hin độ không
chính xác ca mô hình và được gi thiết là nhiu n
trng có giá tr k vng bng 0 và ma trn tương
quan Q; ζk là nhiu đo lường do độ không chính
xác ca sensor và cũng được gi thiết là nhiu n
trng có giá tr k vng bng 0 và ma trn tương
quan R. Trong mô phng Q, R được chn xác định
dương và là các ma trn đơn v.
Trong bài toán d báo v trí và vn tc ca
đim đặc trưng, ta xp x chuyn động ca mc tiêu
gia hai ln ct mu T có vn tc không đổi.
Các ma trn được tính như sau:
=
1000
100
0010
001
AT
T
=0100
0001
C
G = I
Gi P là ma trn tương quan sai lch, ban đầu P0
chn là ma trn đơn v, ch s “-“ xác định giá tr
trước thi đim hin ti.
Ta có thut toán lc Kalman [9]:
Đầu ra ca b d báo cho ta v trí và tc độ ca
đim đặc trưng.
Mô phng ca b lc d báo Kalman được trình
bày trên hình 5, khi nh ca mc tiêu di chuyn vi
qu đạo thng.
Hình 5. Kết qu b lc Kalman.
X
Y
Z
1
cos(
φ
)cos(
) sin(
φ
)cos(
) sin(
) 0
-cos(
φ
)sin(
θ
) -sin(
φ
)sin(
θ
) cos(
θ
) 0
sin(
φ
) -cos(
φ
) 0 0
0 0 0 1
4
Trong thc tế, áp dng b lc Kalman ph thuc
nhiu vào vic la chn ma trn tương quan Q, R.
Ngoài ra nếu mc tiêu di chuyn vi s thay đổi
qu đạo nhanh chóng, tc là gi thiết tc độ mc
tiêu là hng s gia hai ln ly mu không còn
chính xác thì vic do bng b lc Kalman s
tiến ti kết qu không n định. Khi đó có th s
dng phương pháp d báo khác như phương pháp
Luenberger [10].
4. NHN DNG VÀ BÁM MC TIÊU DI
ĐỘNG.
Nhn dng mc tiêu di động là bước quan
trng trong h t động tìm kiếm và bám mc tiêu di
động. Mc đích ca quá trình này là thc hin các
phép xnh để tìm kiếm đối tượng cn quan tâm,
xác định v trí ca nó trong mt phng nh hin
thi. Trong quá trình tìm kiếm, ta chia mt nh
tp hp các pixel bao gm hai thành phn, hoc là
thuc đối tượng, hoc là thuc nn. Ta xem xét vic
tìm kiếm để nhn dng các đim thuc đối tượng
trong mi nh thuc chui nh thu được.
Có rt nhiu cách để nhn dng mt đối tượng, ví
d ta có th áp đặt mô hình ca đối tượng đã biết
trước (màu sc, hình dáng) lên toàn b nh, t đó
tìm ra v trí phù hp nht ca đối tượng trong nh.
Tuy nhiên cách này phi tn nhiu thi gian, và
không hiu qu trong thc tế. Mt phương pháp
nhanh hơn để xnh và nhn dng đối tượng
được trình bày như lưu đồ trên hình 6.
Hình 6. Lưu đồ xnh.
Để đánh giá trng thái ca mt pixel là đối tượng
hay là nn, chúng ta gi thiết là đối vi các pixel
thuc nn, cường độ sáng thay đổi chm, trong khi
đó đối vi pixel thuc đối tượng, cường độ sáng
thay đổi ln. Như vy, mt phép so sánh được thc
hin gia các pixel trong nh hin thi, nếu giá tr
ca pixel ln hơn ngưỡng đặt trước, pixel đó có giá
tr 1, nếu không pixel có giá tr 0. Nếu ngưỡng quá
ln, pixel thuc đối tượng có th ln vi nn, nếu
ngưỡng quá nh, thì s thay đổi ánh sáng trong môi
trường s to ra nhiu pixel có giá tr 1, mà các
dim này li không phi là đim quan trng.
Ngưỡng hp lí được to ra sau khi thc hin mt s
phép lc nhiu và các bước tin xnh khác.
Khi nh đã được x lí ngưỡng, nh nh phân thu
được s gm các pixel có hai trng thái 0 và 1. Các
pixel 0 thuc nn và các pixel 1 thuc các đối
tượng, ta phi phân tích các đối tượng được th
hin. Tuy nhiên nh thu được s bao gm rt nhiu
đối tượng khác nhau, bao gm c nhiu, nhưng
trong đó ch có duy nht mt đối tượng cn quan
tâm. Các bước xnh nh phân tiếp theo được
thc hin nhm loi b nhiu, hoc đin đầy các l
ca đối tượng, cũng làm gim khi lượng tính toán
ca các bước xnh tiếp theo. Quá trình phân
đon nh thành tng đối tượng riêng r đưc thc
hin thông qua algorithm đánh nhãn liên tiếp
(Sequential Labeling Algorithm). Quá trình này có
th to ra hàng trăm đối tượng khác nhau, trong đó
ch có mt s đối tượng gn vi đối tượng quan
tâm. Mt quá trình quét tiếp theo s loi b các đối
tượng không hp lý so vi đối tượng mu.
Bước tiếp theo là phân tích các đặc trưng ca các
đối tượng va thu thp được trên nh, và quyết định
xem đối tượng nào thuc lp đối tượng quan tâm.
S dng phương pháp momen bt biến hoc
phương pháp quyết định Bayes là các bin pháp
tương đối hiu qu [4]. Vic còn li là xác định v
trí trng tâm ca mc tiêu trên nh tương đối đơn
gin, thông qua xác định momen bc nht.
Quá trình xnh được thc hin không phi trên
toàn b nh thu đưc, mà s dng kết qu do
trên để làm gim thi gian tính toán. Hình 7 th
hin nh kết qu sau khi đã thc hin nhn dng.
Bt đầu
Tin x l
ý
a) nh gc. b) nh sau khi x
Hình 7. nh sau khi qua các bước x lí.
5. TH NGHIM H THNG.
H thng VICON được xây dng bao gm
mt robot tay máy vi hai bc t do pan và tilt ca
hãng DPerception Inc, như hình 1, vi các đặc
trưng ch yếu ca robot gii thiu trong bng 1.
Camera CV-M50, monochrome CCD Camera ca
hãng JAI Corporation, có tiêu c λ = 8mm, tín hiu
ra video 25 hình/s. Quá trình thu thp nh và s hóa
nh được thc hin nh card xnh FrameLocker
ca hãng Ajeco, tc độ x lí 33ms. Thiết b tính
toán và điu khin là mt máy tính Touchscreen
màn hình 6.4 inchs, theo chun PC104, tc độ x
800MHz/s, do hãng Nagasaki IPC Technology chế
to. Phn mm ca h điu khin và xnh được
viết bng ngôn ng C trên môi trường MS-DOS.
nh nh
p
hân
nh phân vùng
Nhn dng
m
c tiêu
Xác định ta độ
m
c tiêu
Kết thúc
5