1
Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt
bám mục tiêu di động sử dụng mạng nơ-ron
Bùi Trọng Tuyên Phạm Thượng Cát
Viện Vật Lý và Điện Tử Viện Công Nghệ Thông Tin
Email: buituyen@hn.vnn.vn Email: ptcat@ioit.ncst.ac.vn
Tóm tắt:
Báo cáo trình bầy một ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có gắn
camera (hand-eye robot) để quan sát và bám theo mục tiêu. Phương thức điều khiển dựa trên nguyên lý tuyến
tính hoá tín hiệu ảnh phản hồi. Mạng nơ ron được đưa vào nhằm giảm nhẹ tác động của những thành phần ngẫu
nhiên, cho phép sử dụng các tham số có độ chính xác hạn chế vào trong mô hình động học của hệ thống. Mạng
nơ ron được xem như là một yếu tố thích nghi bổ xung vào hệ thống điều khiển để tăng cường khả năng của
chúng.
A scheme based on ANN to control hand-eye robot
for tracking of moving objects.
An application of Neural Networks based visual servoing for hand-eye robot tracking target is
introduced in this paper. The used control method bases input-output feedback linearization technique. The
Neural Network is introduced to compensate model uncertainties of overall system. It suffers if the parameter
values are inaccurate in the model of dynamics, the presence of image distortions and time varying. Adding the
NN controller as adaptive item in the control system is one effective way to compensate for the ill effects of these
uncertainties and in fact it can in some cases be used for parameter estimation.
1. GIỚI THIỆU HỆ THỐNG HAND-EYE RÔ-
BÔT ĐƯỢC SỬ DỤNG.
Hệ thống có sơ đồ mô tả trong hình 1,
trong đó cấu trúc điều khiển sử dụng tín hiệu sai
lệch được định nghĩa trực tiếp dưới dạng thông số
đặc trưng ảnh và được tính trực tiếp trong không
gian ảnh hai chiều (image-based) [1], [2],[3].
Nhiệm vụ của hệ điều khiển này được biểu diến
dưới dạng hàm e: ξ→ Rl trong đó l ≤ k, k là số
chiều của không gian thông số đặc trưng ảnh.
Image-based visual servoing là phương pháp điều
khiển không có tính toán trung gian của quá trình
ước lượng vị trí của hệ thông rô-bốt và camera do
vậy không dựa vào mô hình hình học của đối
tượng. Trong mỗi một trường hợp chuyển động của
tay máy làm thay đổi ảnh quan sát được của
camera, do vậy khi đặt được chỉ tiêp e = 0 thì
nhiệm vụ điều khiển của hệ coi như đạt yêu cầu.
Sơ đồ điều khiển này cho phép khai thác được lợi
thế của điều khiển image-based là việc tính toán tín
hiệu điều khiển cho hệ thống rất ít phụ thuộc vào
quá trình chuẩn hóa camera và không đòi hỏi phải
biết trước mô hình hình học của đối tượng (một yêu
cầu khó đáp ứng trong thực tiễn). Ngoài ra phương
pháp image-based đòi hỏi lượng tính toán ít, đây là
vấn đề rất quan trọng trong điều khiển thời gian
thực.
Trong hệ visual servoing, sensor thị giác
cung cấp lượng thông tin về môi trường và đối
tượng rất phong phú, tuy nhiên tốc độ lấy mẫu của
sensor thị giác chậm khoảng 50 Hz nếu so với tốc
độ các sensor truyền thông dùng để đo vị trí hoặc
tốc độ trong các hệ cơ khí (ví dụ 1000 Hz). Do vậy
việc kết hợp vòng điều khiển khớp riêng biệt với
vòng điều khiển sử dụng thị giác thành hệ điều
khiển phân cấp có các tốc độ lấy mẫu khác nhau.
Cấu trúc này cho phép là tăng độ chính xác của bộ
điều khiển và dễ dàng nâng cao được tốc độ đáp
ứng của hệ thống.
Hình 1: Sơ đồ khối hệ look-and-move image-based visual servoing
Control
Law
Feature’s
extraction Camera
+
_
d
ξ
Joint
Controlle
r
Robot
D
y
namics
Robot
Kinematics
Ob
j
ec
t
e
τ
θ
Image xc
xo
ξ
2
Ta nhận thấy, véc-tơ momen điều khiển
T
m]...[ 21
ττττ
=, trong bài toán điều khiển hand-
eye rô-bốt bám theo đối tượng bằng ảnh (image-
based), được tính toán trên cơ sở sai lệch (e) của
đặc trưng ảnh hiện thời
ξ
nhận từ camera và đặc
trựng ảnh mong muốn d
, thêm vào đó là các tín
hiệu phản hồi trạng thái của các biến trong của rô-
bốt
θθ
&
, nhằm mục đích đưa camera về vi trí mà
tại đó hình ảnh thu nhận được về đối tượng tương
đương với hình ảnh mong muốn.
1.1 Mô hình động lực học của Rô bốt
Động học của một Rô bốt có m khớp nối
được mô tả bằng một hệ phương trình vi phân như
sau:
),()(
θθθθτ
&&& hH += (1)
Trong đó T
m]...[ 21
θθθθ
=là véc tơ góc của các
khớp nối, T
m]...[ 21
ττττ
= là véc tơ mô men
tương ứng với các khớp. )(
θ
H là ma trận quán
tính
[]
mm × phần tử là các hàm số phụ thuộc vào
góc
θ
và véc tơ ),(
θθ
&
h là véc tơ đại diện cho lực
Coriolis, lực ly tâm và trọng lực phụ thuộc phi
tuyến vào góc
θ
vận tốc góc
θ
&.
Đặt các biến trạng thái là vector góc
θ
và vector
vận tốc góc
θ
& ta có phương trình trạng thái của rô-
bốt như sau:
τ
θ
θθθ
θ
θ
θ
+
−
=
−
−)(
0
),()( 1
1H
hH
dt
d
&
&
&
(2)
1.2 Mô tả trạng thái của hệ thống điều khiển phi
tuyến cho hand-eye rô-bốt.
Trong bài báo này trình bày một hệ thống
điều khiển phi tuyến dựa trên cở sở tuyến tính hoá
các tín hiệu đặc trưng ảnh được phản hồi trực tiếp
từ đầu ra trở lại đầu vào, thêm vào đó việc bù trực
tiếp ảnh hưởng quá trình động học của rô-bốt cũng
được sử lý có hiệu quả bằng việc mở rộng thuật
toán tính mô men thực cho các khớp.
Hoạt động của hệ thống có thể hình dung
như sau: khi camera gắn trên tay Rô bốt hướng về
đối tượng và thu nhận được ảnh của đối tượng nếu
các khớp của Rô bốt thực hiện một phép quay
T
m]...[ 21
θθθθ
=sẽ làm cho vị trí của vật trên ảnh
cũng bị thay đổi theo.
Giả thiết rằng ta đã xác định được ma trận
),(
θ
ξ
J và ma trận đó không bị suy biến (đủ hạng)
với một đối tượng không chuyển động. Trong
trường hợp đó đặc trưng ảnh của đối tượng chỉ còn
phụ thuộc vào các biến trong của rô-bốt .
)(
θϕξ
def
= (3)
Chọn các biến trạng thái của hệ thống là:
][]...,...[ 2121
TTT
mm
x
θθθθθθθθ
&&&& == (4)
)( d
Gz
ξ
ξ
−
=
(5)
Được dùng là biến mô tả sai lệch đặt trưng
ảnh, G là ma trận hằng số mn ×2 phần tử. Tổ
hợp các phương trình (2), (4) và (5) ta nhận được
phương trình trạng thái và đầu ra của mô hình
camera gắn trên tay máy như sau:
τ
)()( xgxfx
+
=
& , )( d
Gz
ξ
ξ
−= (6)
với:
−
=−hH
f1
θ
&
,
=−1
0
H
g (7)
Lưu ý chúng ta có thể đo được
θθ
&
, cũng
như tính được
ξ
từ việc phân tích ảnh thu nhận
được.
Nhằm áp dụng kỹ thụât tuyến tính hóa tín
hiệu phản hồi vào mô hình hệ thống trên ta thực
hiện phép lấy đạo hàm bậc nhất và bậc hai của đầu
ra z nhận được kết quả như sau:
θ
&
&GJz = (8)
Để đơn giản đặt
θµ
&
J
def
=
)(
)(
1
1
τθ
θ
µ
τ
θ
θ
µ
θ
µ
+−+
∂
∂
=
+−
∂
∂
∂
∂
=−
−hGJHG
hH
Gz &
&
&
&& (9)
1.3 Mô hình hoá chuyển động của đối tượng và mô
tả trạng thái của hệ thống điều khiển phi tuyến cho
camera gắn trên tay máy trong trương hợp này.
Giả thiết rằng đối tượng chuyển động
trong không gian 0
m chiều 6
0≤m và véc tơ
p
là véc tơ mô tả vị trí và hướng của đối tượng trong
không gian 0
m
Rp ∈. Đồng thời cũng giả thiết
rằng vận tốc của vật được tính theo ma trận tham số
l chiều )1( 0
m
<
Ω
.
Mô hình chuyển động của vật trong không
gian thực được mô tả bởi phương trình sau:
Ω
=
*)( pWp
& (10)
)( pW là ma trận có kích thước lxm0.
Tương tự nhưng trong trường hợp đối
tượng đứng yên nếu các khớp của rô bốt thực hiện
một phép quay hoặc đối tượng di chuyển sẽ làm
cho vị trí của vật trên ảnh thay đổi. Gọi
ξ
là véc tơ
đặt trưng ảnh của đối tượng được định nghĩa trong
không gian ảnh 2 chiều (2D) có 2n chiều tương ứng
n đặc trưng được chọn và
ξ
∂ là sự thay đổi vi
phân của đặc trưng ảnh khi vật và rô bốt thực hiện
các dịch chuyển vi phân p∂ và
θ
∂, mối quan hệ
giữa các đại lượng này như sau:
3
pLJ ∂+∂=∂
θ
ξ
(11)
Trong đó, Jlà ma trận Jacobian của đặc
trưng ảnh và Llà ma trận Jacobian của chuyển
động của đối tượng.
p
i
L
i
J∂
∂
∂
∂
=
∂
∂
∂
∂
=
σ
σθ
σ
σ
, (12)
Trong đó, i là ánh xạ được mô tả như sau:
)(
σξ
i
def
= với
σ
là vị trí tương đối giữa vật và
camera oc XX −=
σ
.
Chọn các biến trạng thái của hệ thống là:
))()((,)( dodcdd pXXiGz −
=
−=
θ
ξ
ξ
ξ
(13)
Trong đó:
=
>
=mnI
mnpJ
G
def
T
,
,),( **
θ
)(**)(
*)(**2
*)(**2
)(2
)(*
**
))(),((
1
2
2
2
2
2
2
2
2
2
ΩΦ+Ω++−=⇒
Ω
∂
∂
∂
∂
Ω+
∂∂
∂
+
∂
∂
+
∂
∂
=⇒
Ω
∂
∂
Ω
∂
∂
+
∂∂
∂
+
∂
∂
+
∂
∂
=
∂
∂
∂
∂
+
∂∂
∂
+
∂
∂
+
∂
∂
=⇒
∂
∂
∂
∂
+
∂
∂
∂
∂
+
∂
∂
∂
∂
+
∂
∂
∂
∂
+
∂
∂
=⇒
∂
∂
+
∂
∂
=⇒
=
−
κλτ
θ
θθ
θ
θθ
θ
ξ
θ
θθ
θ
θθ
θ
θ
θθ
θ
θθ
θ
θ
θ
θ
θθ
θθ
θθ
ϕ
θ
θ
θ
NhGJHz
W
p
z
W
p
p
p
zz
gz
W
p
z
W
p
p
p
zzz
z
p
p
z
p
p
p
p
zzz
z
pp
p
z
p
p
p
z
p
z
p
zzz
z
p
p
zz
z
tptzz
i
TTTT
i
T
i
ii
i
TTTT
i
T
i
i
i
TTT
i
T
i
i
T
i
T
i
T
T
i
T
T
T
i
i
&&
&
&&&&&
&
&&&&&
&&
&&&
&&&&&
&&
&&&
&
&
&&&&&
&
&
&
&
)(:)1(:
11)(:
1)()(:
000
0
00
mxm
z
xm
z
xmxlmxn
p
z
xmplxmpWmxn
z
T
i
T
i
∂
∂
∂
∂
⇒
∂
∂
==Ω
∂
∂
==
∂
∂
θθθ
θ
θ
Trong đó:
=
m
λ
λ
λ
.
.
.
1
,
=
m
N
N
N
.
.
.
1
,
Φ
Φ
=Φ
m
.
.
.
1
và
θ
θ
θλ
&&
2
2
∂
∂
=i
T
def
i
z
W
p
z
Ni
T
def
i
θ
θ
∂∂
∂
=
2
2&
jk
T
i
T
def
ijk W
p
z
W
p
∂
∂
∂
∂
=Φ )(
T
ll
def
liilii
def
i
]......[)(
]......[
2
2
21
2
1
221111
ΩΩΩΩΩΩ=Ω
ΦΦΦΦ=Φ
κ
Viết lại phương trình (9) theo dạng
hNzGJH +ΩΦ−Ω−−= −))(()( 1
κλτ
&& (14)
Hay
γ
τ
+
Ψ
=
z
&& (15)
Như vậy công thức (15) về hình thức tương đương
trương hợp mục tiêu không chuyển động bài toán
đã được giải quyết [11], [12], tuy nhiên việc xác
định
γ
,
Ψ
phải theo công thức trong (16).
1
)( −
=Ψ GJH
và
hNGJH +ΩΦ+Ω+−= −))(()( 1
κλγ
(16)
Tín hiệu đưa vào vòng điều khiển được định nghĩa:
zKzK dP &
−
−
=
ω
(17)
Ta có được sơ đồ điều khiển như trong hình 2, các
ma trận dp KK , chọn là các ma trận hệ số xác
định dương.
Hình 2: Sơ đồ hệ thống điều khiển hand-eye rôbốt
K
Kd
Ψ
ˆ
Tay máy
gắn
Camera
γ
ˆ
)(t
θ
&
)(t
θ
)(t
ω
-
-
+
-
+
+
+
+
τ
+
)(tz
)(tz
&
)(t
ξ
J, L
G
d
ξ
)(t
ξ
G
4
2. THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN SỬ
DỤNG MẠNG NƠ RON.
Điều khiển robot bằng phương pháp tính
mô men được ứng dụng rộng rãi, trong các hệ thống
điều khiển đó đòi hỏi các thông số của hệ động học
cần được xác định chính xác, trong các trường hợp
mà các thông số của hệ thống xác định được không
đảm bảo đủ độ chính xác cần thiết (hầu hết các hệ
thống trong thực tế đều rơi vào trường hợp này) thì
phương pháp trên tỏ ra thiếu tính hiệu quả.
Như đã trình bầy ở trên, các véc tơ z
được sử dụng thay thế cho tín hiệu phản hồi của đặc
trưng ảnh. Để có thể tính đựợc mô men
τ
trong sơ
đồ ở hình 5.9 các đại lượng Ψ,
γ
được xác định
theo công thức (16). Tuy nhiên trong quá trình tính
toán Ψ,
γ
theo công thức (16) phải sử dụng các
giá trị gần đúng )(
ˆ
θ
H và ),(
ˆ
θθ
&
h để thay thế
cho )(
θ
H và ),(
θθ
&
hdo vậy cũng sẽ chỉ nhận
được các giá trị gần đúng Ψ
ˆ,
γ
ˆ (
Ψ
=∆Ψ ˆ-
Ψ
và
γ
γ
γ
−=∆ ˆ) của Ψ,
γ
.
Sơ đồ hệ thống điều khiển được mô tả
trong hình 3 với tín hiệu điều khiển
ω
được xác
định theo (17). Khi chưa quan tâm đến mạng nơ-
ron thì mô men điều khiển
τ
được tính
τ
=
Ψ
ω
+
γ
(18)
thay (17) vào (18) ta có
τ
=
γ
ˆ
)(
ˆ+−−Ψ zKzK dp & (19)
mặt khác phương trình (15) mô tả trạng thái của hệ
thống có thể được viết lại ta nhận đươc (20)
=+Ψ=
γ
τ
z
&&
γγ
ˆ
)
ˆ
(+∆−∆Ψ−Ψ z
&& (20)
Đồng nhất các phương trình (19) và (20)
γ
ˆ
)(
ˆ+−−Ψ zKzK dp &=
γγ
ˆ
)
ˆ
(+∆−∆Ψ−Ψ z
&&
Rút ra được phương trình đặc trựng của hệ kín như
sau: )(
ˆ
)( 1
γν
∆+∆ΨΨ=++= −
zzKzKz pd &&&&& (21)
)(
ˆzKzKzz pd ++Ψ=∆+∆Ψ &&&&&
γ
Trong trường hợp xác định được chính xác các
tham số của hệ thống nghĩa là 0=∆Ψ và
0
=
∆
γ
0=
+
+
zKzKz pd &&& (22)
Như vậy sẽ đảm bảo cho hệ thống ổn định tại điểm
)0,0(),(
=
zz & hoặc d
ξ
ξ
= thông qua việc lựa
chọn các ma trận hệ số pd KK ,.
Như đã trình bầy ở trên mạng nơ ron được đưa vào
để bù cho những tham số của hệ thống xác định
không chính xác. Mạng nơ ron sử dụng là mạng
truyền thẳng (feedforwork neural network) có cấu
trúc hai lớp, lớp ẩn (hidden layer) và lớp đầu ra
(output layer) với đầu vào là 3 vectơ z tại các thời
điểm )(tz , ).1( Ttz
∆
−
, ).2( Ttz ∆− và chu
kỳ trễ (delay-time step
T
∆) là chu kỳ lấy mẫu của
thông tin ảnh hồi tiếp. Các nơ-ron ở lớp ẩn có hàm
kích hoạt là “sigmoid” (sigmoid activated function).
Đầu ra của mạng T
m]...[ 21
φφφφ
=có số nơ ron
tương ứng số khớp nối của robot và hàm kích hoạt
là tuyến tính.
Sau khi đã bổ xung mạng nơ ron thì mô men tại các
khớp nối được tính như sau:
)(t
new
τ
=
Ψ
(
θ
) (
ω
+
φ
) +
ψ
),(
θθ
& (23)
Hình 3: Sơ đồ hệ thống điều khiển tay máy gắn camera có sử dụng mạng nơ ron.
K
K
Ψ
ˆ
Tay máy
gắn
Camera
γ
ˆ
)(t
θ
&
)(t
θ
)(tz
)1( −tz
)2( −tz
ν
Mạng nơ-ron
+
+
+
φ
)
(
t
ω
-
-
+
-
+
+
+
+
τ
+
)(tz
)(tz
&
)(t
ξ
G
G
d
ξ
)(t
ξ
J,L
5
thực hiện các bước biến đổi như trong (20), (21),
(22) và (23) nhận được sai số của vòng kín là:
=++= zKzKz Pd &&&
ν
Ψ
-1(∆Ψ
θ
&& +∆
ψ
) -
φ
(24)
Mục đích của việc bổ xung mạng nơ ron là nhằm
giảm sai số
ν
về không. Do vây
ν
được xem như
là chính sai số của đầu ra mạng nơ ron và được sử
dụng để huấn luyện mạng.
Giá trị lý tưởng của
φ
là tại
ν
= 0 và là:
φ
= Ψ-1(∆
Ψ
θ
&& +∆
ψ
).
Để chứng minh cho nhận xét trên, quá trình huấn
luyên mạng là nhằm tối thiểu hóa hàm sai số
ν
,
đặt hàm mục tiêu
E
vvE T
2
1
= (25)
Lấy đạo hàm của hàm số
E
theo các trọng (w) của
mạng ta được:
v
w
v
w
v
w
ETT
∂
∂
−=
∂
∂
=
∂
∂
φ
(26)
vì thực tế theo (5.60) thì
ww
vT
T
∂
∂
−=
∂
∂
φ
. Thuật học
lan truyền ngược (back-propagation) được sử dụng
để cập nhật các giá trị trọng mới, thuật học được cải
tiến bằng việc bổ xung thêm một thành phần gọi là
momentum được dẫn ra trong công thức (27).
)1()( −∆+
∂
∂
−=∆ twv
w
tw
T
α
φ
η
(27)
Với
η
là tốc độ cập nhật trọng và
α
là hệ số của
thành phần momentum.
Hình 4: Sơ đồ mạng nơ-ron hai lớp sử dụng trong hệ điều khiển
hand-eye rô-bốt
3. KẾT LUẬN.
Những nghiên cứu cho thấy việc áp dụng
phương pháp tính mô men trong điều khiển visual
servoing có sử dụng trực tiếp các thông tin ảnh
phản hồi là thực hiện và có ý nghĩa thực tế. Việc
đưa thêm mạng nơ ron như là một yếu tố thích nghi
nhằm bù nhưng sai lệch do việc không xác định
được chính xác các tham số của hệ thống là hoàn
toàn phù hợp.
TÀI LIỆU THAM KHẢO
[1]. A. C. Sanderson, L. E. Weiss, and C. P.
Neuman. Dynamic sensor-based control of
robots with visual feedback, IEEE
Trans.Robot.Autom, vol. RA-3, pp.404-417,
Oct.1987.
[2]. Seth Hutchinson, gregory D. Hager, and Peter
I. Corke. A Tutorial on Visual Servo
Control, IEEE Transactions on Robotics and
Automation, 12(5) October 1996.
Φ
1
Φ
2
Φ
m
z2(t)
zn(t)
z1(t-1)
z2(t-1)
zn(t-1)
z1(t-2)
z2(t-2)
z1(t)
zn(t-2)
km
w
nk
w
1
2
3
4
5
k