NGHIÊN CỨU PHƯƠNG PHÁP KẾT HỢP CÁC ĐẶC TRƯNG MÀU SẮC HÌNH DẠNG VÀ VỊ TRÍ ĐỂ TRUY VẤN ẢNH

2
1.4.2 Truy vấn ảnh sử dụng chỉ mục màu sắc, hình dạng và vị trí 24

1.4.3 Truy vấn ảnh dựa trên mạng Nơron 27

Chương 2: ĐỀ XUẤT HỆ THỐNG LIÊN MẠNG META-NƠRON 34

2.1 Mạng Nơron 34

2.2 Hệ thống liên mạng meta-Nơron 36

2.2.1 Giới thiệu các phương pháp kết hợp 36

2.2.2 Kiến trúc của hệ thống liên mạng meta-Nơron 43

2.2.3 Quá trình huấn luyện của hệ thống liên mạng 48

2.2.4 Quá trình đánh giá một mẫu X qua hệ thống liên mạng 52

2.3 Hệ thống liên mạng meta-Nơron cho bài toán truy vấn ảnh 53

Chương 3: MỘT ÁP DỤNG CỦA HỆ THỐNG LIÊN MẠNG
META-NƠRON 58

3.1 Rút trích các đặc trưng của ảnh 58

3.2 Kiến trúc hệ thống liên mạng meta-Nơron 61

3.3 Xây dựng hệ thống liên mạng meta-Nơron 62

Chương 4: CHƯƠNG TRÌNH ỨNG DỤNG 70

4.1 Quá trình xử lý ảnh trước khi đưa vào hệ thống liên mạng 70

4.2 Rút trích các đặc trưng và lưu vào cơ sở dữ liệu 73

4.3 Tìm cấu hình mạng tối ưu 74



3
4.4 Thực hiện truy vấn tìm vùng du lịch 77

Chương 5: KẾT LUẬN 79

TÀI LIỆU THAM KHẢO 82

PHỤ LỤC A: Mạng Nơron Lan Truyền Ngược 86

PHỤ LỤC B: Cơ Sở Dữ Liệu Ảnh 89

PHỤ LỤC C: Cơ Sở Dữ Liệu Đặc Trưng 93




4
DANH MỤC BẢNG BIỂU
Bảng 1.1: Thống kê lựa chọn đặc trưng của một số hệ thống truy vấn ảnh 15

Bảng 1.2: Bảng thông số 25 màu cơ bản 25

Bảng 1.3: Bảng kết quả thực nghiệm hệ thống của B.G. Prasad, K.K Biswas và
S.K. Gupta 26

Bảng 1.4: Kết quả hệ thống NNFIR 33
Bảng 3.1: Biểu diễn ảnh thành các đặc trưng 60

Bảng 3.2: Thực nghiệm phân hoạch Hạ Long theo mạng con 63

Bảng 3.3: Thực nghiệm phân hoạch Hà Nội theo mạng con 64

Bảng 3.4: Thực nghiệm phân hoạch Nha Trang theo mạng con 64

Bảng 3.5: Thực nghiệm phân hoạch qua toàn hệ thống liên mạng 66
Bảng 4.1: Kết quả thực nghiệm một số phương pháp 78
Bảng C.1: Mô tả cơ sở dữ liệu đặc trưng 94




5
DANH MỤC HÌNH VẼ VÀ BIỂU ĐỒ
Hình 1.1: Hệ thống truy vấn ảnh của Yahoo 10

Hình 1.2: Mô hình rút trích đặc trưng thời gian thực 11

Hình 1.3: Mô hình tách riêng cơ sở dữ liệu đặc trưng 12

Hình 1.4: Hệ thống truy vấn ảnh với cơ sở tri thức 13

Hình 1.5: Hệ thống truy vấn ảnh kết hợp màu sắc và kết cấu 22

Hình 1.6: Hai dạng lược đồ mức xám 23

Hình 1.7: Quá trình phân tách mức xám 24

Hình 1.8: Phân vùng vị trí 26

Hình 1.9: Hệ thống truy vấn ảnh NNFIR 27

Hình 1.10: Ảnh gốc 29

Hình 1.11: Ảnh qua phép biến đổi wavelet song trực giao mức 1 29

Hình 1.12: Ảnh qua phép biến đổi wavelet song trực giao mức 2 30

Hình 1.13: Ảnh qua phép biến đổi wavelet song trực giao mức 3 30

Hình 1.14: Mối quan hệ giữa khoảng cách, RBNF và UF 32

Hình 1.15: Kết quả lần truy vấn lần đầu 32

Hình 1.16: Kết quả truy vấn sau khi nhận phản hồi 33
Hình 2.1: Mạng Nơron truyền thẳng 34



6
Hình 2.2: Mẫu X đặc trưng bởi m vector 37

Hình 2.3: Tổng thể hệ thống liên mạng 37

Hình 2.4: Quá trình xử lý của các mạng con 38

Hình 2.5: Phương pháp kết hợp trung bình kết quả các mạng con 39

Hình 2.6: Kết hợp mạng Nơron và thuật giải di truyền (NN_GA) 40

Hình 2.7: Tổng quan mô hình kết hợp bằng hệ thống liên mạng 42

Hình 2.8: Gộp kết quả các mạng con chuẩn bị đưa vào mạng toàn cục 44

Hình 2.9: Đưa các vector R
i
vào mạng kết hợp 46

Hình 2.10: Phân lớp mẫu m vector 46

Hình 2.11: Mô hình liên mạng (m, n, L) 47

Hình 2.12: Huấn luyện mạng con RN
1
của hệ thống liên mạng meta-Nơron
(m, n, L) 49

Hình 2.13: Huấn luyện mạng thành phần TP
1
của hệ thống liên mạng
meta-Nơron (m, n, L) 51

Hình 2.14: Sơ đồ rút trích đặc trưng 54

Hình 2.15: Kiến trúc hệ thống liên mạng meta-Nơron áp dụng trên ảnh 56
Hình 3.1: Sơ đồ rút trích đặc trưng 58

Hình 3.2: Ảnh đầu vào 60

Hình 3.3: Hệ thống liên mạng (m=4, n=5, L=3) 62



7
Hình 3.4: Biểu đồ thực nghiệm mạng phân lớp Hạ Long 67

Hình 3.5: Biểu đồ thực nghiệm mạng phân lớp Hà Nội 67

Hình 3.6: Biểu đồ thực nghiệm mạng phân lớp Nha Trang 67

Hình 3.7: Tổng quan quá trình xử lý của hệ thống liên mạng cụ thể
(m=4, n=5, L=3) 69
Hình 4.1: Ảnh gốc dùng truy vấn 70

Hình 4.2: Phần nền và phần nổi 71

Hình 4.3: Vùng 1 71

Hình 4.4: Vùng 2 72

Hình 4.5: Vùng 3 72

Hình 4.6: Vùng 4 73

Hình 4.7: Cập nhật đặc trưng vào cơ sở dữ liệu 74

Hình 4.8: Huấn luyện với số nút ẩn tối ưu 76

Hình 4.9: Kết quả truy tìm vùng du lịch 77

Hình 4.10: Chức năng thống kê xác định vùng du lịch 78

Hình 4.11: Biểu đồ so sánh một số phương pháp 79
Hình A.1: Mạng Nơron 86
Hình A.2: Hoạt động của một Nơron 86
Hình A.3: Một số hàm truyền 87


8

Hình B.1: Ảnh huấn luyện 1 89

Hình B.2: Ảnh huấn luyện 2 89

Hình B.3: Ảnh huấn luyện 3 90

Hình B.4: Ảnh huấn luyện 4 90

Hình B.5: Ảnh kiểm tra 1 91

Hình B.6: Ảnh kiểm tra 2 91

Hình B.7: Ảnh kiểm tra 3 92

Hình B.8: Ảnh kiểm tra 4 92
Hình C.1: Cơ sở dữ liệu đặc trưng 93




9
Chương 1:

TỔNG QUAN VỀ TRUY VẤN ẢNH
VÀ CÁC HƯỚNG TIẾP CẬN
1.1 Giới thiệu chung

Xử lý ảnh là lĩnh vực nghiên cứu đang phát triển không ngừng bởi tính trực
quan sinh động cũng như khả năng áp dụng vào thực tế lớn. Hiện xử lý ảnh đang
giành được nhiều sự quan tâm của các nhà nghiên cứu trong và ngoài nước. Trong
xử lý ảnh, truy vấn ảnh có thể nói là lĩnh vực đòi hỏi sự nghiên cứu tổng hợp:
nghiên cứu xử lý ảnh để rút trích các đặc trưng, áp dụng các tính toán toán học cao
cấp để xác định mức độ tương đồng giữa hai ảnh và sự tổ chức sắp xếp chỉ mục cho
cơ sở dữ liệu ảnh. Chính vì thế truy vấn ảnh là lĩnh vực nghiên cứu đem lại nhiều
thú vị.
Hơn nữa, cùng với sự phát triển của phần mềm và phần cứng, khối lượng ảnh
phát triển không ngừng và ngày càng lớn. Một số lượng lớn các ảnh đang được sử
dụng ở trong thư viện ảnh số và trên web. Vì vậy nhu cầu tìm kiếm ảnh là một nhu
cầu tất yếu. Hiện tại, truy vấn ảnh ứng dụng trong khá nhiều lĩnh vực như: quản lý
nhãn hiệu logo, truy tìm tội phạm, ứng dụng trong y khoa, quân sự …
Bài toán tìm kiếm ảnh trong Cơ Sở Dữ Liệu (CSDL) ảnh được đưa ra từ cuối
năm 1970 và có nhiều cách giải quyết khác nhau. Cho đến ngày nay đã có rất nhiều
hệ thống truy vấn ảnh (cả thương mại lẫn thực nghiệm) đã và đang được phát triển.
Có hai dạng CSDL ảnh là: CSDL ảnh tĩnh và CSDL ảnh động (ảnh video…).
Trong nghiên cứu này, chỉ xin xem xét đến phạm vi ảnh tĩnh.
Mục tiêu của hệ thống truy vấn ảnh là tìm ra ảnh đúng với nhu cầu của người
dùng:



10

Hình 1.1: Hệ thống truy vấn ảnh của Yahoo
Các hệ thống truy vấn ảnh hiện nay rất đa dạng nhưng nhìn chung thì chúng
được phân biệt bởi: các đặc trưng mà hệ thống rút trích từ ảnh để làm cơ sở truy vấn
và phương pháp phân đoạn ảnh được sử dụng trong hệ thống truy vấn, cách thức tổ
chức chỉ mục cho CSDL ảnh, độ đo sự tương đồng giữa hai ảnh. Độ đo sự tương
đồng là hàm số d:HxHÆR
+
thỏa các tính chất sau với mọi ảnh I, J, K trong không
gian các ảnh H [15]:
Tính tự tương đồng (self similarity): d(I, I) = d(J, J)
Tính đối xứng (synmetry): d(I, J) = d(J, I)
Tính bắc cầu (triangular inequality): d(I, K) + d(K, J) >= d(I, J)


11
Tính tối tiểu (minimality): d(I, J) >= d(I, I)
Các hệ thống truy vấn ảnh thường tuân theo một trong các mô hình sau:

CSDL
ảnh
Ảnh truy vấn
Yêu cầu
truy vấn
Rút trích đặc
trưng và độ đo sự
tương đồng
Xuất ra
Tập ảnh
kết quả


Hình 1.2: Mô hình rút trích đặc trưng thời gian thực
Mô hình này đơn giản, dễ cài đặt nhưng đưa vào ứng dụng thực tế sẽ chậm vì
nhược điểm: khi có một yêu cầu truy vấn ảnh hệ thống không những phải rút trích
các đặc trưng của ảnh truy vấn mà còn phải rút trích các đặc trưng của ảnh trong tập
ảnh của CSDL ảnh, sau đó tính toán mức độ tương đồng giữa chúng. Mô hình này
thích hợp để cài đặt thử nghiệm và ghi nhận kết quả trong quá trình thực nghiệm để
lựa chọn các đặc trưng cần rút trích cũng như độ đo sự tương đồng hiệu quả nhất.

Xem chi tiết: NGHIÊN CỨU PHƯƠNG PHÁP KẾT HỢP CÁC ĐẶC TRƯNG MÀU SẮC HÌNH DẠNG VÀ VỊ TRÍ ĐỂ TRUY VẤN ẢNH