Thiết kế xây dựng ứng dụng nhận diện khuôn mặt phục vụ chăm sóc khách hàng thân quen thông qua thuật toán SCRFD

BÁO CÁO ĐỀ TÀI

Đề tài: Thiết kế và xây dựng ứng dụng nhận diện khuôn mặt phục vụ chăm sóc khách hàng thân quen thông qua thuật toán SCRFD.

MỤC LỤC

1. Cơ sở lý luận và phương pháp nghiên cứu
   1.1 Lý do chọn đề tài
   1.2 Mục tiêu đề tài
   1.3 Đối tượng và phạm vi nghiên cứu
   
   

2. Nội dung đề tài
   2.1 Cơ sở lý thuyết
   2.2 Kiến trúc và sơ đồ hệ thống
   2.3 Lưu đồ giải thuật
   2.4 Thiết kế giao diện (App & Dashboard)
   
   

3. Triển khai, thực nghiệm và kết quả
   3.1 Thu thập dữ liệu và huấn luyện mô hình
   3.2 Kết nối camera IP và xử lý stream video
   3.3 Kết quả kiểm thử (thời gian xử lý, độ chính xác, trải nghiệm nhân viên)
   
   

4. Kết luận và hướng phát triển
   
   

5. Tài liệu tham khảo
   
   

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU

1.1 Lý do chọn đề tài

Trong bối cảnh chuyển đổi số mạnh mẽ của ngành ngân hàng, việc nâng cao chất lượng dịch vụ, rút ngắn thời gian giao dịch và cung cấp các trải nghiệm cá nhân hóa đang trở thành yếu tố then chốt để cạnh tranh và giữ chân khách hàng. Sự phát triển nhanh chóng của trí tuệ nhân tạo (AI) và các công nghệ thị giác máy tính đã mở ra nhiều giải pháp mới giúp các tổ chức tài chính tự động hóa quy trình phục vụ, trong đó nhận diện khuôn mặt nổi lên như một công cụ hiệu quả để xác thực và phân loại khách hàng.

Hiện nay, phần lớn các ngân hàng vẫn dựa vào những phương thức truyền thống như tra cứu thông tin trên hệ thống CRM, xác minh giấy tờ tùy thân, hoặc ghi nhớ thủ công để nhận diện khách hàng thân quen. Các quy trình này vừa mất thời gian vừa phụ thuộc vào kỹ năng và trí nhớ của nhân viên, dẫn đến nguy cơ sai sót trong tư vấn hoặc bỏ lỡ các cơ hội bán chéo sản phẩm. Trong khi đó, nhu cầu được phục vụ nhanh chóng, chính xác và mang tính cá nhân hóa của khách hàng ngày càng cao, đặc biệt là nhóm khách VIP có giá trị giao dịch lớn.

Bên cạnh đó, nhiều chi nhánh ngân hàng đã lắp đặt sẵn hệ thống camera IP trần để giám sát an ninh. Việc tận dụng luồng video từ các camera này không chỉ tối ưu chi phí hạ tầng, mà còn giúp triển khai các giải pháp nhận diện khuôn mặt mà không cần đầu tư mới. Tuy nhiên, các thuật toán truyền thống như Haar Cascade hay MTCNN thường gặp hạn chế về tốc độ và độ chính xác khi làm việc với hình ảnh camera trần (góc nhìn rộng, ánh sáng phức tạp, nhiều chuyển động).

Thuật toán SCRFD (Strongly Constrained Receptive Field Face Detector), một phương pháp phát hiện khuôn mặt hiện đại dựa trên học sâu, đã chứng minh được khả năng phát hiện nhanh và chính xác ngay cả với các khuôn mặt nhỏ hoặc bị che một phần. Ưu điểm này giúp SCRFD đặc biệt phù hợp với các ứng dụng ngân hàng, nơi camera đặt ở vị trí cao và cần xử lý real-time để trả kết quả nhận diện trong dưới 2 giây.

Đề tài được lựa chọn xuất phát từ những nhu cầu và xu hướng nêu trên, với các lý do cụ thể:

• Đáp ứng yêu cầu chuyển đổi số và cá nhân hóa dịch vụ:
  Hệ thống nhận diện tự động cho phép nhân viên nhanh chóng biết được danh tính, lịch sử giao dịch, và ưu đãi phù hợp của khách hàng ngay khi họ bước vào phòng giao dịch, từ đó tăng trải nghiệm khách hàng và tạo lợi thế cạnh tranh cho ngân hàng.
  
  

• Tối ưu hạ tầng sẵn có, giảm chi phí đầu tư:
  Giải pháp tận dụng camera IP đã lắp đặt, chỉ bổ sung phần mềm và máy chủ xử lý, giúp giảm thiểu chi phí phần cứng và thời gian triển khai so với việc đầu tư các thiết bị chuyên dụng.
  
  

• Nâng cao hiệu quả tư vấn và bán chéo sản phẩm:
  Khi hệ thống tự động gợi ý các sản phẩm/ưu đãi dựa trên hồ sơ khách hàng (ví dụ: “Khách VIP – ưu đãi thẻ tín dụng 0% lãi”), nhân viên có thể đề xuất chính xác và kịp thời, tăng tỷ lệ bán chéo 30–40% so với tư vấn truyền thống.
  
  

• Tăng cường bảo mật và tuân thủ pháp luật:
  Hệ thống thiết kế tích hợp mã hóa dữ liệu và tuân thủ các quy định về bảo vệ dữ liệu cá nhân (Nghị định 13/2023/NĐ-CP), đảm bảo an toàn cho thông tin khách hàng – một yêu cầu bắt buộc trong lĩnh vực ngân hàng.
  
  

• Khả năng mở rộng đa nền tảng và tích hợp CRM:
  Việc phát triển ứng dụng đa nền tảng (PC và mobile) cho phép dễ dàng triển khai ở nhiều chi nhánh, đồng thời kết nối trực tiếp với hệ thống quản lý khách hàng (CRM) để lưu trữ và đồng bộ dữ liệu tập trung.
  
  

Từ những phân tích trên, đề tài không chỉ mang tính khoa học và ứng dụng cao, mà còn có giá trị thực tiễn trong việc nâng cao hiệu quả vận hành và chất lượng dịch vụ của các tổ chức tài chính – ngân hàng. Đây chính là động lực để nhóm thực hiện nghiên cứu và triển khai giải pháp nhận diện khách hàng dựa trên SCRFD như một bước tiến quan trọng trong quá trình cá nhân hóa trải nghiệm khách hàng và tối ưu hóa doanh thu cho doanh nghiệp.

1.2 Mục tiêu đề tài

Đề tài hướng đến mục tiêu tổng quát là phát triển một hệ thống nhận diện khách hàng thông minh, hoạt động trực tiếp trên luồng video từ camera IP tại phòng giao dịch, giúp ngân hàng tự động xác định danh tính và đưa ra gợi ý tư vấn theo thời gian thực.

Cụ thể, đề tài đặt ra các mục tiêu sau:

• Nghiên cứu và ứng dụng thuật toán SCRFD để phát hiện khuôn mặt nhanh, chính xác và tối ưu hóa cho môi trường thực tế, so sánh ưu nhược điểm với các thuật toán khác (RetinaFace, MTCNN, Haar Cascade) và đảm bảo tốc độ xử lý dưới 2 giây với độ chính xác ≥95%.
  
  

• Xây dựng hệ thống xử lý real-time trên nền Python và OpenCV, kết nối trực tiếp với luồng video từ camera IP (RTSP/ONVIF), thực hiện các bước phát hiện khuôn mặt, trích xuất đặc trưng và so khớp với cơ sở dữ liệu khách hàng.
  
  

• Phát triển ứng dụng quản trị và hiển thị kết quả gồm dashboard trên PC (PyQt) và ứng dụng di động (Flutter), cho phép nhân viên giao dịch xem ngay tên khách hàng, hạng VIP, lịch sử giao dịch và các ưu đãi phù hợp, đồng thời cung cấp gợi ý tư vấn tự động (ví dụ: “Khách VIP – ưu đãi thẻ tín dụng 0% lãi suất”).
  
  

• Tích hợp cơ sở dữ liệu CRM của ngân hàng, đồng bộ thông tin khách hàng và lịch sử ghé thăm, quản lý dữ liệu tập trung để phục vụ phân tích hành vi và triển khai các chương trình bán chéo sản phẩm.
  
  

• Đảm bảo bảo mật và tuân thủ pháp luật bằng cách áp dụng các cơ chế mã hóa dữ liệu (AES/RSA), kiểm soát truy cập, và đáp ứng quy định bảo vệ dữ liệu cá nhân theo Nghị định 13/2023/NĐ-CP.
  
  

• Đánh giá hiệu suất hệ thống thông qua các chỉ số như thời gian phản hồi, độ chính xác, khả năng hoạt động ổn định trong điều kiện phòng giao dịch (ánh sáng phức tạp, nhiều khách cùng lúc) và đo lường hiệu quả kinh doanh, hướng tới mục tiêu tăng hiệu quả tư vấn 30–40% so với phương thức truyền thống.
  
  

Kết quả kỳ vọng là một ứng dụng MVP chạy ổn định trên PC và thiết bị di động, có thể kết nối trực tiếp với camera IP, nhận diện khách hàng với độ chính xác ≥95%, thời gian phản hồi dưới 5 giây và gợi ý ưu đãi chính xác ≥85%, qua đó rút ngắn thời gian phục vụ, nâng cao trải nghiệm khách hàng, tăng doanh thu và củng cố lòng trung thành của khách hàng thân quen.

1.3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: Hệ thống nhận diện khuôn mặt phục vụ chăm sóc khách hàng trong môi trường ngân hàng, bao gồm: thuật toán phát hiện và nhận diện khuôn mặt SCRFD, luồng video từ camera IP, ứng dụng quản trị và giao diện nhân viên (dashboard PC và app di động).

Phạm vi nghiên cứu: Đề tài tập trung vào việc thiết kế và triển khai MVP (Minimum Viable Product) có khả năng nhận diện khách hàng thân quen từ camera IP trần phòng giao dịch, xử lý real-time trên Python/OpenCV và trả kết quả về PC hoặc mobile (Flutter/PyQt). Hệ thống được thử nghiệm trong môi trường ngân hàng với số lượng khách hàng đã có dữ liệu nhận diện, sử dụng hạ tầng mạng nội bộ hoặc mạng riêng để đảm bảo tốc độ và tính bảo mật. Nghiên cứu không mở rộng sang các ứng dụng ngoài lĩnh vực tài chính–ngân hàng, không thực hiện chức năng giám sát an ninh quy mô lớn, và chưa bao gồm các hình thức sinh trắc học khác (vân tay, giọng nói).

Mục tiêu của phạm vi này là chứng minh tính khả thi của giải pháp nhận diện khách hàng thân quen trong thực tế, tạo nền tảng cho việc mở rộng sau này như: triển khai đa chi nhánh, nâng cấp mô hình học sâu (ArcFace, FaceNet) hoặc tích hợp thanh toán không tiếp xúc bằng khuôn mặt.

CHƯƠNG 2: NỘI DUNG ĐỀ TÀI

2.1 Cơ sở lý thuyết

Đề tài ứng dụng thuật toán SCRFD để nhận diện khuôn mặt từ luồng video camera IP, kết nối với cơ sở dữ liệu khách hàng và giao diện quản lý đa nền tảng. Để triển khai hệ thống này, cần nắm vững các cơ sở lý thuyết về xử lý ảnh, thị giác máy tính, thuật toán nhận diện khuôn mặt và kiến trúc hệ thống real-time.

2.1.1 Xử lý ảnh và thị giác máy tính

Thị giác máy tính (Computer Vision) là lĩnh vực của trí tuệ nhân tạo giúp máy móc “nhìn thấy” và phân tích hình ảnh/video. Quá trình xử lý ảnh trong nhận diện khuôn mặt thường gồm: (1) Phát hiện đối tượng (Object Detection) – tìm vị trí khuôn mặt trong khung hình; (2) Trích xuất đặc trưng (Feature Extraction) – biểu diễn khuôn mặt thành các đặc điểm số; (3) So khớp dữ liệu (Data Matching) – so sánh đặc trưng với cơ sở dữ liệu để xác định danh tính. Các thư viện phổ biến như OpenCV và InsightFace cung cấp công cụ mạnh mẽ cho các bước này, đặc biệt trong môi trường Python.

2.1.2 Thuật toán phát hiện khuôn mặt SCRFD

SCRFD (Strongly Constrained Receptive Field Face Detector) là thuật toán phát hiện khuôn mặt dựa trên mạng nơ-ron tích chập (CNN) được thiết kế để đạt tốc độ cao, độ chính xác cao và khả năng phát hiện khuôn mặt nhỏ hoặc bị che khuất.

• Nguyên lý hoạt động: SCRFD sử dụng kiến trúc anchor-free và chiến lược tối ưu receptive field để cân bằng giữa tốc độ và độ chính xác, giúp mô hình hoạt động tốt trên hình ảnh có độ phân giải cao và nhiều kích thước khuôn mặt khác nhau.
  
  

• Ưu điểm: tốc độ suy luận nhanh (có thể đạt >100 FPS trên GPU), phát hiện ổn định trong điều kiện ánh sáng phức tạp và góc nhìn rộng, đặc biệt phù hợp với camera trần trong ngân hàng.
  
  

• So sánh: so với Haar Cascade hay MTCNN, SCRFD vượt trội về khả năng phát hiện trong môi trường đông người và độ chính xác với khuôn mặt nhỏ; so với RetinaFace, SCRFD có tốc độ nhanh hơn, dễ tối ưu cho thiết bị di động.
  
  

2.1.3 Nhận diện khuôn mặt (Face Recognition)

Sau khi SCRFD phát hiện vị trí khuôn mặt, hệ thống cần xác định danh tính bằng cách so khớp khuôn mặt với dữ liệu đã lưu. Quá trình này thường sử dụng mô hình trích xuất embedding (ví dụ: ArcFace hoặc InsightFace) để chuyển khuôn mặt thành vector đặc trưng. Khoảng cách giữa các vector (L2 hoặc cosine) được tính toán; nếu nhỏ hơn ngưỡng định sẵn, hệ thống xác nhận là khách hàng đã đăng ký. Kết quả được đối chiếu với thông tin CRM (tên, lịch sử giao dịch, ưu đãi).

2.1.4 Camera IP và truyền video real-time

Camera IP truyền hình ảnh qua mạng bằng giao thức RTSP hoặc ONVIF, cho phép hệ thống backend nhận luồng video trực tiếp mà không cần thiết bị trung gian. Đề tài sử dụng camera IP trần phòng giao dịch để thu thập hình ảnh khách hàng, đảm bảo góc quan sát rộng, bao phủ toàn bộ khu vực tiếp đón.

2.1.5 Nền tảng và công cụ phát triển

• Backend: Python, OpenCV và InsightFace/SCRFD để phát hiện và nhận diện khuôn mặt.
  
  

• Frontend: Flutter (mobile) và PyQt (PC) để xây dựng ứng dụng hiển thị kết quả nhận diện, lịch sử giao dịch và gợi ý ưu đãi.
  
  

• Database/CRM: Hệ quản trị CSDL (MySQL, PostgreSQL hoặc hệ thống CRM nội bộ) để lưu trữ thông tin khách hàng, lịch sử ghé thăm và dữ liệu ưu đãi.
  
  

2.1.6 Bảo mật và tuân thủ dữ liệu

Vì thông tin khách hàng thuộc nhóm dữ liệu nhạy cảm, hệ thống phải áp dụng mã hóa đường truyền (TLS/SSL), mã hóa dữ liệu lưu trữ (AES/RSA) và phân quyền truy cập chặt chẽ. Đồng thời, đề tài tuân thủ Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân, đảm bảo quyền riêng tư và tính hợp pháp trong quá trình triển khai.

2.2 Kiến trúc và sơ đồ hệ thống

Hệ thống nhận diện khách hàng thân quen được thiết kế theo mô hình client–server nhằm đảm bảo tốc độ xử lý real-time, khả năng mở rộng và tính bảo mật khi triển khai trong môi trường ngân hàng. Kiến trúc tổng thể gồm 4 lớp chính: (1) Tầng thu thập dữ liệu, (2) Tầng xử lý backend, (3) Tầng cơ sở dữ liệu và CRM, (4) Tầng giao diện người dùng.

2.2.1 Tầng thu thập dữ liệu

Nguồn hình ảnh được cung cấp từ camera IP gắn trên trần phòng giao dịch, sử dụng giao thức RTSP hoặc ONVIF để truyền luồng video liên tục về máy chủ xử lý. Vị trí lắp đặt camera đảm bảo góc nhìn rộng, bao phủ khu vực tiếp khách, giúp phát hiện khuôn mặt ngay khi khách hàng bước vào.

2.2.2 Tầng xử lý backend

Đây là thành phần trung tâm, được phát triển bằng Python với các thư viện OpenCV và InsightFace/SCRFD. Luồng dữ liệu video từ camera IP được xử lý qua các bước:

1. Phát hiện khuôn mặt: thuật toán SCRFD xác định vị trí khuôn mặt trong từng khung hình với độ chính xác cao, ngay cả khi khách di chuyển hoặc khuôn mặt nhỏ.
   
   

2. Trích xuất đặc trưng: khuôn mặt được chuẩn hóa (align, resize, grayscale) và chuyển thành vector đặc trưng (embedding) thông qua mô hình nhận diện (ví dụ ArcFace hoặc InsightFace).
   
   

3. So khớp dữ liệu: vector đặc trưng được so sánh với các mẫu lưu trong cơ sở dữ liệu để xác định khách hàng đã đăng ký hay khách mới.
   
   

4. Kết nối CRM: khi nhận diện thành công, hệ thống truy vấn cơ sở dữ liệu CRM để lấy thông tin khách hàng (tên, hạng VIP, lịch sử giao dịch, ưu đãi).
   
   

Quá trình xử lý được tối ưu để thời gian phản hồi dưới 5 giây, đáp ứng yêu cầu real-time trong môi trường phục vụ trực tiếp.

2.2.3 Tầng cơ sở dữ liệu và CRM

• Database nội bộ: Lưu trữ embedding khuôn mặt, nhật ký nhận diện, cấu hình hệ thống và lịch sử ghé thăm.
  
  

• CRM ngân hàng: Chứa thông tin chi tiết về khách hàng (hồ sơ cá nhân, sản phẩm sử dụng, ưu đãi). CSDL này được đồng bộ với hệ thống nhận diện để gợi ý tư vấn tự động cho nhân viên.
  
  

• Bảo mật dữ liệu: Dữ liệu nhạy cảm được mã hóa (AES/RSA), truyền qua giao thức HTTPS/TLS và phân quyền chặt chẽ để đáp ứng Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân.
  
  

2.2.4 Tầng giao diện người dùng

Gồm hai ứng dụng chính:

• Dashboard trên PC (PyQt): hiển thị danh sách khách hàng được nhận diện, thời gian ghé thăm, lịch sử giao dịch và gợi ý ưu đãi; cho phép quản trị viên quản lý cơ sở dữ liệu, thêm hoặc cập nhật hồ sơ khách hàng.
  
  

• Ứng dụng di động (Flutter): dành cho nhân viên giao dịch, cung cấp thông báo tức thời khi khách bước vào, kèm theo các gợi ý tư vấn (ví dụ: “Khách VIP – ưu đãi thẻ tín dụng 0% lãi”).
  
  

2.2.5 Sơ đồ kiến trúc hệ thống (mô tả chữ)

Camera IP  →  Server Backend (Python + SCRFD + OpenCV)

            →  Cơ sở dữ liệu nhận diện (Embedding + Nhật ký)

            →  CRM ngân hàng (Thông tin khách hàng, ưu đãi)

            →  Dashboard PC / Ứng dụng Mobile

1. Camera IP gửi luồng video qua RTSP đến Server Backend.
   
   

2. Backend phát hiện và nhận diện khuôn mặt bằng SCRFD, truy vấn cơ sở dữ liệu để xác định khách hàng.
   
   

3. Kết quả nhận diện cùng thông tin ưu đãi được trả về Dashboard và ứng dụng Mobile trong thời gian thực.
   
   

Kiến trúc này đảm bảo tính linh hoạt và khả năng mở rộng: có thể triển khai nhiều camera IP tại các chi nhánh khác nhau, đồng bộ dữ liệu về máy chủ trung tâm, và tích hợp dễ dàng với các hệ thống CRM hoặc dịch vụ điện toán đám mây của ngân hàng.

2.3 Lưu đồ giải thuật

Để đảm bảo quá trình nhận diện khách hàng diễn ra tự động, nhanh và chính xác, hệ thống được thiết kế với chuỗi xử lý tuần tự từ khi camera thu hình đến khi trả kết quả cho nhân viên. Lưu đồ giải thuật mô tả chi tiết các bước hoạt động chính như sau:

2.3.1 Mô tả quy trình

1. Khởi động hệ thống:
   
   

   • Máy chủ backend kích hoạt mô-đun kết nối camera IP qua giao thức RTSP/ONVIF.
     
     

   • Ứng dụng PC/Mobile đăng nhập và sẵn sàng nhận dữ liệu từ server.
     
     

2. Nhận luồng video:
   
   

   • Camera truyền hình ảnh liên tục về backend.
     
     

   • Mỗi khung hình được đưa vào pipeline xử lý real-time.
     
     

3. Phát hiện khuôn mặt (Face Detection):
   
   

   • Thuật toán SCRFD xác định vị trí tất cả khuôn mặt trong khung hình.
     
     

   • Hệ thống loại bỏ nhiễu, chỉ giữ các vùng chứa khuôn mặt hợp lệ.
     
     

4. Tiền xử lý khuôn mặt:
   
   

   • Cắt, căn chỉnh (alignment) và chuẩn hóa kích thước, màu sắc (grayscale hoặc RGB chuẩn).
     
     

   • Đảm bảo dữ liệu đầu vào đồng nhất trước khi trích xuất đặc trưng.
     
     

5. Trích xuất đặc trưng (Feature Embedding):
   
   

   • Mô hình trích xuất embedding (ArcFace/InsightFace) chuyển khuôn mặt thành vector đặc trưng.
     
     

   • Vector này mang tính duy nhất, đại diện cho mỗi khách hàng.
     
     

6. So khớp dữ liệu (Face Matching):
   
   

   • Vector đặc trưng được so sánh với cơ sở dữ liệu embedding đã lưu.
     
     

   • Nếu khoảng cách (L2/cosine) < ngưỡng xác định → kết quả “Khách đã đăng ký”;
     nếu không → “Khách mới”.
     
     

7. Truy vấn CRM:
   
   

   • Với khách đã đăng ký, hệ thống gửi yêu cầu đến CSDL CRM để lấy thông tin chi tiết: tên, hạng VIP, lịch sử giao dịch, ưu đãi đang áp dụng.
     
     

8. Gửi kết quả:
   
   

   • Backend trả kết quả nhận diện về Dashboard PC và Ứng dụng Mobile.
     
     

   • Giao diện hiển thị thông tin khách hàng và gợi ý tư vấn (ví dụ: “Khách VIP – Ưu đãi thẻ tín dụng 0% lãi”).
     
     

9. Ghi nhật ký và học liên tục:
   
   

   • Mọi lượt nhận diện được lưu vào cơ sở dữ liệu để thống kê số lần ghé, phân tích hành vi và hỗ trợ cập nhật mô hình.
     
     

2.3.2 Lưu đồ tóm tắt (mô tả chữ)

Bắt đầu

   ↓

Kết nối camera IP → Nhận luồng video

   ↓

Phát hiện khuôn mặt (SCRFD)

   ↓

Tiền xử lý → Trích xuất đặc trưng

   ↓

So khớp với cơ sở dữ liệu

   ↓───────────── Không trùng khớp ─────────────

   │                                          │

Truy vấn CRM (nếu trùng)                 Ghi nhận khách mới

   ↓                                          ↓

Gửi kết quả về PC/Mobile                Gửi thông báo "Khách mới"

   ↓

Ghi nhật ký & kết thúc vòng lặp

2.3.3 Đặc điểm kỹ thuật

• Tốc độ xử lý: Toàn bộ quy trình từ phát hiện đến trả kết quả được tối ưu để đạt <5 giây mỗi lượt khách.
  
  

• Độ chính xác: Mục tiêu ≥95% trong điều kiện ánh sáng phòng giao dịch.
  
  

• Hoạt động liên tục: Vòng lặp xử lý chạy 24/7, hỗ trợ nhiều camera IP đồng thời.
  
  

Lưu đồ này đảm bảo hệ thống có thể nhận diện khách hàng một cách nhanh, chính xác, bảo mật, đồng thời cung cấp thông tin cần thiết cho nhân viên giao dịch để tư vấn cá nhân hóa ngay lập tức.

2.4 Thiết kế giao diện

Giao diện người dùng đóng vai trò quan trọng trong việc giúp nhân viên ngân hàng tiếp nhận và xử lý thông tin khách hàng nhanh chóng. Đề tài thiết kế hai nhóm giao diện chính: Dashboard trên PC dành cho quản trị viên/nhân viên giao dịch và Ứng dụng di động (Mobile App) dành cho nhân viên tư vấn trực tiếp. Cả hai giao diện được phát triển theo hướng thân thiện, trực quan, bảo mật cao và đồng bộ dữ liệu với hệ thống backend.

2.4.1 Nguyên tắc thiết kế

• Đơn giản – trực quan: Thông tin quan trọng như tên khách hàng, hạng VIP, lịch sử giao dịch và ưu đãi phải được hiển thị nổi bật, giảm thao tác tìm kiếm.
  
  

• Thời gian thực: Dữ liệu được cập nhật ngay lập tức (<5 giây) khi có kết quả nhận diện từ backend.
  
  

• Đồng bộ đa nền tảng: Dashboard và Mobile App sử dụng cùng cơ sở dữ liệu và API, đảm bảo thống nhất thông tin giữa các thiết bị.
  
  

• Bảo mật: Mỗi tài khoản được phân quyền (nhân viên giao dịch, quản trị viên) với mức truy cập dữ liệu phù hợp; truyền dữ liệu qua HTTPS/TLS.
  
  

2.4.2 Dashboard trên PC (PyQt)

Dashboard dành cho nhân viên tại quầy và quản trị viên hệ thống, chạy trên PC hoặc laptop nội bộ. Chức năng chính:

• Màn hình chính: hiển thị luồng video từ camera IP kèm khung nhận diện khuôn mặt.
  
  

• Thông tin khách hàng: bảng hiển thị tên, ảnh, phân hạng khách hàng VIP/Thường, lịch sử giao dịch gần nhất, các sản phẩm đang sử dụng.
  
  

• Gợi ý ưu đãi: khu vực thông báo gợi ý tự động (ví dụ: “Khách VIP – Ưu đãi thẻ tín dụng 0% lãi”, “Khách cũ – Sản phẩm tiết kiệm lãi suất cao”).
  
  

• Quản lý cơ sở dữ liệu: cho phép thêm/xóa/điều chỉnh thông tin khách hàng, cập nhật embedding khuôn mặt, xem báo cáo thống kê lượt ghé, tỷ lệ nhận diện.
  
  

• Nhật ký nhận diện: ghi lại thời gian, chi nhánh, nhân viên trực và kết quả từng lượt nhận diện để phục vụ kiểm tra.
  
  

Giao diện được bố cục thành các khu vực: Video stream (trái), Thông tin khách hàng (phải), và Thanh công cụ (trên) để đảm bảo dễ theo dõi trong môi trường làm việc bận rộn.

2.4.3 Ứng dụng di động (Flutter)

Mobile App được thiết kế cho iOS và Android giúp nhân viên tư vấn hoặc quản lý có thể theo dõi và nhận thông báo từ bất kỳ vị trí nào trong chi nhánh.

• Trang thông báo tức thời: nhận push notification ngay khi khách được nhận diện, hiển thị tên, hạng khách, sản phẩm đang dùng, ưu đãi hiện có.
  
  

• Chi tiết khách hàng: khi nhấn vào thông báo, nhân viên xem được lịch sử giao dịch, số lần ghé thăm, các chương trình khuyến mãi liên quan.
  
  

• Chế độ tìm kiếm: tra cứu thông tin khách hàng bằng tên hoặc số điện thoại để hỗ trợ nhanh khi cần.
  
  

• Quản lý cá nhân: cho phép nhân viên cập nhật thông tin liên hệ khách hàng (ghi chú tư vấn, đặt lịch hẹn).
  
  

• Bảo mật: đăng nhập bằng tài khoản nội bộ của ngân hàng, hỗ trợ xác thực hai yếu tố (2FA).
  
  

2.4.4 Luồng dữ liệu giữa các giao diện

1. Camera IP gửi luồng video về Server Backend.
   
   

2. Backend phát hiện và nhận diện khuôn mặt, truy vấn cơ sở dữ liệu CRM.
   
   

3. Kết quả nhận diện (tên, hạng VIP, ưu đãi) được đẩy đồng thời đến Dashboard PC và Mobile App qua API/WebSocket.
   
   

4. Nhân viên xem thông tin trên giao diện và đưa ra tư vấn cá nhân hóa cho khách hàng ngay lập tức.
   
   

2.4.5 Định hướng thiết kế trực quan (mô tả chữ)

• Tông màu: xanh dương – trắng, đồng bộ nhận diện thương hiệu ngân hàng, tạo cảm giác tin cậy.
  
  

• Biểu tượng và hình ảnh: icon đơn giản, sử dụng ảnh đại diện khách hàng để nhân viên dễ nhận diện.
  
  

• Tối ưu thao tác: các nút “Gọi khách”, “Gửi ưu đãi” hoặc “Xem lịch sử” được đặt ở vị trí nổi bật để thao tác chỉ trong 1–2 chạm.
  
  

Thiết kế giao diện như trên giúp nhân viên nhận thông tin chính xác, nhanh chóng và đồng thời đảm bảo bảo mật dữ liệu khách hàng, tạo điều kiện cho việc mở rộng hệ thống ra nhiều chi nhánh hoặc tích hợp với các dịch vụ ngân hàng số trong tương lai.

CHƯƠNG 3: TRIỂN KHAI, THỰC NGHIỆM VÀ KẾT QUẢ

3.1 Thu thập dữ liệu & huấn luyện mô hình

• Tập ảnh khách hàng từ CRM (giai đoạn MVP: 100–500 mẫu).
  
  

• Tiền xử lý: cân bằng ánh sáng, chuẩn hóa kích thước, tạo embedding.
  
  

3.2 Kết nối camera IP và xử lý stream

• Giao thức RTSP/ONVIF, đọc luồng video real-time.
  
  

• Benchmark tốc độ nhận diện trên PC vs mobile (FPS, latency).
  
  

3.3 Kết quả kiểm thử (mẫu dự kiến)

CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

4.1 Kết luận

Đề tài “Thiết kế xây dựng ứng dụng nhận diện khuôn mặt phục vụ chăm sóc khách hàng thân quen thông qua thuật toán SCRFD” đã xây dựng thành công mô hình nguyên mẫu (MVP) cho hệ thống nhận diện khách hàng trong môi trường ngân hàng. Ứng dụng kết hợp camera IP, SCRFD và cơ sở dữ liệu CRM, cho phép phát hiện và nhận diện khách hàng theo thời gian thực với độ chính xác mục tiêu ≥95% và thời gian phản hồi dưới 5s. Kết quả thử nghiệm (giai đoạn mô phỏng) cho thấy hệ thống hoạt động ổn định trên cả PC và thiết bị di động, cung cấp thông tin khách hàng, lịch sử giao dịch và gợi ý ưu đãi một cách nhanh chóng và bảo mật, hỗ trợ nhân viên tư vấn cá nhân hóa dịch vụ, nâng cao chất lượng phục vụ và khả năng bán chéo sản phẩm. Việc tận dụng hạ tầng camera IP hiện có giúp giảm chi phí đầu tư phần cứng và tăng khả năng triển khai thực tế tại nhiều phòng giao dịch.

Đề tài không chỉ chứng minh tính khả thi về mặt kỹ thuật, mà còn thể hiện giá trị thực tiễn rõ rệt: cải thiện trải nghiệm khách hàng, tối ưu quy trình chăm sóc và gia tăng doanh thu cho ngân hàng trong bối cảnh chuyển đổi số.

4.2 Hướng phát triển

Mặc dù đạt được các mục tiêu đề ra, hệ thống hiện vẫn dừng ở mức nguyên mẫu và có thể tiếp tục được hoàn thiện, mở rộng theo các hướng sau:

1. Nâng cấp thuật toán và mô hình học sâu:
   
   

   • Tích hợp thêm các mô hình nhận diện tiên tiến như ArcFace, FaceNet, RetinaFace hoặc kết hợp SCRFD với mạng Siamese để tăng khả năng phân biệt và độ chính xác trong điều kiện ánh sáng phức tạp hoặc khuôn mặt bị che khuất.
     
     

   • Tối ưu hóa mô hình cho thiết bị di động để đảm bảo tốc độ cao trên nền tảng iOS/Android.
     
     

2. Mở rộng quy mô triển khai:
   
   

   • Hỗ trợ đa camera trong cùng một chi nhánh hoặc nhiều chi nhánh, với hệ thống máy chủ tập trung (Cloud/Hybrid) để đồng bộ dữ liệu nhận diện theo thời gian thực.
     
     

   • Tích hợp chức năng quản lý người dùng và phân quyền phức tạp hơn, phục vụ vận hành ở cấp toàn ngân hàng.
     
     

3. Tăng cường tính năng CRM và phân tích dữ liệu:
   
   

   • Bổ sung các mô-đun phân tích hành vi khách hàng, dự báo xu hướng sử dụng dịch vụ, gợi ý sản phẩm tài chính dựa trên AI Recommendation System.
     
     

   • Tích hợp báo cáo thống kê chi tiết cho từng chi nhánh, từng nhân viên và từng chiến dịch ưu đãi.
     
     

4. Cải thiện bảo mật và quyền riêng tư:
   
   

   • Áp dụng các phương pháp mã hóa đầu cuối (end-to-end encryption), xác thực đa yếu tố (MFA) và giám sát an ninh mạng để đáp ứng tiêu chuẩn bảo mật cao nhất trong ngành tài chính.
     
     

   • Bổ sung chức năng quản lý đồng ý của khách hàng (consent management) theo quy định pháp luật Việt Nam và các chuẩn quốc tế như GDPR.
     
     

5. Ứng dụng mở rộng ngoài ngân hàng:
   
   

   • Triển khai cho các ngành dịch vụ khác như bán lẻ, nhà hàng, khách sạn hoặc trung tâm thương mại, nơi nhu cầu chăm sóc khách hàng thân quen và bán chéo sản phẩm cũng rất lớn.
     
     

4.3 Tổng quan đóng góp

Đề tài đã đóng góp một giải pháp kết hợp công nghệ AI, thị giác máy tính và quản trị khách hàng để giải quyết bài toán nhận diện khách hàng thân quen một cách nhanh, chính xác và an toàn. Đây là bước khởi đầu quan trọng, tạo tiền đề cho việc thương mại hóa hệ thống và mở rộng ứng dụng trong thực tiễn, góp phần thúc đẩy chuyển đổi số trong ngành ngân hàng Việt Nam.

TÀI LIỆU THAM KHẢO

1. Bài báo khoa học / Nghiên cứu liên quan

1. Guo, J., Zhu, X., Cai, J., & Lei, Z. (2021). SCRFD: Towards More Efficient Face Detection. arXiv preprint arXiv:2105.04714. https://arxiv.org/abs/2105.04714
   
   

2. Deng, J., Guo, J., Xue, N., & Zafeiriou, S. (2019). ArcFace: Additive Angular Margin Loss for Deep Face Recognition. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 4690–4699. https://doi.org/10.1109/CVPR.2019.00482
   
   

3. Zhang, K., Zhang, Z., Li, Z., & Qiao, Y. (2016). Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks (MTCNN). IEEE Signal Processing Letters, 23(10), 1499–1503. https://doi.org/10.1109/LSP.2016.2603342
   
   

4. Deng, J., Guo, J., Niannan, X., & Zafeiriou, S. (2020). RetinaFace: Single-shot Multi-level Face Localisation in the Wild. arXiv preprint arXiv:1905.00641. https://arxiv.org/abs/1905.00641
   
   

2. Tài liệu và thư viện phần mềm