# Mô tả sản phẩm dự thi: Robot trợ lý học tập

**Đơn vị:** Trường THCS Nguyễn Tất Thành  
**Địa phương:** Đông Gia Nghĩa - Lâm Đồng

## 1. Tên sản phẩm

**Robot trợ lý học tập tích hợp trí tuệ nhân tạo, camera và tương tác giọng nói**

## 2. Vấn đề thực tế

Học sinh thường cần hỗ trợ khi đọc đề, giải bài nhiều bước hoặc ôn lại kiến
thức, nhưng điện thoại và máy tính dễ gây mất tập trung. Nhóm xây dựng robot
chuyên dụng có hình thức thân thiện, thao tác đơn giản, có thể nghe, nói, nhìn
bài tập và hướng dẫn học sinh ngay tại bàn học.

## 3. Giải pháp

Sản phẩm dùng Raspberry Pi Zero 2 W làm bộ điều khiển trung tâm. Người dùng có
thể nói “robot ơi” rồi đọc câu hỏi, bấm giữ nút để nói, hoặc nhập câu hỏi trên
trang quản lý. Khi cần nhìn bài, robot tự chụp ảnh trang vở, sách, đề bài hoặc
hình vẽ bằng camera CSI. Nội dung được gửi đến AI để phân tích, sau đó robot đọc
câu trả lời qua loa, hiển thị ý chính và lưu ngữ cảnh để người dùng hỏi tiếp.

Robot chạy độc lập, không cần màn hình HDMI, bàn phím hoặc chuột. Khi chưa có
Wi-Fi, robot tự phát mạng `robotpi-setup` để người dùng cấu hình bằng điện thoại.

## 4. Hệ thống hai màn hình có thể chuyển đổi

Phiên bản đầu dùng OLED 1.3 inch SH1106 128×64. OLED rẻ, ít tốn điện, dùng bốn
dây I2C và đủ để robot hiển thị trạng thái, công thức ngắn, câu trả lời tóm tắt,
địa chỉ cấu hình và hoạt ảnh đơn sắc. Hạn chế là diện tích nhỏ, khó trình bày
nội dung rõ ràng khi trình diễn trước nhiều người.

Nhóm bổ sung TFT 4 inch ST7796S 480×320 qua SPI làm màn hình chính. TFT hiển thị
màu sắc, chữ lớn và các trạng thái trực quan như sẵn sàng, đang nghe, đang chụp,
đang suy nghĩ, đang trả lời, phát nhạc và báo lỗi. Giao diện có hoạt ảnh khuôn mặt
robot, đồng thời hiển thị tên trường và địa phương tinh tế ở cuối màn hình.

Phần mềm vẫn hỗ trợ đầy đủ hai cấu hình:

- **Chỉ dùng OLED:** OLED là màn hình chính; robot vẫn hoạt động đầy đủ như
  phiên bản ban đầu. TFT không phải linh kiện bắt buộc.
- **Dùng TFT + OLED:** TFT là màn hình chính; OLED trở thành màn hình phụ hiển
  thị đôi mắt biểu cảm và đồng hồ.

OLED dùng I2C, TFT dùng SPI0 nên có thể điều khiển đồng thời mà không tranh chân
dữ liệu. Thiết kế này giúp nâng cấp màn hình nhưng vẫn giữ được linh kiện cũ.

Khi ở trạng thái chờ, OLED phụ hiển thị mắt trong 20 giây rồi chuyển sang đồng
hồ trong 10 giây. Đồng hồ có giờ, thứ, ngày tháng, ngày âm lịch, nhiệt độ, độ
ẩm, khả năng mưa và biểu tượng thời tiết. Dữ liệu thời tiết được đồng bộ định kỳ
từ Internet. Chớp mắt và liếc mắt trên OLED được đồng bộ với khuôn mặt trên TFT.
Khi robot ngủ, TFT chuyển hoàn toàn sang màu đen; OLED phụ tiếp tục hiển thị đồng
hồ. Nếu cấu hình chỉ dùng OLED, màn hình dùng giao diện ngủ của phiên bản OLED.

## 5. Chức năng chính

- Nhận câu hỏi bằng wake phrase “robot ơi” được phát hiện offline, độ trễ thấp.
- Giữ nút vật lý để ghi âm; thả nút để gửi Speech-to-Text.
- Tự phát hiện người dùng ngừng nói để kết thúc đoạn ghi âm sau wake phrase.
- Hỏi đáp kiến thức bằng tiếng Việt và đọc câu trả lời qua Text-to-Speech.
- Tự nhận biết câu hỏi cần camera, chụp ảnh và phân tích bài vở/tài liệu.
- Lưu mô tả và nội dung trích xuất từ ảnh trong lịch sử hội thoại để hỏi tiếp mà
  không phải chụp lại ngay.
- Hướng dẫn bài tập nhiều bước; học sinh bấm nút để chuyển từng bước.
- Mở nhạc bằng các câu tự nhiên như “mở nhạc...”, “mở bài hát...” hoặc “mở một
  bài nhạc...”; phần nhận diện ý định chạy cục bộ, không tốn token AI.
- Quản lý Wi-Fi, camera, AI, TTS, STT, màn hình và âm thanh bằng web admin.
- Tự chọn loa Bluetooth vừa kết nối làm output, tự ngắt loa Bluetooth cũ và chỉ
  giữ một loa Bluetooth tại một thời điểm.
- Khi loa Bluetooth bị ngắt, tự trở về loa gắn qua USB soundcard; mic luôn dùng
  USB soundcard để ổn định.
- Tự phát thông báo “Đã thay đổi thiết bị âm thanh” qua thiết bị output mới.
- Tự chạy bằng `systemd` khi cấp nguồn và tự mở AP cấu hình khi mất Wi-Fi.

## 6. Phần cứng chính

| Hạng mục | Cấu hình hiện tại |
| --- | --- |
| Bộ điều khiển | Raspberry Pi Zero 2 W |
| Màn hình chính nâng cấp | TFT 4 inch ST7796S, 480×320, SPI, không dùng cảm ứng |
| Màn hình nhỏ | OLED 1.3 inch SH1106, 128×64, I2C |
| Camera | Camera CSI, sensor OV5647 |
| Thu âm | Micro gắn qua USB soundcard |
| Phát âm | USB soundcard và loa gắn trong robot; hỗ trợ loa Bluetooth |
| Điều khiển | Nút bấm GPIO27 và wake phrase “robot ơi” |
| Kết nối | Wi-Fi 2.4 GHz, Bluetooth, web admin nội bộ |

## 7. Điểm mới và sáng tạo

1. Kết hợp giọng nói, camera, AI, loa và màn hình trong robot học tập nhỏ gọn.
2. Wake phrase được nhận diện offline; chỉ gửi STT sau khi robot thật sự được gọi.
3. Mô tả ảnh được lưu cùng hội thoại, giúp AI nhớ nội dung khu vườn, trang sách
   hoặc đề bài để trả lời nhiều câu hỏi tiếp theo.
4. Hai màn hình dùng chung một phần mềm: có thể chọn OLED giá rẻ hoặc nâng cấp
   TFT lớn mà không phải viết lại hệ thống.
5. Khi dùng TFT, OLED cũ không bị bỏ đi mà trở thành mắt biểu cảm và đồng hồ
   thời tiết, giúp robot sinh động hơn.
6. Hệ thống âm thanh tự động theo trạng thái kết nối Bluetooth, không bắt người
   dùng chọn lại input/output thủ công.
7. Kiến trúc module và web admin giúp học sinh dễ bảo trì, thử nghiệm và mở rộng.

## 8. Khả năng ứng dụng

Sản phẩm phù hợp dùng tại góc học tập, thư viện, phòng STEM hoặc hoạt động trải
nghiệm. Robot có thể hỗ trợ ôn kiến thức, đọc và giải thích đề, hướng dẫn từng
bước, luyện đặt câu hỏi, trình diễn AI và dạy học sinh về lập trình, điện tử,
mạng, xử lý ảnh và thiết kế giao diện.

## 9. Giới hạn và hướng phát triển

- AI, STT, TTS động, thời tiết và tìm nhạc cần Internet.
- Độ chính xác đọc bài phụ thuộc ánh sáng, góc camera và chất lượng ảnh.
- Wake phrase và STT có thể giảm độ chính xác trong môi trường lớp học quá ồn.
- Câu trả lời AI cần được học sinh và giáo viên kiểm tra ở nội dung quan trọng.
- Có thể tối ưu thêm tốc độ vẽ TFT bằng sprite dựng sẵn nếu cần tăng tần số hoạt
  ảnh trên phần cứng mạnh hơn.