HomeỨng dụng trò chuyện nhận dạng giọng nói bằng AI cho Robot Pepper
| Lĩnh vực | Thương mại & Dịch vụ, Automatic |
|---|---|
| Công nghệ | Choregraphe, Speech/Language/Search API |
| Thời gian phát triển | 1 tháng |
| Quy mô dự án | 1 man-month |
ONETECH lần đầu tiên sở hữu robot Pepper của Softbank tại Việt Nam vào năm 2016. Pepper là một robot hình người hiện đại và thông minh nhất thời điểm được ra mắt tại Nhật Bản vào năm 2014. Với các khả năng phát triển mở rộng, Pepper cho phép các lập trình viên xây dựng các ứng dụng mở rộng khả năng của robot cho nhiều mục đích ứng dụng thực tế.
OneTech bắt đầu thực hiện nhiều nhiệm vụ khác nhau để tìm hiểu và phát triển các ứng dụng cho Robot Pepper của Softbank. Dưới đây là công trình nghiên cứu và phát triển một ứng dụng trò chuyện nhận dạng giọng nói thông qua AI. Đồng thời sẽ thực thi mệnh lệnh hoặc tương tác lại phía người dùng để làm rõ thêm thông tin thông qua voice trực tiếp tương tự một ứng dụng chatbot.
Giới thiệu
- Pepper là một robot nửa hình người do SoftBank Robotics sản xuất (2014), được thiết kế với khả năng nhận dạng, tương tác và biểu hiện cảm xúc khá chân thực.
- Có SDK hỗ trợ cho lập trình viên phát triển các ứng dụng.
- Thực hiện nghiên cứu và lập trình cho Robot Pepper với một số tính năng nhận diện khuôn mặt, tương tác, chỉnh giọng nói, hát kèm vũ điệu, cử chỉ…
- Thông qua các SDK và ngôn ngữ lập trình hỗ trợ, OneTech thực hiện xây dựng một demo tương tác với robot thông qua giọng nói để xử lý một số tình huống đặc thù như tìm địa điểm và chỉ đường.
Chi tiết dự án
Tiến hành nghiên cứu, lập trình Robot với các API/SDK được cung cấp cho Pepper như:
- Face API: Nhận dạng hình ảnh như ảnh khuôn mặt
- Vision API: Phân tích hình ảnh
- Speech API: Nhận dạng giọng nói
- Language API: Phân tích ngôn ngữ và nhận biết một số mệnh lệnh bằng âm thanh.
- Search API: Sử dụng công cụ tìm kiếm Bing hỗ trợ tra cứu thông tin.
- Kích hoạt một số tính năng có sẵn trên robot.
Kết quả
- Trải nghiệm mới lạ, đầy hấp dẫn với khả năng tương tác khá chính xác giữa người và máy.
- Người dùng có thể tự do tương tác, trò chuyện, chụp hình cùng với Robot.
- Người dùng có thể hỏi đường đi hoặc yêu cầu Robot phát bài hát và nhảy một điệu nhạc cho sẵn.
- Làm khó Robot với một số câu hỏi khó và không rõ nghĩa.
ONETECH tích cực đầu tư vào R&D và hướng đến giải quyết các vấn đề xã hội bằng công nghệ. Sự ra đời của robot Pepper cùng với sự phát triển của các công nghệ thông minh khác như nhận dạng hình ảnh, không gian, giọng nói, phân tích ngôn ngữ sẽ trợ giúp và thúc đầy dự phát triển của các ứng dụng thông minh.
Pepper có các công nghệ tiên tiến như AI (trí tuệ nhân tạo) và các cảm biến hiện đại khác nhau cùng với khả năng biểu đạt cử chỉ xuất sắc. Các kỹ sư trẻ tài năng của Việt Nam đang tích cực tiếp xúc với các công nghệ tiên tiến này. Sẽ sớm đến một ngày mà những ý tưởng khiến cả thế giới phải thốt lên “À! cái này được tạo ra từ Việt Nam ư!”.
Khách hàng sử dụng HoloLens và khởi chạy ứng dụng để bắt đầu quét và nhận dạng các bộ phận của thiết bị máy móc trong thực tế. Các thông tin kỹ thuật sẽ được hiển thị trong không gian dưới dạng mô hình 3D ngay trên đối tượng.
ONETECH đã nghiên cứu và phát triển các ứng dụng nhận dạng hình ảnh thời gian thực với OpenCV + AI Yolo. Lần này, chúng tôi sẽ giới thiệu 3 kết quả nghiên cứu và ứng dụng vào thực tiễn để trình bày cho các buổi hội thảo giới thiệu công nghệ của công ty vào năm 2018.
ONETECH phát triển mô-đun ứng dụng OCR tự động phân tích các số trong khung hiển thị của màn hình led phổ biến, sử dụng phương pháp công cụ đo cường độ sáng và SSOCR.