AR Pianist App đã được giới thiệu.

Fayez Salka - bác sĩ, công ty phần mềm và nghệ sĩ 3D - đã cho thấy cách anh ấy sử dụng công nghệ AR (thực tế ảo) để đưa một nghệ sĩ piano ảo vào cuộc sống trên một cây đàn piano thực sự. 

Trong video, Salka tháo vát đi dạo qua một cửa hàng piano. Anh ta chỉ máy ảnh điện thoại di động của mình vào nhiều cây đàn piano khác nhau. Ngay lập tức một nghệ sĩ piano AR xuất hiện trên màn hình và bắt đầu chơi nhiều bài hát khác nhau của những nghệ sĩ piano từng đoạt giải thưởng. Sheet nhạc của tác phẩm piano được hiển thị đồng thời với tốc độ biểu diễn của “pianist ảo” cùng các ghi chú cuộn qua phía dưới màn hình.

Fayez Salka nói :

Ứng dụng mới nhất của chúng tôi, AR Pianist, sử dụng máy học (Machine Learning) để ghép một nghệ sĩ piano ảo trên cây đàn piano của bạn. Người nghệ sĩ “ảo” có thể hoạt động với bất kỳ cây đàn piano nào và chúng tôi sẽ xây dựng một thư viện các tác phẩm piano được biểu diễn bởi những nghệ sĩ piano từng đoạt giải.

Nhận dạng phím chính xác ngay cả khi không có camera 3D

Ứng dụng App có thể nhận ra đàn piano bao gồm các chi tiết của bàn phím. Nó xác định bằng định vị ba chiều và cả hướng của đàn piano trong không gian 3D. Điều này được thực hiện với độ chính xác lên tới 1 centimet. Điều này được thực hiện chỉ bằng cách nhìn vào từng khung hình riêng lẻ - App này không cần bạn phải sử dụng máy ảnh 3D là không cần thiết.

Định vị chính xác vị trí cây đàn piano bạn muốn hiển thị là rất quan trọng vì App phải cân chỉnh. để nghệ sĩ piano ảo có thể ghép hình ảnh và xếp chồng trực quan tại vị trí chính xác của bàn phím đàn piano. Điều thú vị về điều này là, do thuật toán tự học, nó hoạt động với bất kỳ mô hình đàn piano của bất kỳ thương hiệu nào. Ngay cả các điều kiện ánh sáng là không liên quan. Không cần thiết phải đặt điểm hình ảnh đặc biệt hoặc đánh dấu hình ảnh. Ngoài ra, piano không phải được quét trước. Không thể tin được!

Hiện đã được xuất bản trên App Store

Ứng dụng này hiện có sẵn trên cửa hàng ứng dụng iOS. Fayez Salka và đối tác kinh doanh là ông Anas Wattar của Massive Technologies Inc. có trụ sở tại Montréal đã loại bỏ các lỗi cuối cùng của kỳ quan ảo và cung cấp cho những người khác trực tuyến. Có lẽ có một số nghiên cứu sáng tạo sẽ được thực hiện để đạt những mục đích mà ứng dụng muốn được sử dụng. Tương lai thật thú vị!

Ở trạng thái hiện tại, nhà tư tưởng bên sáng tạo coi ứng dụng này là một công cụ tuyệt vời để trải nghiệm âm nhạc piano trên điện thoại thông minh theo một cách hoàn toàn mới. Đây thực sự là một điều đặc biệt, một cách tiếp cận hoàn toàn mới với các kịch bản không thể tưởng tượng trước đây để học chơi một nhạc cụ. Trong sự phát triển hơn nữa, ứng dụng có thể bao gồm nhiều lĩnh vực hơn trong âm nhạc và nhiều loại nhạc cụ.