Kiến trúc RMI bao gồm các layer sau:

• Stub and Skeleton layer: layer này nằm ngay bên dưới chế độ view của nhà phát triển. Layer này chịu trách nhiệm chặn các cuộc gọi phương thức do client thực hiện đến giao diện và chuyển hướng các cuộc gọi này đến một Remote RMI Service.
• Remote Reference layer: layer thứ hai của kiến trúc RMI xử lý việc diễn giải các tham chiếu được tạo từ client đến các đối tượng từ xa (remote object) của server. Layer này thông dịch và quản lý các tham chiếu được tạo từ client đến các đối tượng dịch vụ từ xa (remote service object). Kết nối này là liên kết một-một (unicast).
• Transport layer: layer này có nhiệm vụ kết nối hai JVM tham gia vào dịch vụ. Lớp này dựa trên các kết nối TCP / IP giữa các máy trong mạng. Nó cung cấp kết nối cơ bản, cũng như một số chiến lược thâm nhập tường lửa (firewall).