옴니버스 레플리케이터 예제 4탄

Visualizing Semantic Data

Visualizing Semantic Data — Omniverse Extensions documentation

학습 목표

이 자습서에서는 Replicator용 Synthetic Data 인터페이스를 소개합니다. 이 자습서에서는 레플리케이터에서 semantic 데이터를 정의, 적용 및 시각화하는 방법에 대해 설명합니다.

시작

편집기

합성 데이터 확장을 올바르게 사용하려면 Semantic 주석(특정 메시와 관련된 "관심 있는" 데이터)이 필요합니다. 이러한 주석은 씬(scene)에서 경계 상자, 포즈 추정 등이 필요한 개체에 대한 확장 정보를 제공합니다. Semantic Schema Editor는 UI를 통해 이러한 주석을 스테이지의 Prim에 적용할 수 있는 방법을 제공합니다.

편집기에 액세스하려면 시맨틱 스키마 편집기에 자세히 설명된 단계를 따르십시오. 기본적으로 편집기는 속성 창에 탭으로 나타납니다.

Semantic 주석은 선택된 프림의 집합에 수동으로 적용하거나 스테이지에 있는 각 프림의 경로 및 유형에 따라 자동으로 적용할 수 있습니다.

가시화

합성 센서의 출력 시각화는 Viewport 창의

Visualizer 도구를 통해 수행됩니다.

 

이미지에 렌더링할 수 있는 주석이 여기에 나열됩니다. 채널을 활성화하고 시각화 버튼을 누르면 아래 표시된 것과 같이 해당 채널이 테스트 영상에 렌더링됩니다.

https://docs.omniverse.nvidia.com/prod_extensions/_images/Replicator_visualizer_demo.gif

 

※카메라 이름이 너무 긴 경우 Viewport 창의 시각화 아이콘이 가려질 수 있습니다.

 

• LdrColor

이것은 RGB의 뷰포트 카메라에서 보는 표준 뷰일 뿐입니다. 선택한 프림과 뷰포트 그리드도 이 카메라에 포착되며, 인접한 '표시/숨기기' 메뉴에서 수동으로 비활성화해야 합니다.

• DistanceToImagePlane

영상 평면까지의 거리는 카메라의 전방 축에 있는 거리입니다.

• DistanceToCamera

카메라까지의 거리는 카메라 중앙까지의 거리입니다.

• CrossCorrespondence

CrossCorrespondence은 두 개의 뷰포트에서 두 개의 카메라가 주어지면 두 카메라에 존재하는 픽셀의 픽셀 위치 차이를 제공합니다.

• Normals

스테이지의 각 표면이 향하는 방향에 해당하는 각 픽셀에 색을 입힙니다.

• TargetMotion 

이것은 광학적 흐름이며, 실제로 역동성이 있는 장면에만 적용됩니다.

• Semantic and Instance Segmentation

씬(scene)의 각 객체 유형 및 씬(scene)의 각 객체의 각 인스턴스에 대한 2D 분할 영역입니다.  여기서 Raw는 의미론이 상위 프림에서 상속되지 않는다는 것을 의미하지만, Parsed는 상속됩니다.

• 2D Bounding Boxes

2D 경계 상자는 의미 라벨이 있는 객체를 고정하는 이미지의 2D 영역입니다. Tight은 객체가 차지하지 않는 b 상자의 공간을 줄이기 위해 객체의 일부를 닫거나 교차하는 것을 의미합니다. Loose은 그 반대입니다. 박스를 확장하여 메시의 모든 부분이 캡처되도록 합니다.

• 3D Bounding Boxes

3D 경계 상자는 의미 레이블이 있는 객체를 고정하는 3D 상자의 모서리를 정의하는 8개의 점 집합을 정의합니다. 여기서 Raw와 Parsed는 의미론적 분할에서와 같은 의미입니다.