바슬러(Basler), 딥 러닝 소프트웨어와 결합돼 자동으로 과일 인식하는 3D 비전 사례 선보여 Basler blaze Time-of-Flight 카메라 및 Data Spree의 딥 러닝 플랫폼을 기반으로 작동 Basler는 베를린 소재의 회사인 Data Spree와 협력해 과일의 인식 및 분류를 위한 딥 러닝 애플리케이션을 개발했다. 비전 시스템은 Basler blaze Time-of-Flight 카메라 및 Data Spree의 딥 러닝 플랫폼을 기반으로 작동한다.1. 개요딥 러닝 접근법은 기존 이미지 처리 방법에 비해 정확도가 높다는 이점뿐만 아니라 즉시 사용 가능한 시스템을 위한 개발 시간도 단축시켜 준다. 제대로 훈련된 신경망을 기초로 작동하는 기계는 인식 대상 물체기 가변적이어도 물체를 인식하고 시스템의 전체 수명주기 동안 지속적으로 개선될 수 있으며 변경된 경계 조건에서 일관된 결과를 생성할 수 있다.대표적인 예는 농산물의 분류 및 가공 작업이다. 농산물은 모양과 색상이 크게 다를 수 있으므로 기존 이미지 처리 방법에 큰 어려움이 따른다.2. 솔루션바슬러(Basler)는 소프트웨어 공급업체 인 Data Spree와 긴밀히 협력해 과일의 감지 및 분류를 위한 비전 솔루션을 개발했다. 3D Timeof-Flight 기술의 장점은 사용이 매우 편리한 딥 러닝 알고리즘과 결합돼 과일 분류를 위한 매우 정확하고 강력한 실시간 솔루션을 제공한다.2.1 하드웨어딥 러닝 기반 비전 시스템은 일반 PC와 Basler blaze ToF 카메라로 구성된다. Basler blaze 카메라는 최신 Sony DepthSense™ IMX556PLR 센서 기술을 활용해 밀리미터 단위의 정밀도로 고해상도 3D 이미지를 제공한다. 이 카메라는 ToF(Time-ofFlight) 방법을 사용해 그레이 스케일 이미지를 강도 이미지로 생성할 뿐만 아니라 근적외선(NIR) 범위에서 광 펄스의 Time-ofFlight 측정값을 사용해 각각의 개별 픽셀까지의 거리를 측정하는 3D 카메라다. 따라서 이를 통해 얻게 되는 이미지는 3D 점데이터군으로 제공되며 대상 장면에 대한 추가 정보를 제공한다. 2D RGB 이미지와 비교할 때, 이는 색상 정보가 모양 정보로 대체돼 빨강 및 녹색 사과를 동시에 감지하는 장점을 제공하며 감지된 오브젝트의 정확한 위치 파악 및 크기 측정과 같은 추가 애플리케이션도 지원한다.2.2 소프트웨어Basler blaze 카메라로 캡처한 이미지는 심층 신경망(딥 러닝) 기반의 소프트웨어 솔루션인 Data Spree 소프트웨어, Deep Learning DS“로 평가된다. Data Spree 솔루션은 사용이 매우 편리하고 사용자가 사전 경험이 없더라도 손쉽게 딥 러닝 모델을 개발할 수 있도록 도와준다.설치를 위해서는 다음 작업을 수행해야 한다.1. 데이터 획득모든 신경망에는 사후 분류를 위한 풍부한 샘플 이미지가 필요하다. 예를 들어, Basler blaze 카메라는 우선 다양한 과일(바나나, 사과, 배)의 이미지를 약 500장 정도 획득한다. 그 다음에는 카메라 소프트웨어가 그레이 스케일 강도 이미지 및 깊이 이미지를 근거로 2- 채널 이미지 데이터를 생성한다. 이러한 데이터에는 각 픽셀의 오브젝트까지의 거리(밀리미터) 데이터가 포함된다. 이 이미지데이터는 Deep Learning DS 플랫폼에 로드된다.2. 어노테이션그런 다음 이미지 데이터는 메타 데이터로 보강된다. 이를 위해 개별 과일 주위에 수동으로 상자를 그리고 대응되는 범주(사과, 배 등)를 할당한다. 이 작업은 다음 단계에서 신경망에 의해 “학습”될 내용을 정의한다. 처음에 딥 러닝 모델이 이미 이후에 나오는 이미지에 대한 제안 결과를 생성했고, 이를 수정하기만 하면 되기 때문에 초기에 많은 작업이 필요했던 과정은 수동 주석이 표시된 약 100개의 이미지가 획득된 후에는 그 진행 속도가 크게 향상된다.3. 훈련이미지 500개에 대한 주석 작업이 완료되면 마우스 클릭 몇 번만으로 다른 모델이 생성되고 DNN(심층 신경망)이 자동으로 학습된다. 훈련 과정에서는 테스트 데이터 세트를 통해 인식 정확도가 주기적으로 평가된다.4. 대상 하드웨어에 훈련된 네트워크 제공(배포) 및 응용(추론)훈련이 완료되면 완성된 모델이 대상 하드웨어에 로드되고 추론 DS Data Spree 실행 소프트웨어를 사용해 이를 직접 실행할 수 있다. Basler blaze ToF 카메라는 사전 처리 기능을 포함해 이미 완전히 통합돼 있으므로 딥 러닝 애플리케이션을 바로 시작할 수 있다. 2.3 솔루션의 장점이 솔루션은 다음과 같이 다양한 이점을 제공한다. ▲ 카메라(Time-of-Flight)를 통해 공간 정보를 신경망 학습에 통합해 오브젝트를 보다 정확하고 안정적으로 인식하고 분류▲ 대량 애플리케이션에서도 더 이상 보완 센서 기술이 필요하지 않으므로 애플리케이션의 복잡성 감소▲ Data Spree의 간단하고 편리한 소프트웨어 솔루션으로 프로그래밍 및 딥 러닝에 대한 사전 지식 없이도 딥 러닝 애플리케이션 생성 가능▲ 낮은 조명, 일광 또는 컨트래스트가 없는 상황 에서도 측정 결과가 정확▲ IP67 보호 등급을 지닌 업계에서 인정 받은 내구성이 뛰어난 카메라 하드웨어 사용▲ 통합 조명 및 보정된 광학 장치 덕분에 하드웨어 설치 용이3. 결론앞서 설명한 과일 분류를 위한 샘플 애플리케이션에서 Basler는 Data Spree와 협력해 딥 러닝 모델과 강력한 3D 카메라를 결합해 사용자가 복잡한 작업을 시간 및 비용 효율적인 방식으로 해결할 수 있도록 지원한다. Basler Blaze Time-of-Flight 카메라가 제공하는 추가적인 깊이 정보는 물체의 부피, 모양 또는 위치를 분석할 때 다양한 애플리케이션에 활용될 수 있다.

바슬러(Basler), 딥 러닝 소프트웨어와 결합돼 자동으로 과일 인식하는 3D 비전 사례 선보여

Basler blaze Time-of-Flight 카메라 및 Data Spree의 딥 러닝 플랫폼을 기반으로 작동

기사입력 2020-07-31 11:34:48

[산업일보]

Basler는 베를린 소재의 회사인 Data Spree와 협력해 과일의 인식 및 분류를 위한 딥 러닝 애플리케이션을 개발했다. 비전 시스템은 Basler blaze Time-of-Flight 카메라 및 Data Spree의 딥 러닝 플랫폼을 기반으로 작동한다.

1. 개요

딥 러닝 접근법은 기존 이미지 처리 방법에 비해 정확도가 높다는 이점뿐만 아니라 즉시 사용 가능한 시스템을 위한 개발 시간도 단축시켜 준다. 제대로 훈련된 신경망을 기초로 작동하는 기계는 인식 대상 물체기 가변적이어도 물체를 인식하고 시스템의 전체 수명주기 동안 지속적으로 개선될 수 있으며 변경된 경계 조건에서 일관된 결과를 생성할 수 있다.

대표적인 예는 농산물의 분류 및 가공 작업이다. 농산물은 모양과 색상이 크게 다를 수 있으므로 기존 이미지 처리 방법에 큰 어려움이 따른다.

2. 솔루션
바슬러(Basler)는 소프트웨어 공급업체 인 Data Spree와 긴밀히 협력해 과일의 감지 및 분류를 위한 비전 솔루션을 개발했다. 3D Timeof-Flight 기술의 장점은 사용이 매우 편리한 딥 러닝 알고리즘과 결합돼 과일 분류를 위한 매우 정확하고 강력한 실시간 솔루션을 제공한다.

과일의 3D 점 데이터군 이미지

2.1 하드웨어
딥 러닝 기반 비전 시스템은 일반 PC와 Basler blaze ToF 카메라로 구성된다. Basler blaze 카메라는 최신 Sony DepthSense™ IMX556PLR 센서 기술을 활용해 밀리미터 단위의 정밀도로 고해상도 3D 이미지를 제공한다.

이 카메라는 ToF(Time-ofFlight) 방법을 사용해 그레이 스케일 이미지를 강도 이미지로 생성할 뿐만 아니라 근적외선(NIR) 범위에서 광 펄스의 Time-ofFlight 측정값을 사용해 각각의 개별 픽셀까지의 거리를 측정하는 3D 카메라다.

따라서 이를 통해 얻게 되는 이미지는 3D 점데이터군으로 제공되며 대상 장면에 대한 추가 정보를 제공한다. 2D RGB 이미지와 비교할 때, 이는 색상 정보가 모양 정보로 대체돼 빨강 및 녹색 사과를 동시에 감지하는 장점을 제공하며 감지된 오브젝트의 정확한 위치 파악 및 크기 측정과 같은 추가 애플리케이션도 지원한다.

2.2 소프트웨어
Basler blaze 카메라로 캡처한 이미지는 심층 신경망(딥 러닝) 기반의 소프트웨어 솔루션인 Data Spree 소프트웨어, Deep Learning DS“로 평가된다. Data Spree 솔루션은 사용이 매우 편리하고 사용자가 사전 경험이 없더라도 손쉽게 딥 러닝 모델을 개발할 수 있도록 도와준다.

설치를 위해서는 다음 작업을 수행해야 한다.

Basler blaze 카메라

1. 데이터 획득
모든 신경망에는 사후 분류를 위한 풍부한 샘플 이미지가 필요하다. 예를 들어, Basler blaze 카메라는 우선 다양한 과일(바나나, 사과, 배)의 이미지를 약 500장 정도 획득한다. 그 다음에는 카메라 소프트웨어가 그레이 스케일 강도 이미지 및 깊이 이미지를 근거로 2- 채널 이미지 데이터를 생성한다. 이러한 데이터에는 각 픽셀의 오브젝트까지의 거리(밀리미터) 데이터가 포함된다. 이 이미지데이터는 Deep Learning DS 플랫폼에 로드된다.

2. 어노테이션
그런 다음 이미지 데이터는 메타 데이터로 보강된다. 이를 위해 개별 과일 주위에 수동으로 상자를 그리고 대응되는 범주(사과, 배 등)를 할당한다. 이 작업은 다음 단계에서 신경망에 의해 “학습”될 내용을 정의한다. 처음에 딥 러닝 모델이 이미 이후에 나오는 이미지에 대한 제안 결과를 생성했고, 이를 수정하기만 하면 되기 때문에 초기에 많은 작업이 필요했던 과정은 수동 주석이 표시된 약 100개의 이미지가 획득된 후에는 그 진행 속도가 크게 향상된다.

3. 훈련
이미지 500개에 대한 주석 작업이 완료되면 마우스 클릭 몇 번만으로 다른 모델이 생성되고 DNN(심층 신경망)이 자동으로 학습된다. 훈련 과정에서는 테스트 데이터 세트를 통해 인식 정확도가 주기적으로 평가된다.

4. 대상 하드웨어에 훈련된 네트워크 제공(배포) 및 응용(추론)
훈련이 완료되면 완성된 모델이 대상 하드웨어에 로드되고 추론 DS Data Spree 실행 소프트웨어를 사용해 이를 직접 실행할 수 있다. Basler blaze ToF 카메라는 사전 처리 기능을 포함해 이미 완전히 통합돼 있으므로 딥 러닝 애플리케이션을 바로 시작할 수 있다.

2.3 솔루션의 장점
이 솔루션은 다음과 같이 다양한 이점을 제공한다.

▲ 카메라(Time-of-Flight)를 통해 공간 정보를 신경망 학습에 통합해 오브젝트를 보다 정확하고 안정적으로 인식하고 분류

▲ 대량 애플리케이션에서도 더 이상 보완 센서 기술이 필요하지 않으므로 애플리케이션의 복잡성 감소

▲ Data Spree의 간단하고 편리한 소프트웨어 솔루션으로 프로그래밍 및 딥 러닝에 대한 사전 지식 없이도 딥 러닝 애플리케이션 생성 가능

▲ 낮은 조명, 일광 또는 컨트래스트가 없는 상황 에서도 측정 결과가 정확

▲ IP67 보호 등급을 지닌 업계에서 인정 받은 내구성이 뛰어난 카메라 하드웨어 사용

▲ 통합 조명 및 보정된 광학 장치 덕분에 하드웨어 설치 용이

어노테이션(주석): 이 작업은 다음 단계에서 신경망에 의해 ?학습?될 내용을 정의한다.

3. 결론
앞서 설명한 과일 분류를 위한 샘플 애플리케이션에서 Basler는 Data Spree와 협력해 딥 러닝 모델과 강력한 3D 카메라를 결합해 사용자가 복잡한 작업을 시간 및 비용 효율적인 방식으로 해결할 수 있도록 지원한다.

Basler Blaze Time-of-Flight 카메라가 제공하는 추가적인 깊이 정보는 물체의 부피, 모양 또는 위치를 분석할 때 다양한 애플리케이션에 활용될 수 있다.

뒤로 기사목록

산업일보 영상뉴스 모아보기

산업일보 페이스북 바로가기

김우겸 기자 kyeom@kidd.co.kr

이 기자의 다른기사 보기 >

국제산업부 김우겸 기자입니다. 산업인들을 위한 글로벌 산업 트렌드와 현안 이슈에 대해 정확하면서도 신속히 보도하겠습니다.