Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3059(Print)
ISSN : 2287-2302(Online)
Journal of the Computational Structural Engineering Institute of Korea
Vol.32 No.1 pp.29-35

DOI : https://doi.org/10.7734/COSEIK.2019.32.1.29

RGB-Depth Camera for Dynamic Measurement of Liquid Sloshing

Junhee Kim1,Sae-Woung Yoo1,Kyung-Won Min1†
1Department of Architectural Engineering, Dankook University, Yongin, 16890, Korea
Corresponding author: Tel: +82-31-8005-3690; E-mail: kwmin@dankook.ac.kr
October 12, 2018 November 6, 2018 November 7, 2018

Abstract


In this paper, a low-cost dynamic measurement system using the RGB-depth camera, Microsoft Kinect® v2, is proposed for measuring time-varying free surface motion of liquid dampers used in building vibration mitigation. Various experimental studies are conducted consecutively: performance evaluation and validation of the Kinect® v2, real-time monitoring using the Kinect® v2 SDK(software development kits), point cloud acquisition of liquid free surface in the 3D space, comparison with the existing video sensing technology. Utilizing the proposed Kinect® v2-based measurement system in this study, dynamic behavior of liquid in a laboratory-scaled small tank under a wide frequency range of input excitation is experimentally analyzed.



RGB-Depth 카메라를 활용한 유체 표면의 거동 계측분석

김준희1,유세웅1,민경원1†
1단국대학교 건축공학과

초록


본 논문에서는 건축물 진동저감장치에 적용되는 액체감쇠기 내 유체 자유표면의 동적 거동 계측을 위해 저가형 RGB-depth 센서인 Microsoft사 Kinect® v2의 활용과 계측시스템을 구축하는 방법을 제안하였다. Kinect® v2의 성능검토 및 실효성 확 인, SDK(software development kit)를 사용한 실시간 모니터링, 3D 공간상에서 유체의 표면 정보 취득, 기존 비디오 센싱기 법과의 비교를 통해 본 연구에서 제안한 유체의 동적 거동 계측 시스템의 정확성과 우수성을 검증하였다. 제안된 계측시스 템을 활용하여 소형 수조 내 액체에 대한 동적 거동 정밀계측을 수행하였으며, 이를 바탕으로 광범위한 가진입력에 대한 유 체 자유표면의 동적 거동 특징을 확인하였다. 본 연구의 결과를 바탕으로 RGB-depth센서의 건축물 진동저감 적용을 통해 정밀한 모니터링 시스템을 구축하고 최적화된 액체감쇠기의 설계 및 운용을 기대할 수 있다.



    National Research Foundation of Korea
    2015R1C1A1A01054155
    2015R1D1A1A01060643

    1. 서 론

    최근 2016년 경주 지진, 2017년 포항 지진 등 자연 재해에 대한 사회적 이슈가 화두가 되고 있다. 구조물은 지진과 같은 동적하중에 민감하며, 특히 초고층 구조물의 진동응답은 구조물 설계, 시공, 사용단계에서 사용성과 안정성이 확보되어야 한다. 유체를 사용한 구조물 제어분야 등의 선행 연구를 기반으로 구조물의 동적 거동을 측정 및 제어하고, 굳지 않은 콘크리트 등과 같은 유체의 유동성을 제어하는 연구가 활발히 진행 중이다. 구조물의 기초부에 지진에 의한 진동을 흡수하는 면진시스템과 더불어 풍하중에 의한 상시진동을 제어할 수 있는 동조액체 감쇠기(tuned liquid damper)가 대표적이며(Lee et al., 2012;Kim et al., 2015) 이러한 제어시스템은 유체를 사용 해 구조적 안정성을 확보하고자 한다.

    유체의 동적 거동 측정 및 제어 시스템 구축을 위한 센서로 전기용량식 파고계가 활발히 사용되고 있다. 하지만, 파고계와 같은 접촉식 센서는 유체와의 직접접촉으로 인한 측정 물리량 변화, 센서 내구성 저하와 다점 측정의 한계 등이 대두되며, 기존의 접촉식 센서의 단점을 극복하는 3차원 이미지를 활용한 계측 기술에 대한 관심이 높아지고 있다. 유체의 비접촉식 거동측정에 관한 대표적인 연구로 비디오 카메라의 활용이 활발하다(Sawada et al., 2005;Kim et al., 2016). 2차원 면내방향 이미지 정보를 기반으로 하는 비디오 센싱의 경우 하드웨어가 간단하여 사용성이 우수하지만, 투명한 용기에 담 겨있는 유체의 거동 측정에 사용성이 한정되고, 면외방향 거동 측정이 불가능하여 유체의 자유표면 거동계측에 어려움이 있다.

    3차원 공간상의 동적 거동인 유체의 자유표면 계측을 위해 면외방향 계측기술의 적용이 긴요하며, 이를 위해 LiDAR (light detection and ranging)와 같은 정밀 레이저센서의 활용이 대안이 될 수 있으나 고가의 가격으로 활발한 적용에 제한이 되고 있다. 2010년 Microsoft사에서 출시한 가정용 게임기인 Xbox의 인체 동작감지를 위한 Kinect는 최대 22만 개의 공간정보 데이터(3차원 좌표 및 색상)를 취득할 수 있는 저가의 RGB-depth 센서이다. 뛰어난 경제성과 정밀성으로 인해 가정용 게임기의 활용범위를 넘어 구조물 상태 모니터링 을 위한 구조물의 비틀림을 측정하는 3D 동적 변위 측정 (Abdelbarr et al., 2017)과 콘크리트 보의 수직 동적 처짐 측정(Qi et al., 2014), 근거리 3D 모델링(Lachat et al., 2015), 실내외 공간 정보 모델 획득(Kim et al., 2018) 등 강체와 같은 구조물의 정적, 동적 측정을 위한 적용성이 검토 되고 있다.

    본 연구에서는 Kim 등(2018)의 최근 연구를 발전시켜 유체의 자유표면의 동적 거동 측정을 위한 RGB-depth Kinect v2 센서의 적용성을 확인하였다. Kinect v2 센서의 성능 검토 및 실효성 확인, 3D 공간상에서의 유체의 자유표면 정보를 취득하였으며, 기존의 비디오 센싱 기법과 비교하여 본 연구에서 제시한 유체의 동적 거동 계측 시스템의 정확성 및 타당성을 검증하였다.

    2. RGB-D Kinect sensor

    Kinect v2 센서는 RGB-D(depth) 센서(Fig. 1)로 RGB 카메라와 IR(infrared) 카메라로 구성된 비접촉식 센서이다. RGB 카메라는 1920×1080 픽셀 해상도로 색상 정보를 획득 하며 IR 카메라는 512×424 픽셀 해상도로 IR 데이터와 깊이 데이터를 실시간으로 획득할 수 있다(Table 1). Microsoft에서 제공하는 Kinect v2의 측정 가능한 거리는 최소 0.5m에서 최대 4.5m로서 0.5m에서 픽셀의 크기는 1.4mm이며 4.5m 일 때 픽셀의 크기는 12mm까지 변화한다(Lachat et al., 2015). Kinect v2를 사용해 색상 정보와 깊이 정보를 융합하기 위해서는 RGB 카메라와 IR 카메라의 FOV(field of view) 차이를 보정해 주는 보정계수를 필요로 한다(Smisek et al., 2011). 또한, TOF(time of flight) 방식과 스테레오 비전 시스템을 통해 깊이 정보를 추출하며 3차원 공간을 이미지 평면으로 2차원 투영시키기 위해 각 카메라의 내부 변수 및 외부 변수를 추정해 얻는 데이터를 토대로 2차원 배열에 대한 각 픽셀 정보를 구성한다(Chen et al., 2017;Kim et al., 2018).

    Kinect v2 센서의 카메라 내부 변수와 외부 변수는 다양한 위치와 각도로 촬영된 체커보드(checkerborad) 실험을 통해 추정할 수 있다(Fig. 2). 총 21장의 체커보드 이미지의 1,134 개의 좌표를 토대로 Matlab의 calib_gui, stero_gui 함수를 사용해 카메라 내적, 외적 변수 값들을 추정하였으며(Branko. 2013) 추정된 변수 값은 Table 2와 같다.

    3. 실험 및 검증

    Kinect v2 센서를 사용해 유체의 동적 거동 계측 시스템을 구축하고 유체의 자유표면 정보 데이터 수집 시 안정적인 샘플링 속도(30Hz)로 측정할 수 있는지 확인하기 위해 수행하였다. 정량적인 Kienct v2 센서 데이터와의 비교를 위해 비디오 센싱을 통한 측면 계측을 수행하였으며 본 연구에서 비디오 센싱의 계측값을 기준치(reference)로 설정하였다. Kinect v2 센서를 사용해 300×200×200mm 크기의 두께 10mm 실험실 수준의 소형수조에 담긴 적색 염료를 혼합한 유체를 1m 거리에서 측정하였다(Fig. 3). 실험에 사용한 비디오카메 라는 삼성사의 HMX-QF20로 Kinect v2 센서보다 2배 많은 초당 프레임 수를 취득할 수 있으며(60fps) Kinect v2 센서의 색상 이미지의 픽셀과 동일한 1920×1080의 풀HD 영상을 취득할 수 있다.

    3.1 단일점 거동 측정 검증

    유체의 정확한 동적 거동 측정을 위해 유체의 높이에 따른 고유진동수를 파악하여 해당 주파수의 sine파를 AC서보모터로 구동되는 1축 진동 테이블(shake table)로 가진하여 실험을 진행하였다. 유체의 높이에 따른 고유진동수는 다음 식을 통해 확인 할 수 있다(Mattias, 1998).

    f n = 1 2 π n π g L t a n h ( n π H L ) , ( n = 1 , 2 , 3 )
    (1)

    Kinect v2 센서의 측정가능한 주파수 영역 및 진폭을 확인 하기 위해 유체의 높이는 각각 10mm, 25mm, 40mm로 변화 시켜 측정하였으며 식 (1)을 통해 얻은 유체의 높이별 고유 진동수 이론값과 실험값을 비교하였다.

    각 유체 높이별 측정한 데이터 중 실험실 수준의 소형 수조 의 가운데 단일점을 추출해 비교하였으며(Fig. 4) 식 (1)을 통해 얻은 유체의 높이별 1차 모드 고유진동수는 각각 10mm 일 때 0.51Hz, 25mm 일 때 0.83Hz, 40mm 일 때 1.02Hz 이다. 이를 토대로 유체의 높이별 1차 모드 고유진동수를 가진 하였으며 결과는 다음과 같다.

    Fig. 5의 (a)는 유체의 높이가 10mm 일 때 최대 변위가 10mm 이내로 두 측정 장치의 RMS 오차 값은 0.71mm이다. 이 때 1차 모드 고유진동수는 0.53Hz이다. (b)는 유체의 높이가 25mm 일 때 최대 변위가 12mm 이내로 측정 RMS 오차 값은 1.32mm이며 1차 모드 고유 진동수는 0.86Hz이다. (c)는 40mm의 유체 높이로 최대 변위가 25mm 이내로 측 정 RMS 오차 값은 2.33mm이며 1차 모드 고유진동수는 1.06Hz이다. 두 측정 장치의 RMS 오차 값은 유체의 높이와 고유주파수에 따라 증가하였지만 여전히 유체의 동적 거동 측정 성능의 우수함을 확인하였다. 또한, 실험 결과와 비교한 유체 높이별 1차 모드 고유진동수는 평균 3%의 오차를 확인하였으며 비디오 센싱 데이터와 매우 근사함을 확인하였다.

    3.2 다점 거동 측정 검증

    Kinect v2 센서의 유체의 단일점 측정 성능의 우수성을 토대로 Fig. 6과 같이 유체의 실시간 다점 거동 측정 실험을 진행하였다. 유체의 높이는 25mm로 실험에 사용한 신호는 10mm 진폭의 sine파(0.8Hz)와 변조주파 신호(chirp signal) (0.5~3.5Hz)이다.

    3.2.1 Sine파를 활용한 다점 거동 측정

    25mm 유체의 다점 거동 측정 실험은 0.8Hz의 sine파를 가진해 진행하였다. 실험실 수준 수조의 4개의 지점에 대한 유체의 동적 거동을 측정하였으며 각 지점의 측정 장치에 따른 RMS 오차를 비교하였다. 변위가 큰 양 끝단 지점 유체의 두 측정 장치의 RMS 오차 값은 1.33mm, 1.42mm로 유체의 중앙부 RMS 오차 값 0.78mm, 0.80mm보다 큰 것을 확인 하였다. 25mm의 유체에 대한 Kinect v2 센서의 단일점 측정 성능과 비교했을 때 두 측정 장치의 RMS 오차 값이 근사하였 으며 해당 진폭보다 절반 수준의 진폭을 나타내는 유체의 중앙부 RMS 오차 값은 양 끝단 벽체의 유체보다 약 0.6배보다 작은 것을 확인하였다.

    Kinect v2 센서로 취득한 유체의 동적 변위는 비디오 센싱 데이터 대비 약 2% 이내의 오차 범위로 매우 근사함을 확인하 였으며 동일한 주파수(0.8Hz)에서 상이한 진폭에 대한 Kinect v2 센서의 유체의 단일점 동적 거동 계측성능을 검증하였다. Fig. 7

    3.2.2 변조주파를 활용한 다점 거동 측정

    일정 주파수로 거동하는 유체에 대한 Kienct v2 센서의 계측 성능 검증을 바탕으로 다양한 주파수에 대한 성능 범위를 검증 하기 위해 0.5Hz에서 3.5Hz의 변조주파 신호를 가진하여 실험을 진행하였다.

    Fig. 8은 변조주파 신호 가진 시 Kinect v2와 비디오 센싱 데이터의 4점에서 거동하는 유체의 데이터를 각각 추출하여 비교한 그래프이다. 140초 동안 두 데이터의 4점에서 2번의 큰 출렁임이 발생하였으며 전체적인 유체 거동의 트렌드가 같음을 확인한 후 첫 번째 측정 지점 데이터를 확대하여 비교 하였다.

    Fig. 9는 첫 번째 측정 지점의 데이터 중 큰 출렁임이 발생한 0초~30초, 45초~75초 부분을 확대한 그래프다. Fig. 9(a)4초 부근부터 첫 번째 출렁임이 시작되었다. 출렁임의 크기는 점점 증가되어 14초 부근에서 8.2mm의 피크값을 보였으며 그 이후 감소하였다. 그 이후 일정한 크기의 작은 출렁임이 반복적으로 발생하다 45초 이후부터 Fig. 9(b)와 같이 두 번째 큰 출렁임이 시작되었다. 첫 번째 큰 출렁임과 동일하게 출렁 임의 크기가 점점 증가되어 58초 부근에서 7.3mm의 피크값을 보였고 그 이후 다시 감소하였다. 식 (1)을 통하여 두 번의 피크점이 발생한 14초, 58초는 유체의 고유진동수(0.82Hz, 2.21Hz) 발생시간임을 확인하였고 고유진동수 전, 후로 점진 적으로 증가, 감소하는 출렁임이 발생하는 것을 확인하였다.

    유체의 좌측 끝단 지점의 두 측정 장치의 RMS 오차 값은 Fig. 9(a)와 Fig. 9(b)의 30초 동안의 RMS 오차는 각각 0.32mm, 0.68mm이다. Fig. 9(b)의 피크값이 Fig. 9(a) 보다 작지만 유체의 거동 속도가 더 빨라 RMS 오차가 크게 나타난 것을 확인하였다. 본 실험으로 서로 다른 진폭과 다양한 주파수 범위에서 유체의 연속적인 변화에 대한 Kinect v2 센서의 유체의 다점 동적 거동 계측성능 및 정확성을 확인하였다.

    3.3 연속 자유표면 측정 검증

    Kinect v2 센서를 사용한 유체의 단일점 및 다점 거동 측정 성능 검증을 바탕으로 유체의 자유표면을 연속적으로 획득하는 시스템을 구축하였다. 비디오 센싱을 통해 얻은 2차원 이미지와 Kinect v2 센서의 SDK(software development kit)를 사 용해 취득한 표면정보를 바탕으로 Kinect v2 센서로 취득한 유체의 자유표면 정보를 3차원으로 재구성하였다. 비디오 센 싱을 통해 얻은 25mm 유체의 시간별 1차 모드 이미지는 이미지 프로세싱의 가변 이진화(locally adaptive thresholding) 변환을 통해 Fig. 10과 같이 2차원 이미지로 변환하였다.

    Kinect v2 센서의 SDK를 사용해 취득한 25mm 유체의 1차 모드의 표면정보는 Fig. 11과 같다. 실시간으로 유체의 표면 정보를 획득하기 위해서는 유체 표면 기포 등의 반사로 인해 생기는 Kinect v2 센서의 노이즈를 제거해야 한다.

    Kinect v2 센서로 취득한 데이터는 비디오 센싱을 통해 얻은 2차원 이미지와 Kinect v2 센서의 SDK를 사용해 얻은 3차 원 표면정보를 바탕으로 Matlab을 통해 노이즈를 제거하고 유체 자유표면에 대한 전체 정보를 3차원 point cloud 이미지로 획득하였다.

    Kinect v2 센서를 사용해 획득한 3차원 point cloud 이미 지는 Fig. 12와 같이 유체의 최저점과 최고점 표현이 가능하며 최대 30Hz의 샘플링 속도로 유체 자유표면의 모든 변화를 실 시간으로 취득할 수 있다. 또한, 비디오 센싱을 통해 얻은 2차원 이미지와 Kinect v2 센서의 SDK를 통해 얻은 표면정보와 비교한 3차원 point cloud 이미지는 입면도와 평면도를 동시에 나타낼 수 있을 뿐 아니라 실시간으로 모니터링이 가능하며 이를 통해 유체의 동적 거동에 대한 제어를 보다 효과적으로 할 수 있다. 또한, 3차원 point cloud의 360° 회전을 통해 유체의 거동 특성을 보다 정밀히 분석할 수 있으며 2차원 이미지 정보 대비 Kinect v2 센서에 의한 3차원 정보를 바탕으로 건축물 진동저감을 위한 모니터링 시스템 구축이 가능할 것으로 예상 된다. 이를 바탕으로 Kinect v2 센서의 실시간 유체의 동적 거동 계측 시스템의 타당성을 검증하였다.

    4. 결 론

    슬로싱과 같은 유체 자유표면의 동적 거동 계측에 저가형 RGB-depth 센서인 Microsoft사의 Kinect v2의 적용성 검증을 통해 유체 자유표면의 동적 거동을 실험적으로 분석하 였다. 사용된 Kinect v2 센서는 유체의 동적 거동을 측정에 대해 편리하고, 실현 가능하며 비용 효율적인이라는 것을 확인하였다. Kinect v2 센서의 주요 장점은 센서의 넓은 시야(유체의 일부 분이 아닌 표면 전체)와 22만개 포인트를 사용해 보다 정확한 자유표면 정보를 획득할 수 있으며 실시간으로 모니터링할 수 있다는 점이다.

    실험실 수준의 소형 수조내 유체를 측정하기 위해 진동대 가진 신호를 변화하여 각 유체의 높이에 따른 고유진동수를 파악하였으며, Kinect v2 센서의 SDK와 비디오 센싱을 통해 Kinect v2 센서의 동적 거동 계측성능을 정량적으로 검증하였다. 다양한 유체의 동적실험을 바탕으로 유체의 높이가 증가함에 따라 1차 모드 고유진동수, 유체의 진폭 크기 및 RMS 값이 증가함을 확인하였다. 또한, 0.8Hz의 sine파 가진 시 진폭의 변화가 큰 양 끝단의 유체 움직임이 중앙 부분의 움직임 대비 RMS 값이 약 2배 이상 컸으며 변조주파 신호 가진을 통한 진동수 변화에 따른 유체의 동적 거동 계측 실험에서는 유체의 1, 3차 고유진동수의 주파수에서 가장 큰 출렁임 확인을 통해 Kinect v2 센서의 측정성능을 검증하였다.

    제안된 유체 자유표면의 동적 거동 계측 시스템은 소형 수조 내 투명한 유체는 측정할 수 없는 문제점이 있다. Kinect v2 센서는 측정 대상의 색상의 변화에 따른 반사율에 차이가 있기 때문에 다양한 색상을 가진 유체 자유표면의 동적 거동 계측에 관한 추가 연구를 통해 최적의 유체 색상을 결정할 수 있다. 1축 면외방향 정보를 포함한 2축 면외방향에 대한 추가 연구를 통해 구조물 최상층에 설치된 동조액체감쇠기(TLD. tuned liquid damper) 및 동조주관감쇠기(TLCD. tuned liquid column damper)의 제어에 효과적으로 사용할 수 있다.

    감사의 글

    본 연구는 2018년도 정부(교육과학기술부)의 재원으로 한 국연구재단의 지원을 받아 수행된 신진연구지원사업(NRF-20 15R1C1A1A01054155), 기초연구사업(NRF-2015R1D1A 1A01060643)임.

    Figure

    COSEIK-32-1-29_F1.gif

    Kinect v2 configuration

    COSEIK-32-1-29_F2.gif

    Checkerboard experiment

    COSEIK-32-1-29_F3.gif

    Experimental set-up

    COSEIK-32-1-29_F4.gif

    Top view of experimental container (single measurement point)

    COSEIK-32-1-29_F5.gif

    Response of fluid surface

    COSEIK-32-1-29_F6.gif

    Top view of experimental container (multiple measurement point)

    COSEIK-32-1-29_F7.gif

    Response of fluid surface

    COSEIK-32-1-29_F8.gif

    Fluid motion excited by chirp signal

    COSEIK-32-1-29_F9.gif

    Zoom-in of 3rd point

    COSEIK-32-1-29_F10.gif

    Video sensing images

    COSEIK-32-1-29_F11.gif

    Kinect v2 SDK images

    COSEIK-32-1-29_F12.gif

    Consecutive 3D surface plots of Kinect measurement

    Table

    Kinect v2 information

    Kinect parameter

    Reference

    1. Abdelbarr. M. , Chen, Y.L, Mohammad, R.J., Masri. S.F., Shen, W.M., Qidwai, U.A (2017) 3D Dynamic Displacement-Field Measurement for Structural Health Monitoring using Inexpensive RGB-D based Sensor, Smart Mater. & Struct., 26, 125016, pp.1~23.
    2. Branko, K. (2013) Calibration of Depth Measurement Model for Kinect-Type 3D Vision Sensors, WSCG 2013 Conference on Computer Graphics, Visualization and Computer Vision. pp.61~64.
    3. Chen, Y.L. , Mohamed, A., Mohammad, R.J., Masri, S.F. (2017) Color and Depth Data Fusion using and RGB-D Sensor for Inexpensive and Contactless Dynamic Displacement Field Measurement, WILEY, pp.1~14.
    4. Kim, J. , Park, C.S., Min, K.W. (2015) Easy-to-tune Reconfigurable Liquid Column Vibration Absorbers with Multiple Cells, Smart Mater. & Struct., 24, 065041, pp.1~12.
    5. Kim, J. , Park, C.S., Min, K.W. (2016) Fast Visionbased Wave Height Measurement for Dynamic Characterization of Tuned Liquid Column Dampers,Measurement, 89, pp.189~196.
    6. Kim, J. , Yoo, S.W., Min, K.W. (2018) Microsoft Kinect-based Indoor Building Information Model Acquisition, J. Comput. Struct. Eng. Inst. Korea, 31(4), pp.207∼213.
    7. Lee, S.K. , Lee, H.R., Min, K.W. (2012) Experimental Verification on Nonlinear Dynamic Characteristic of a Tuned Liquid Column Damper Subjected to Various Excitation Amplitudes, Struct. Des. Tall & Spec. Build., 21, pp.374~388.
    8. Lachat, E. , Macher, H., Landes, T., Grussenmeyer, P. (2015) Assessment and Calibration of a RGB-DCamera (Kinect v2 Sensor) Towards a Potential Use for Close-Range 3D Modeling, Remote Sens., 7. pp.13070~13097.
    9. Mattias, G. (1998) Motion Control of Open Containers with Slosh Constraints, Lund inst. Tech., pp.69~75.
    10. Qi, X. , Lichti, D., El-Badry, M., Chow, J, Ang, K. (2014) Vertical Dynamic Deflection Measurement in Concrete Beams with the Microsoft Kinect, Sens., 14, pp.3293~3307.
    11. Sawada, K. , Ohshina, T., Hizawa, T., Takao, H., Ishida, M. (2005) A Novel Fused Sensor forPhoto- and Ion-sensing, Sens. & Actuators B: Chemical, 106, pp.614~618.
    12. Smisek, J. , Jancosek, M., Paidla, T. (2011) 3D with Kinect, 2011 IEEE Int. Conf. Computer Vision Workshops, Barcelona, Spain, pp.1154~1160.