농림축산부 – 스마트팜 R&D 빅데이터 포털

SpreadJS x DsExcel을 활용한 엑셀 기반의 데이터 전처리 프로세스 적용

최근 4차 산업혁명이 시작되면서 모든 산업에 걸쳐서 다양한 데이터를 모으고 이를 활용하여 새로운 인사이트를 통해 산업을 혁신을 하고자 하는 움직임이 가속화되고 있습니다. 특히, 인공지능과 빅데이터의 분야의 니즈가 갈수록 심화되고 있으며, 실제 많은 기관/기업에서도 이를 주요 사업으로서 투자를 아끼지 않고 있는 것은 부인할 수 없는 트렌드일 것입니다.

이러한 변화의 바람은 농업분야에서도 불어와 전통 경작 방식의 시설원예, 축산업 등에 인공지능과 빅데이터, 사물인터넷, 지리정보시스템 등 IT첨단기술을 접목해 생산성을 향상시키고자 하는 많은 프로젝트가 진행되었습니다. 

스마트팜 연구개발 사업단에서는 현재 “스마트팜 R&D 빅데이터 포털”의 운영을 통해, 현업 사용자(비즈니스유저가)가 직접 필요한 데이터를 가공하고 분석할 수 있는 서비스를 제공하고 있습니다. 이를 통해 시설원예 및 축산 분야의 연구원 및 관련 종사자 분들이 생산성 개선을 위한 연구를 빠르게 진행하는데 많은 도움이 될 것을 기대하고 있습니다.

빅데이터 시대 필요한 데이터를 빠르게 가공하는 것이 중요.

데이터를 통한 시설원예, 축산 분야의 연구의 효율성을 빠르게

기존에는 데이터 분석을 할 때, 분석 요건이 변경되거나 새로운 데이터가 필요한 경우, 실무 담당자 또는 데이터 분석가가 IT 부서에 요청을 하고, 원하는 데이터를 받아 분석하고 의사 결정을 내리기까지 많은 시간이 걸릴 수밖에 없었습니다.

이러한 딜레이(지연)를 줄이고자, “스마트팜 R&D 빅데이터 포털”에서는 시설원예 농장 및 목장 등으로부터 수집된 다양한 원본(RAW) 데이터(온도, 습도, 풍량, 지리정보 등)들을 현업 사용자들이 웹 상에서 Excel 기반으로 직접 데이터 추출하고 필요한 자료들을 가공할 수 있는 데이터 전처리 기능을 제공하고 있습니다.

이러한 웹 Excel을 기반으로 사용자 데이터 전처리 기능을 위해 Excel과 유사한 화면과 기능을 최종 사용자에게 제공하기 위해 MESCIUS의 JavaScript 기반의 Excel UI 컨트롤인 SpreadJS가 사용되었으며, 또한 백엔드 단에서는 가공된 엑셀 데이터를 서버 상에 CSV 파일 또는 Excel 파일 형식으로 저장하기 위해 DsExcel Java API를 사용했습니다.

SpreadJS x DsExcel을 통한 데이터 전처리 기능 개발

현업 담당자의 데이터 추출 및 가공의 장벽을 낮추다.

“스마트팜 R&D 빅데이터 포털”에는 시설원예 농장 및 목장 등에서 모여진 다양한 원본 데이터들을 데이터베이스(DB) 또는 CSV파일의 데이터 셋 형태로 수집하게 되어 있습니다. 하지만 실제로 연구와 분석 목적에 따라서 데이터를 가공해야 하는 경우가 많습니다.

예를 들어, A 농장의 데이터에는 온도, 습도, 풍량, 질병, 위치 정보, 농장정보 등등 포함되어 있지만 실제 분석에서는 특정 기간 동안의 온도 및 습도만 필요한 경우가 있습니다. 

이 경우 데이터 베이스를 잘 사용할 수 있는 연구자 및 분석가라면, SQL 쿼리를 이용하여 쉽게 가공할 수도 있지만, 현업 담당자들에게는 결코 쉬운 일이 아닐 것입니다.

이에 스마트팜 빅데이터 포탈에서는 현업 사용자가 필요한 데이터를 추출 및 가공하기 위해서 SpreadJS Excel UI 컨트롤을 사용하여 웹 페이지에서 엑셀 형식으로 불러와 웹페이지에서 데이터를 수정 및 가공할 수 있도록 기능을 제공하고 있습니다.

이를 통해, 현업 데이터 연구원 또는 비즈니스 담당자들은 데이터베이스나 SQL쿼리에 대한 전문 지식 없이도 농림축산의 연구를 위한 다양한 데이터들을 웹 화면에서 제공하는 SpreadJS Excel UI 컨트롤을 이용하여서 담당자들이 원하는 데이터를 직접 수정 및 가공할 수 있게 되었으며, 해당 가공(전처리)된 데이터들은 R studio 또는 Python 등에서 데이터 분석에 활용하거나, 웹페이지에서 제공되는 SpreadJS Excel UI 컨트롤을 사용하여 2차, 3차… n차로도 쉽고 빠르게 가공할 수 있습니다.

또한, SpreadJS 화면 상에서 가공된 데이터는 JSON 형태로 DsExcel Java API로 전달되어, 서버(백엔드) 상에 CSV 또는 Excel 파일 형태로 저장되고 관리될 수 있도록 개발하여, 다른 사용자들과 쉽게 데이터를 공유하고 추가적인 연구와 분석을 자유롭게 할 수 있습니다.

USE Case

아래에서는 스마트팜 R&D 빅데이터 포털에서 실제 SpreadJS(프론트엔드)와 DsExcel(백엔드)가 어떻게 사용되고 있는지를 보여줍니다. (스마트팜 R&D 빅데이터 포털 매뉴얼 참조)

포털에 들어가면 CSV 형식의 다양한 시설원예 및 축산 관련 데이터 셋을 등록하고 활용할 수 있습니다. 등록된 데이터 셋들은 아래와 같이 리스트로 보이며, 사용자들이 필요한 데이터에 접근할 수 있습니다.

<CSV 형식의 다양한 낙농 관련 데이터 셋, 스마트팜 R&D 빅데이터 포털 매뉴얼 참조>

위의 데이터 셋을 선택하면, 아래와 같이 SpreadJS의 스프레트시트 상으로 데이터가 표출되고, 사용자는 해당 데이터 셋의 데이터를 확인하고, 엑셀과 동일한 방법으로 데이터를 수정 및 정제하여 분석에 필요한 데이터 형태로 가공할 수 있습니다.

위에서 수정/가공된 Excel(CSV) 데이터는 DsExcel Java API를 통해 서버에 파일 형태로 저장되며, 다른 사용자도 해당 가공된 n차 데이터에 접근하여 이용할 수 있게 됩니다.

위와 같이 Excel의 UI/UX 뿐만 아니라 거의 모든 기능을 제공하고 호환해주는 SpreadJS 컨트롤과 DsExcel API를 함께 사용하여, 현업 사용자에게 가작 익숙한 Excel 형태의 데이터 가공, 정제 및 시각화 기능을 제공한다면, 사용자들의 활용도 및 생산성을 향상시킬 수 있을 것입니다.

지금 바로 SpreadJS를 다운로드하여 직접 테스트해보세요! 

• SpreadJS 공식 홈페이지
• SpreadJS 튜토리얼 및 샘플
• SpreadJS Q&A
• SpreadJS FAQ
   

지금 바로 DsExcel Java를 다운로드하여 직접 테스트해보세요!

• DsExcel Java 공식 홈페이지
• DsExcel Java 튜토리얼 및 샘플
• DsExcel Java Q&A
• DsExcel Java FAQ