Barrier-Free + Innovation: 배리어프리를 넘어 On-Device AI 기반의 혁신적인 키오스크 솔루션

2025년 1월 28일부로 시행되는 장애인차별금지법 개정에 따라 배리어프리 키오스크 설치가 의무화됩니다. 이에 따라 소상공인은 기존 키오스크 대비 최대 3배에 달하는 높은 비용(약 800만원)의 배리어프리 키오스크를 설치해야 하는 부담을 안게 되었습니다. 그러나 소상공인의 85% 이상이 이러한 변경 사항을 제대로 인지하지 못하고 있어 규제 대응에 어려움을 겪을 것으로 예상됩니다. 또한 기존 키오스크는 장애인과 노약자에게 접근성과 사용성이 떨어져 사회적 약자의 불편을 초래하고 있습니다.

이는 과거 인건비 절감과 운영 효율성을 기대하며 키오스크를 도입한 소상공인들에게 오히려 운영 비용 증가라는 역효과로 작용하고 있습니다. 따라서 기존 키오스크를 전면 교체하지 않고 최소한의 하드웨어와 소프트웨어 업데이트만으로 배리어프리 기능을 제공할 수 있는 혁신적인 솔루션이 필요하게 되었습니다.

이러한 사회적 문제를 해결하기 위한 솔루션으로 "Barion" 프로젝트를 진행하게 되었습니다.

"Barion"은 소상공인이 기존 터치스크린 기기에 최소한의 하드웨어와 소프트웨어를 결합하여 간편하게 배리어프리 키오스크를 구축할 수 있도록 지원하는 통합 솔루션입니다. 사용자들은 학습된 음성 AI를 통해 키오스크를 음성으로 스마트하고 편리하게 이용할 수 있으며, 휠체어나 의자 인식 시 키오스크 높이가 자동으로 조절됩니다. 모든 AI 기능은 외부 네트워크 없이 온디바이스로 작동하여 실시간성과 보안성을 확보하며, 키오스크와 연동된 소상공인용 모바일 앱을 제공하여 메뉴 관리, 매출 관리, 직원 관리 등 매장 운영의 효율성과 편의성을 높입니다.

Barion은 기존 키오스크의 구조를 유지하면서 최소한의 하드웨어 추가와 온디바이스 AI 소프트웨어를 통해 배리어프리 기능을 제공하는 스마트 키오스크 플랫폼입니다.

장애인, 노약자 등 접근성이 필요한 사용자들이 더 쉽게 서비스를 이용할 수 있도록 돕고, 동시에 소상공인들의 설치 부담과 유지 관리 비용을 최소화하는 데 중점을 두었습니다.

• 소상공인의 배리어프리 키오스크 의무화 대응 부담 해소

• 기존 키오스크 폐기 없이 접근성 강화 솔루션 제공

• On-Device AI 기술을 활용하여 사용성과 실시간성을 확보

• 사용자 접근성과 소상공인 운영 효율성을 동시에 실현

• 온디바이스 AI 기반 실시간 객체 인식 기술 구현

• 휠체어 사용자 인식 시 자동 높이 조절 기능 탑재

• 학습된 음성 명령 기반 간단한 UI 조작 및 반응

• React 기반 Kiosk 앱 및 Android 기반 점주용 앱 연동

🔗 아래 이미지를 클릭하면 YouTube 시연 영상으로 이동합니다

성규현
@dmp100
UI/UX 및 안드로이드 개발

이원준
@WJLee22
키오스크 구현, On-Device AI 개발, IoT 시스템 구축 및 HW 제어

이재욱	고윤영
@22-JWL	@koyy418
RESTful API 설계·구현 CI/CD, docker&서버배포	로그인기능 스토어 매출, 카테고리, 직원관리 기능

아래 버튼을 클릭하면 각 파트별 레포지토리로 이동합니다

🖥️ Kiosk Front-end System Raspberry Pi 기반 키오스크 시스템
🤖 On-Device AI System RubikPi 기반 YOLOv8 객체 탐지
🔧 Actuator Control System Arduino 기반 리니어 액추에이터 제어
📱 Owner Android App 소상공인용 안드로이드 앱
🧩 Backend API Server Spring Boot 기반 Backend 서버

Category	Technology
On-Device AIoT Platform	➕ Rubik Pi: On-device AI / Raspberry Pi: Kiosk Controller
Voice AI
Object Detection AI
Hardware Controller
Hardware	🖥️ Touch Display / ⚙️ Linear Actuator 📷 Pi Camera Module 2 (IMX219)
IoT Communication
Frontend Framework
Styling & Animation
Programming Language

Category	Technology
Framework & Library
Data Format
Backend Language

Category	Technology
Containerization
CI/CD
Cloud Server
Cloud Storage

Category	Technology
UI Framework
IDE
Language

📦com.example.barrion
├─📂app                      # Application Layer
├─📂core                     # Shared Components
│  ├─📂designsystem
│  └─📂base
├─📂data                     # Data Layer (외부 의존성)
│  ├─📂api
│  ├─📂datasource
│  ├─📂dto
│  └─📂repository            # Repository 구현체
├─📂domain                   # Domain Layer (비즈니스 로직)
│  ├─📂model                 # 도메인 모델
│  ├─📂repository            # Repository 인터페이스
│  └─📂usecase               # 비즈니스 로직
└─📂feature                  # Presentation Layer
   ├─📂menu
   │  ├─📂screen
   │  │  ├─📂menulist
   │  │  ├─📂addmenu
   │  │  └─📂category
   │  └─📂type               # MVI Pattern (Intent, State, Effect)
   ├─📂order
   ├─📂sales
   ├─📂staff
   └─📂auth

• 접근성(Accessibility): 여러 장애 유형(시각, 청각, 지체 등)의 소비자 및 노인 등 신체적 장벽을 넘어 누구나 쉽게 사용할 수 있는 서비스 제공

• 경제성(Cost-Efficiency): 기존 기기를 활용해 추가 비용을 최소화하며 구축 가능, 모듈형 설계 & On-Device AI 기술을 적극 활용하여 하드웨어적 요소를 최소화하고 소프트웨어적으로 효율적인 기술 적용

• 편의성(User-Friendly): 직관적인 UI/UX, 음성 주문 시스템, 키오스크 자동 높이 조절 기능 등 사용자 경험 & 편의성 극대화

• 실시간성(Real-Time): 외부 네트워크 의존 없이 디바이스 자체적인 추론을 통해 실시간으로 빠른 연산 수행을 위한 On-Device AI 기술 적용

• 운영 효율성(Operational Efficiency): 키오스크와 연동되는 소상공인용 모바일 앱 제공을통해 소상공인의 운영 효율성 증진

• Wake Word (Porcupine) 및 Speech-to-Intent (Rhino) 기술로 정확한 실시간 음성 명령 처리

• 간편한 음성 주문으로 직관적이고 편리한 사용자 경험 제공

• 메뉴 탐색, 선택, 결제 등 전 과정 음성 안내 및 명령 가능

• 주문 전 과정 비접촉으로 주문가능

• Qualcomm AI Hub를 통해 최적화한 Quantized YOLOv8 모델을 RubikPi(QCS6490 칩셋)에서 실시간 실행

• 기존의 서버 의존적 구조와 달리, On-Device AI에 특화된 RubikPi 보드에서 최적화된 YOLOv8 모델이 단독으로 빠르고 정확한 객체 탐지를 수행하며, 낮은 전력 소비와 짧은 응답 시간을 통해 실사용 환경에서의 효율성과 신뢰성을 동시에 확보

• 휠체어 사용자 인식 시, 탐지 결과를 기반으로 시리얼 통신을 통해 Arduino 제어 -> 리니어 액추에이터를 이용한 키오스크 자동 높이 조절

• GStreamer 및 QIM SDK를 활용한 안정적인 영상 처리 및 메타데이터 관리로 빠르고 정확한 On-Device AI 성능 확보

  
  

• MQTT(Mosquitto) & Serial 통신을 활용한 RubikPi, Raspberry Pi, Arduino 간 실시간 안정적인 데이터 통신

• Arduino를 통해 리니어 액추에이터 직접 제어 (C 기반 시리얼 통신)

• RubikPi가 탐지 데이터를 MQTT를 통해 Raspberry Pi에 전달하고, Arduino가 Raspberry Pi로부터 명령을 받아 키오스크 높이 조정 수행

• 메뉴 관리:
  • 메뉴에 따른 재고예측, 원자재 관리
  • 메뉴 수정 및 추가, 적정 재고 현황, 재고조정
• 매출 관리:
  • 일별, 주별, 월별 매출 데이터 분석 및 시각화
  • 마진율 계산, 정산 관리, 실시간 매출 현황
• 주문 관리:
  • 실시간 주문 현황 리스트
  • 환불처리 및 주문 취소 처리
• 매장 관리:
  • 매장 테이블 배치
  • 직원 관리(근태기록 통계, 시급관리 등)

• Category, Employee, Menu, MenuOption, Order, Sales, Store 등 주요 도메인에 대한 CRUD
• Spring Data JPA + Azure RDS(MySQL) 연동
• @RestController + ResponseEntity 기반 일관된 JSON 응답

• Base64 인코딩 이미지 → S3 업로드 → 공개 URL 반환
• AmazonS3Client 빈 생성 및 S3Uploader 컴포넌트에서 MultipartFile/​Base64 지원
• AWS S3 버킷 ACL, Region, 자격 증명 관리

• 실행 후 http://localhost:8080/swagger-ui.html에서 인터랙티브 테스트

• Docker: 애플리케이션 컨테이너 이미지 작성 (Dockerfile)
• GitHub Actions: 빌드 → 테스트 → Docker 이미지 빌드·푸시 자동화
• 무중단 배포 파이프라인 구축

1. 규제 대응: 장애인차별금지법 개정에 따른 배리어프리 키오스크 설치 의무화 규제에 효과적으로 대응

2. 접근성 향상: 장애인과 노약자 등 모든 사용자가 불편 없이 키오스크 사용 가능

3. 경제적 부담 완화: 기존 키오스크 교체 없이 배리어프리 기능 구현, 초기 비용과 유지 비용 최소화

4. 운영 효율성 강화: 키오스크와 모바일 앱 연동을 통한 실시간 매장 관리 및 운영 효율 극대화

📅 개발 일정

© 2025 Barion Project | All Rights Reserved