Bigdata Bigdata

DATA VIRTUALIZATION

• 이기종 데이터 이관없이 융합해서 보기

  DATA VIRTUALIZATION 2019. 1. 11. 14:35

  관련링크 : https://www.denodo.com/en/data-virtualization/overview 테스트내용 : mysql과 vertica간 ETL없이 데이터 join --mysql 에서 수행create table namu_db_stat.temp_ytkim_donedo(id int, age int); insert into namu_db_stat.temp_ytkim_donedovalues (1,30); select * from namu_db_stat.temp_ytkim_donedo; -- Vertica에서 수행create table public.vertica_temp_ytkim_donedo_test( id int, name varchar(200)); insert into public.verti..

  Read More
• 다양한 데이터소스 와 다양한뷰

  DATA VIRTUALIZATION 2019. 1. 9. 14:55

  사용자는 창사이래 데이터부터 실시간데이터를 한큐에 보고싶어함.... 다만 하루에 발생하는 데이터가 수억~수십억건 이라면... 하나의 DBMS제품군으로 소화가 힘드니...

  Read More
• Dremio

  DATA VIRTUALIZATION 2019. 1. 4. 10:57

  데이터는 관계형 데이터베이스, NoSQL 데이터 저장소, 파일 시스템, Hadoop 및 기타 기술을 비롯한 다양한 기술로 관리됨. 데이터의 하위 집합을 관계형 데이터베이스에 로드하는 ETL 파이프 라인은 하나의 해답을 제공하지만 이러한 솔루션이 데이터 엔지니어 및 IT 직원에게는 부담. 그리고 분석가와 데이터 과학자가 사용할 수 있는 시점까지는 일정시간을 기다려야함. https://docs.dremio.com/working-with-datasets/virtual-datasets.html

  Read More