본문 바로가기
반응형

Database8

GoogleSheet 로 크롤링 하기 # IMPORTHTML IMPORTXML 오늘은 GoogleSheet 의 함수인, IMPORTHTML과 IMPORTXML을 활용하여서, 크롤링을 하는 방법에 대해서 정리해 보도록 하겠습니다. 1. IMPORTHTML 함수 구글시트에는 무려 html페이지에서 table 또는 리스트를 import 하는 함수가 존재합니다. 문서를 보면 아래와 같이 설명이 되어 있네요. 인자로 url, query, index만 넣어주면 되는데요. query는 "table" 또는 "list"를 넣어주면 되구요. index부분에는 2022. 12. 5.
SQLite NodeJS 모듈 이용해서 CRUD 구현하기 # DBBrowser SQLite3 오늘은 SQLite에 대해 살펴보고, NodeJS SQLite3 모듈을 활용해서, 데이터베이스에서 CRUD 작업을 구현하는 방법을 알아보겠습니다. 1. SQLite 1-1. SQLite SQLite는 C언어로 개발된 라이브러리로, 작고, 빠르면서, 상대적으로 안정적인 SQL 데이터베이스 엔진입니다. 전 세계에서 가장 널리 사용되는 데이터베이스 엔진 중 하나이기도 하구요. SQLite를 라이트하게 보여지게 하는 특징 중 하나가 모든 데이터베이스 정보를 하나의 파일에 저장한다는 것입니다. 여러 테이블, 인덱스, 스키마 등을 포함한 모든 데이터를 하나의 파일 안에 담을 수 있으며, 데이터베이스 서버의 구동없이, 파일 하나로 쉽게 데이터베이스를 전송하고 공유할 수 있습니다. SQLite는 다양한 플랫폼을 지원하.. 2022. 11. 8.
Mongoose Document 생성과 CRUD 구현 # NodeJS mongoDB 오늘은 MongoDB로 CRUD를 구현하는 방법에 대해서 정리해 보도록 하겠습니다. MongoDB의 설치는 MongoDB Atlas설치에 관한 글을 참조해주세요. 신용카드 등록없이 무료로 용량을 제공하는 클라우드 서비스에 접속해서 테스트할 수 있습니다. 로컬에 설치해서 사용할수도 있겠지만, 이 방법이 훨씬 효율적인 것 같습니다. 이것에 대한 글은 아래 글을 참조해 주시구요. >> MongoDB Atlas 무료 로 사용하기 로컬로 설치하는 예전방식에 대한 글은 아래 글을 참조해 주세요. >> MongoDB 설치 및 실행 총정리 # MongoDB NodeJS 1. MongoDB의 Database 와 Collection 그리고 Document 의 개념 나무를 보기전에 숲을 한번 보면 더욱 큰 도움이 될텐데요... 2021. 5. 26.
MongoDB Database 와 Collection 그리고 Document CRUD 하기 오늘은 MongoDB에서 가장 기본을 이루는 구조에 대해서 정리해 보려고 합니다. Database와 Collection 그리고 Document인데요. 이들을 생성해보고 조회해 보는 방법에 대해서 정리해 보도록 하겠습니다. MongoDB의 설치와 실행방법은 아래 글을 참조해 주세요. >> MongoDB 설치 및 실행 총정리 # MongoDB NodeJS 1. MongoDB의 구조 1-1. BSON, Documents, Collection, Database MongoDB는 documents로 데이터를 저장합니다. 정확히는 BSON이라고 하는 documents인데요. 여기서 BSON은 Binary JSON인데요. JSON형태의 문서를 바이너리형태로 저장한 것인데, MongoDB는 JSON을 Binary형태로 .. 2021. 5. 15.
MongoDB 설치 및 실행 총정리 # MongoDB NodeJS 오늘은 NoSQL의 대표주자인 MongoDB를 설치하고 설정하여서 실행하는 방법을 정리해 보도록 하겠습니다. 참고로 이 글은 Mac에서의 설치를 중심으로 작성되었습니다. 추후에 Linux에서의 설치 방법도 업데이트하도록 하겠습니다. 1. MongoDB MongoDB를 설치할 파일을 다운로드 받기 위해서 홈페이지로 이동합니다. >> www.mongodb.com/ 아무래도 사업의 중심이 Cloud이다보니, 어디로 가야할지 조금 어려우실텐데요. 저희처럼, MongoDB를 서버에 설치해서 사용할 사람들은 아래 메뉴를 이용해서 이동하면 됩니다. Software > Community Server 로 이동해 줍니다. 나오는 화면의 우측에 Download할 OS를 선택하도록 되어있는데요. 선택해서 다운로드 받아줍니다... 2021. 5. 11.
Join 에 관해서 정리해 보겠습니다. #SQL 오늘은 관계형 데이터베이스의 핵심인 Join에 대해서 정리해 보도록 하겠습니다. 1. Join 중복정보를 제거하기 위해, 정규화가 된 테이블들이 있을 때, 조각나있는 여러 테이블의 정보를 한번에 합쳐서 Query해야 하는 경우가 발생하는데요. 이 때 여러 테이블들을 합쳐서 필요한 정보를 찾아내는 방법이 JOIN 인데요. 2. Join의 종류 Join의 종류는 테이블을 어떻게 합치느냐에 따라서 달라지는데요. 이를 이해하기 위해서 벤다이어그램을 이용하면 좋습니다. 이에 따라서 크게 LEFT JOIN, RIGHT JOIN, INNER JOIN, FULL OUTER JOIN으로 나눠볼수 있을 텐데요. 하나씩 알아보도록 하겠습니다. 2-1. LEFT JOIN 아래와 같이 A테이블에서 필요한 일부 정보를 B에서 가.. 2020. 5. 22.
MySql 의 기본 사용법과 주요 명령어들 총정리 오늘은 Mysql의 기본 사용법과 주요 명령어들에 대해서 정리해 보도록 하겠습니다. 1. MySql접속 MySQL을 이용하기 위해서는 접속을 해 주어야 하는데요. 먼저 Terminal을 이용해서 접속하는 방법부터 알아보겠습니다. 1-1. Terminal 이용한 접속 MySql이 설치된 디렉토리로 먼저 찾아가야 하는데요. 저의 Mac기준으로는, /usr/local/mysql-5.7.10/bin 여기에 있네요. 버전별로는 상이하나, 앞의 /usr/local정도만 기억해도 나머지는 찾을 수 있을 것 같네요. mysql디렉토리의 bin디렉토리에 있는 mysql을 아래와 같이 실행시켜주면 됩니다 ./mysql -u root -p (앞에 ./를 붙인것은 제가 리눅스기반인, mac에서 작업을 하기 때문입니다.) Us.. 2020. 5. 21.
CSV 파일을 MYSQL로 Import 데이터베이스를 다루다 보면,엑셀이나 구글드라이브에서 만든 데이터를MYSQL로 임포트 해야할 일이 가끔 생기는데요.오늘은 이것에 대해서 정리해보려고 합니다. 1. MySql Workbench 실행 터미널에서 MYSQL명령어를 실행하는 방법도 있지만,GUI 툴인 Workbench가 정말 세상 편리합니다. 먼저 Workbench실행해주시구요.테스트해볼 데이터베이스는 다음과 같습니다. movies라는 Table이고,movie_id라는 primary key,director와 movie_name이라는 세개의 간단한 컬럼으로 이루어져 있습니다. 여기에는 아무 데이터도 없는데요. 2. GoogleDrive에서 CSV 익스포트 우선 GoogleDrive에서 만든 데이터를 CSV로 익스포트 하겠습니다.참고로, 테이블의 컬.. 2017. 1. 5.