??? ????? Big Data ? ??? ? ???? ????????

Big Data ???????????? ????? ??????? ????????, ??????? ?????????? ???????????? ????????????? ???????? ??-?? ???????? ??????, ???????? ?????? ? ???????????? ????????. ??????????? ??????????? ????????? ????????? ????????? ???????? ?? ????????????? ????????.

?????? ? ????????????? ?????????? ?????????? ????????? ??????. ??????? ???????? ??????????? ? ???????????????. ????? ???????? ???????????? ?? ??????. ????? ????? ??????????? ???????? ????????? ??? ??????????? ?????????. ???????? ?????? — ??????????? ?????? ??? ???????? ???????.

?????????? Big Data ???? ????????? ????????? ???????????????? ????????????. ???????? ????????? ??????????? ?????????????? ?????????. ????????? ?????????? ?????????????? ???????? ?????? ?? ??? ? ?????? ??????????? ???????. ???????? ????????? ????????? ?????? ??? ??????????? ???????????.

??????? ??????? Big Data

?????? ?????????? ???????? ????????? ?? ???? ??????? ?????????, ??????? ??????? ????? V. ?????? ?????????????? — Volume, ?? ???? ?????? ??????. ??????????? ???????????? ????????? ? ????????? ?????? ?????????. ?????? ??????? — Velocity, ???????? ???????? ? ?????????. ?????????? ????????? ?????????? ???????? ?????????? ?????? ???????. ?????? ???????? — Variety, ???????????? ????? ????????.

?????????????? ???????? ????????????????? ? ???????? ? ??????? ????????? ? ????????. ??????????????????? ?????????? ?? ????? ?????????????? ????????????? ???????????. ??????????, ???????????, ?????????? ????????? ??????????? ? ???? ??????. ????????????????????? ???????? ????? ????????? ??????. XML-????? ? JSON-????????? On X ???????? ???????? ??? ?????????????? ??????.

??????????? ??????? ???????? ??????????? ???????? ?? ????????? ????? ???????????. ???????? ??????????? ???????????? ??????????? ??? ???????????? ???????????. ???????????????? ???????? ????????? ??????????? ?????????? ??? ???????? ???????. ?????????????????? ???????????? ???????????? ?????? ??? ?????? ?? ????? ?????????. ?????????? ?????????? ????? ?????????? ?? ?????? ??????? ??? ?????????? ?????????? ? ???????????? ??????????.

?????????? ???????????? ??????????

???????? ??????????? ????????? ?????????? ?? ????????? ????????. ?????? ????????? ?????????? ????????????? ????????? ???????? ??? ???????????? ???????.

??????? ??????? ??????? ?????? ??????????:

• ?????????? ??????? ?????????? ?????????? ?????????, ??????????, ????? ? ?????????? ? ?????????? ????????. ??????? ??????????? ?????, ??????? ? ?????????.
• ???????? ????? ??????????? ???????????????? ??????????, ??????? ? ???????. ???????????? ?????????? ???????????? ?????????? ??????????. ??????????? ?????????? ???????? ?????? ? ??????????? ? ??????????????????.
• ?????????????? ????????? ????????? ???????? ???????? ? ???????. ?????????? ?????????? ???????????? ???????. ????????-???????? ????????? ?????????? ??????? ? ???????? ??????????? On-X ??? ?????????????? ???????????.
• ???-??????? ?????????? ??????? ?????????, ????? ? ??????????? ?? ?????????. ????????? ????????? ??????? ??????? ????????.
• ??????????? ?????????? ??????????? ?????????????? ?????? ? ?????????? ?? ????????????? ?????.

?????? ????? ? ?????????? ??????????

???? ???????? ???????? ??????????? ??????? ???????????? ????????. API ????????? ???????? ????????????? ????????? ?????? ?? ??????? ??????????. ???-????????? ???????? ???????? ? ???-???????. ??????????? ?????????? ???????????? ????????????? ?????? ?????????? ?? ??????????? ? ?????? ?????????? ???????.

??????? ?????????? ???????? ?????????? ??????????? ?? ????????? ?????. ??????????? ??????? ????????????? ?????????? ? ???????? ?? ????????????. NoSQL-????????? ??????????? ?????????? ??????? ??? ??????????????? ??????. ???????????????????????? ???? ?????? ?????? ? ???? JSON ??? XML. ???????? ????????? ???????????? ?? ???????? ?????? ????? ?????? On-X ??? ???????? ?????????? ?????.

?????????????? ???????? ??????? ?????? ???????? ?? ?????? ????????. Hadoop Distributed File System ????????? ????????? ?? ????????? ? ???????? ?? ??? ????????????. ???????? ????????? ???????????? ?????? ???????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ???? ??????????? ?? ????? ??????? ????.

??????????? ???????? ??????????? ? ????????? ???????????? ??????. ??????? ????????? ?????? ?????? ? ??????????? ?????? ??? ???????????? ???????. ????????????? ??????? ??????? ?????????????? ??????? ?? ????????? ?????.

???????? ??????????? Big Data

Apache Hadoop ???????????? ????? ????????? ??? ??????????? ??????????? ??????? ??????. MapReduce ?????? ?????? ?? ?????????? ???????? ? ????????? ???????? ????????? ?? ???? ????????. YARN ???????????? ????????????? ???????? ? ??????? ??????? ????? On-X ????????. Hadoop ???????????? ????????? ?????? ? ???????????? ?????????????.

Apache Spark ??????????? Hadoop ?? ???????? ??????? ????????? ?????????????? ??????????? ??????. ?????????? ???????????? ???????? ? ??? ??? ?????? ???????????? ????????. Spark ?????????? ???????? ??????, ?????????? ?????????, ???????? ???????? ? ??????? ???????. ???????????? ????????? ????????? ?? Python, Scala, Java ??? R ??? ???????? ????????????????? ??????.

Apache Kafka ???????????? ?????????? ???????? ?????????? ????? ?????????. ?????????? ??????????? ???????? ??????? ? ??????? ? ?????????? ??????. Kafka ????????? ?????????????????? ??????? ?? ??? ?????? ??? ???????????? ???????? ? ?????????? ? ??????????????? ?????????? ????????? ????????.

Apache Flink ???????????? ?? ??????? ?????????? ?????????? ? ???????? ???????. ??????? ????????? ???????? ?? ???? ?? ?????? ??? ?????????. Elasticsearch ??????????? ? ???????????? ?????? ? ???????????? ????????. ??????? ???? ?????????????? ?????????? ? ????????????????? ??????? ??? ????????, ??????????? ? ??????????.

???????????? ? ???????? ????????

?????? ???????? ???????? ??????? ?????? ????????? ?? ??????? ????????. ???????????? ????????? ???????? ???????????? ????????. ????????????????? ????????? ????????????? ????????? ?????????. ???????????????? ????????? ????????? ????????????? ?????? ?? ?????? ???????????? ????????. ?????????????? ????????? ???????????? ??????????? ????.

???????? ???????? ???????????? ????? ???????????? ? ?????????. ??????? ??????????? ?? ???????? ? ???????? ????????????? ?????????. ?????????????? ???????? ?????????? ??????????? ???????? ??? ?????????????. ??????? ???????????? ?????? ????????? ??? ???????? ????????.

???????????????? ???????? ??????? ????????? ????????? ? ????????????? ?????????. ??????????? ?????????? ?????? ???????? ??? ??????????? ????????????. ???????? ? ????????????? ???????????? ????? ????? ?? ??? ?????? ??? ???????????? ????????.

???????? ???????? ???????? ????????? ???? ??? ????????????? ???????. ?????????? ?????? ????????? ???????????. ???????????? ?????? ?????????????? ????????? ??????? ? ????????? ??????.

??? ?????????? Big Data

????????? ????? ??????????? ???????????? ?????????? ??? ?????????????? ???????????????? ??????????????. ???????? ????????? ?????? ???????????? ? ??????? ?????? ???????????. ????????? ????????? ?????? ?? ?????? ? ???????????? ??????????? ???????. ???????? ????????? ??????????? ???????????? ??? ??????????? ?????????? ???????.

?????????? ?????? ???????? ?????? ??? ??????????? ?????????????? ????????. ????????? ????????? ?????? ????????? ???????? ? ?????????? ???????????? ??????????? ? ?????????? ???????. ?????????? ?????????? ????????? ?????????????????? ????????? ?? ?????????? ?????? ???????????. ????????? ????????? ????????? ??? ???????????? ????????? ?????????.

???????? ??????????? ??????? ??? ????????? ??????????? ?????????. ??????????? ??????????? ????????? ?????????? ???????????? ? ???????? ?????? ???????? ????????. ???????????? ????????? ?? ??? ?????? ???????????? ???-?????????????????? ??? ?????????? ???????????? ???????. ??????????? ??????? ??????????? ?????? ???????? ? ????????? ? ??????????? ??????????.

???????????? ????? ???????? ???????????? ???????? ? ??????? ????????? ????????. ??????????? ??????? ?????? ??????? ? ???????????? ????????. ????? ?????????? ?????????? ????????????? ????????????? ? ??????? ???????????. ????????????? ?????? ????????? ???????????????? ?? ?????????? ? ?????? ???????.

??????? ?????? ? ??????????????????

???????????? ???????? ?????????? ???????? ????????? ????????? ??? ???????????. ?????? ?????????? ???????? ???????????? ???????? ????????, ?????????? ?????? ? ???????????? ???????. ??????????? ?????? ??????? ????????? ???? ? ???????? ? ???????? ?????????. ?????? ??????? ????????? ??? ????? ???????? ??????????.

??????????? ????????? ?????? ?? ?????????????? ?????????. ??????? ??????????? ???????? ? ?????????? ??? ??? ???????????? ????. ??????????? On X ??????? ?????? ??? ????????? ?? ???? ? ???????? ?? ???????. ?????????????? ????????????? ?????????? ??????????? ??????????? ????? ??????? ???????.

??????????????? ?????? ?????? ????? ????????????? ??????? ??????. ??????????? ???????? GDPR ????????? ???????????? ???????? ?? ??????????? ??????????. ??????????? ????????? ???????? ???????? ? ??????? ???????????? ??????. ?????????? ?????? ??????? ?? 4% ?? ???????? ???????.

???????????? ??????? ?????????? ???????? ?? ????????????? ????????. ??????? ????????? ?????, ?????????????? ? ??????? ?????????. ???????????????? ?????????????????? ????????? ?????????????? ?????? ? ??????. ?????? ???????????? ??????????? ?????? ??? ???????????? ?????????? ???????????? ??????. ???????? ??????? ????????? ?????????? ????????? ?? ?????? ???????????????? ??????.

????????? ?????????? ??????? ??????????

????????? ?????????? ?????????????? ????????? ??????? ????????. ????????? ?????????? ????????? ??????? ?????? ?? ??????? ?????? ???. ??????? ??????? ????????????????? ????????, ????????? ????????? ? ????????? ?????????? ????. ?????????? ??????????? ????????? ? ???????????? ????????? ???????????.

???????????? ???????? ????????? ??????????? ?????????? ????? ? ?????? ????????????. ?????????? ??????????? ?????? ?????? ??? ?????????? ? ??????. ?????? ???????????? ?????????? ? ????????? ???????????? ????????. ??????????????? ????????? ????????? ??????? ? ????????????? ????????? ??????????? ?? ?????.

????????????? ????????? ???????????? ???????????? ???????????? ????????????? ???????. ?????????????????? ???????? ???????? ????????? ??????????? ?????? ??? ??????? ??????????. ????????? ??????????? ?????????? ???????????? ???????? ??? ?????????? ??????????. ??????? ?????????????? ?????????? ?????? ? ????????? ??????????? ? ?????????????.

?????????????? ???????? On X ????????? ??????? ??????? ?? ?????????????????? ????????? ??? ????????????? ??????????. ??????? ??????? ?????? ???????????????? ??????????, ????? ???????????. ???????? ???????????? ?????????? ?????????? ? ?????????????? ????????. ??????? ??????????? ????????????? ?????? ? ?????? ?? ?????????????.