Skip to content

LowyShin/KnowledgeBase

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Translate this page?

Giip(RPA/Workflow Automation Engine)

GIIP(Global Infrastructure Information Platform)은 인프라의 정보를 기반으로 다양한 작업을 자동화하기 편하도록 지원해주는 서비스 입니다. 요즘들어 workflow 계열 툴이나 lowscript로 DevOps 코드를 쉽게 만들고 있는 경우가 많은데 이 모든 서비스들이 giip와 유사합니다. giip는 2007년부터 개발되어 지금까지 클라우드나 레거시의 모든 인프라를 통합 관리할 수 있도록 만들어져 있어, 클라우드상의 인스턴스 뿐만 아니라 IP가 유동적으로 변하는 머신이나 로컬 PC까지 자유롭게 관리/통제가 가능합니다.

職業

ITProfessional drawio

Data(DBMS, NoSQL, Datascience, database)

  • CLoud RDBMS比較

  • MachineLearning(ML/AI)

  • SQL Server

    • 同時5000Transaction程のDB負荷なら管理がしやすいSQL Serverをお勧めします。Azure SQLを使うと自動チューニング機能があってオンしておくと勝手にIndex Tuningを行います。(勝手にIndexがなくなったり作成されたり)データのアクセスパターンによって同じデータセットだとしても使うユーザーのパターンによってチューニングが変わるのでDBMSに詳しくない場合でも十分なパフォーマンスが保たれます。
    • Ezis - RDBMS Monitoring
  • ORACLE

  • MySQL

    • 同時4000トランザクション未満の3GB未満データでは一番軽く早いDBMSです。しかし容量と同時接続が増えるほど設計能力がパフォーマンスに直結するため拡張を考えるなら真剣に拡張設計から考慮することを推奨します。
    • Ezis - RDBMS Monitoring
    • my.cnf
    • Replication
    • backup
    • MMM-MultiMaster
    • semaphore bug
  • mariadb

    • MySQLエンジンを使って分離されたDBMSですが、今はエンジンもかなり異なっておりスピードより拡張を考慮して発展し続いているDBMSです。4台以上の分散が必要な場合分散及び管理がより簡単にできますが、台数が増えても性能は上がることではないので分散設計は人の力に依存します。
    • Ezis - RDBMS Monitoring
  • Redis with MySQL

    • DBMSのIO負荷を下げる中間DBMSとしてよく使われておりますが、KVS(Key Value Store)構造のメモリ保管モジュールなので色んな役割で使いこなすとすごい力になると思います。しかし、単純にCluster DB Cacheなどの意味で使ってしまうと逆に同期の問題で性能があまり出ないこともあるので十分知ってから使うことを推奨します。
  • Mongodb

    • ドキュメントデータベースとかに言われたりするHadoopと共にNoSQLの代表になりましたが、RDBMSではないのでRDBMSみたいにJoinをかけたりすると一般RDBMSよりもパフォーマンスが出ないこともあります。なのでNoSQLに入れるべきUnstructured(非構造)データを非正規化していかに高性能に使うかを考慮して設計しないと普通の大量テキストストレージになってしまうのでご注意を!
  • Apache-Drill

    • Apache財団から推しているデータ抽出ツールでRDBMSとNoSQL、CSVなどのファイルデータなどをすべて一つのSQLで抽出できる強力なツールです。しかしインストールされたOSの言語とデータのCharactersetによって文字化けが多いので十分な工夫が必要です。NoSQLなどの非定型データとRDBMSのJoinが楽なのでデータ変換に時間をかけている場合は検討を推奨します。
    • Visualization機能がないのでもしレポート・グラフなどのビジュアル系が好みだったらTableauをお勧めします。TableauはNoSQLとRDBMSのJoinまではできませんが、ある程度処理(Preparation, プレパレーションツール)をしたデータの分析及びグラフ出力には優れたツールです。
  • A5MK2-MultiDBMSTool

  • BI

    • Tableau, Google Data Portal, Redash and BI, data visualization tools
  • Referrals

  • Kaggle: Your Machine Learning and Data Science Community

RPA(Robotic Process Automation)

  • WWF(Windows Workflow Foundation)
    • 2005年9月に開催されたPDC(Professional Developers Conference)で発表されたマイクロソフトの次世代ワークフロー基盤のことである。
    • UiPath, AkabotなどにRPAエンジンを提供している。
  • Power Automate
    • Microsoft社が提供するパソコン向けのRPAツール
  • UiPath(RPA)
    • WWFをベースに500億以上投資を受けて全世界に急激に拡張している海外ソリューション
  • Akabot
    • UiPathと同じくWWFをベースにしたのでUiPathと全く同じUIを持っているソリューション。ベトナムのFPT社が開発
  • Automation Anywhere
  • Win Actor
    • NTTアドバンステクノロジ株式会社の日本専用RPAツール
  • WinAutomation(official)

Tools

Infrastructure Management

Project Management

  • JIRA
    • issue管理及びプロジェクト管理の定番ツール
    • add-onが強い
    • Confluence
      • wiki形式のコンテンツ管理ツール(CMS)
  • Wrike
    • JIRAに近いプロジェクト管理ツール
    • 基本機能でganttが自動作成されるのが強み
    • 値段が高い
  • Trello
    • カード型イシュー管理サービス
    • Add-onでgantt chartがある。
  • ASANA
    • カード型イシュー管理サービス
  • draw.io
    • 大きい壁に貼り付ける感覚でプロジェクトの管理ツール
    • 無料なのに強力
    • Googleドライブに保存して共有したりすると共同作業が便利
  • mural.ly
    • 大きい壁に貼り付ける感覚でプロジェクトの管理ツール

SEO

  • Google Analytics
    • Googleが提供しているサイトのユーザー分析ツール。
  • Google Search Console
    • GAにはhttps通信の検索キーワードなどが収集できないためGoogle Search Consoleを利用しなければなりません。GAと繋いで使うのを推奨します。
  • xml-sitemaps.com - Sitemap generator
    • Google Search Console用のサイトマップ自動作成ツール

Mail Service

How to add a WordPress video background

Security

  • OWASP Amass:

    • OWASP Amass는 다양한 보안 문제 및 취약점을 탐지하고 이를 점수로 제공하는 오픈 소스 도구입니다.
  • OWASP ZAP (Zed Attack Proxy):

    • OWASP ZAP은 오픈 소스 보안 도구로, 웹 애플리케이션의 취약점을 검사하고 점수로 표시할 수 있습니다.
  • Netsparker:

    • Netsparker는 자동화된 웹 애플리케이션 보안 검사(ASV)를 수행하여 취약점을 탐지하고 그에 따른 리포트를 생성합니다.
  • Acunetix:

    • Acunetix는 웹 취약점 스캐닝 도구로, 웹사이트의 보안 취약성을 검사하고 등급 또는 점수로 제공합니다.
  • Tenable.io Web Application Scanning:

    • Tenable.io Web Application Scanning은 웹 애플리케이션의 보안 상태를 평가하고 취약점에 대한 점수를 제공합니다.

Storage

It is able to convert a single linux system disk in to a software raid 1, 4, 5, 6 or 10 system in a two-pass simple command.

  • sheepdog
    • Sheepdog is a distributed object storage system for volume and container services and manages the disks and nodes intelligently. Sheepdog features ease of use, simplicity of code and can scale out to thousands of nodes.
    • sheepdog structure
  • snapraid
    • backup program for disk arrays. It stores parity information of your data and it recovers from up to six disk failures.

OS

Apps

Hardware

Japan Environment

Business

Job&Hire

Hobby

Life

Crowd Funding

  • MAKUAKE
    • これまで世の中になかった新しい製品やサービスが毎日登場!作り手や担い手の想いを知り、応援の気持ちを込めた購入体験ができるサービスです。
  • CAPMFIRE
    • 国内最大のクラウドファンディング。テクノロジー、ソーシャルグッド、ファッション、ローカル、飲食、音楽、アート、映画、ゲーム、アニメなど、掲載件数は42,000件以上。
  • READYFOR
    • READYFOR, レディーフォー, クラウドファンディング, ソーシャルファンディング, 資金調達, 米良はるか, クリエーター

TED

SNS

Dictionary

etc

About

For share knowledge with all

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published