Git管理ツール： Github 1. ターミナルで管理したいフォルダのディレクトリに移動。 2.git init を実行しローカルリポジトリを作成する。 3.Github Desktopを開き左上のAddボタンをクリック。 4.Addボタンをクリック後、Add Existing Repository...をクリッ…
下記、「プライバシーポリシー」に関して記載致しましたので、ご一読願います。 当サイトに掲載されている広告について 当サイトが使用しているアクセス解析ツールについて 免責事項 当サイトに掲載されている広告について 当サイトでは、第三者配信の広告サ…
実行結果 マスクあり マスクなし hanamichi-sukusuku.hatenablog.com このプログラムでは、上記で作成したモデルを使用してリアルタイムのマスクあり、なしの判定を行っていく。 必要な変数の定義とモデル読み込み、dlibのインスタンス生成 import keras imp…
実行結果 マスクあり マスクなし hanamichi-sukusuku.hatenablog.com このプログラムでは、上記で作成したモデルを使用してリアルタイムのマスクあり、なしの判定を行っていく。 必要な変数の定義とモデル読み込み、dlibのインスタンス生成 import keras imp…
実行結果 このプログラムではCNNモデルを使用してマスクをつけている画像かそうでない画像かの判定を行う。 画像形式の指定 in_shape = (50, 50, 3) nb_classes = 2 in_shapeは入力値。 nd_classは出力値。 モデル構築 model = Sequential() model.add(Conv2…
実行結果 captureディレクトリの画像データから顔検出して、faceディレクトリに検出した顔画像データを保存している。 DlibとはC++言語で書かれた汎用目的のクロスプラットフォームのライブラリで機械学習、画像処理、データマイニングなど幅広い分野の処理…
実行結果 上手く出力できた。 プログラムを見ていく。 必要な変数の定義 im_rows = 32 # 画像の縦ピクセルサイズ im_cols = 32 # 画像の横ピクセルサイズ im_color = 3 # 画像の色空間 in_shape = (im_rows, im_cols, im_color) nb_classes = 3 LABELS = ["…
実行結果 hanamichi-sukusuku.hatenablog.com 実行結果としては上記で水増しせずに学習を行った場合の正解率は0.816...ほどだったので少し精度をあげることができた。 プログラムを見ていく。 必要な変数の定義 import cnn_model import keras import matplo…
アフィン変換とは画像を回転させたり、拡大縮小させたり、平行移動をまとめて3✖️3の行列を使って変換することをアフィン変換という。 opencvのcv2.getRotaionMatrix2D()ではアフィン変換に使用する、画像の回転に必要なアフィン行列を作成している。引数には…
写真のデータ数が少なく判定精度が悪くなってしまう場合には画像データを回転させたり、反転させることでデータを水増しできる。コンピューターにとっては元の画像と全く異なる画像と認識される。 実行結果 このプログラムでは一つの画像を回転させて描画し…
hanamichi-sukusuku.hatenablog.com 今回は上記でnumpy形式に変換したFlickr APIで取得した画像データを使って、CNNで機械学習にかけていく。 モデルを別ファイルに定義 cnn_model.py モデルでは畳み込み、畳み込み、プーリング、ドロップアウト、この流れを…
Flickr APIで取得した画像データから関係のない画像を削除してクリーニングしたデータをnumpy形式のデータに変換してファイルに保存していく。 Flickr APIを使用して画像の取得に関しては下記の記事で取得している。 hanamichi-sukusuku.hatenablog.com 実行…
前提として、yahoo.comのアカウント作成とFlickr APIのページでKeyとSecretを生成し、FlickrAPIを使用するのに必要なモジュール(flickrapiモジュール)をインストールした状態で始める。あと、imageディレクトリも作成しておく。 実行結果 imageディレクトリ…
モデル構築 実行結果 MLPモデルのファイルが保存される。 hanamichi-sukusuku.hatenablog.com 扱うデータは上記で作成。 in_sizeで入力数を定義。ラベルデータとして体型の値を使用するので出力数に6を定義。 モデルの重みファイルの保存 実行結果 学習済み…
実行結果 hw.sqlite3というデータベースファイルが生成される。実際の機械学習のプログラムにおいてはデータベースでのデータを使用することがほとんどなのでデータベースを連携させ、機械学習を行えるようにデータベースの生成から学んでいく。 上記コード…
webサービスにおける学習データについて 現在では多くのサービスで機械学習システムを導入しているが、そのシステムが活躍する上で一番難しいところが「一度作って終わりではない」という点にある。日々、新しい投稿が行われ、分類精度が低下してしまうから…
index.html 実行結果 今回のプログラムでは hanamichi-sukusuku.hatenablog.com 上記で作成した機械学習の機能を持つwebサーバーを使用して、APIを呼び出すwebアプリを作成していく。 webサーバーでは既にURLで渡されたパラメーターを機械学習にかけるように…
webサービスに機械学習のシステムを組み込むためにはwebサーバーと機械学習サーバーを異なる形で動かすことやwebサーバー内で機械学習のシステムを持たせる方法になどによってwebサービスに機械学習のシステムを組み込むことができる。 今回はまず、pythonで…
実行結果 このプログラムではMLPを利用して文章を指定しどんなジャンルの文章なのか判定するプログラム。 インポートしているtfidfモジュールは下記のリンクで作成したものを使用する。 TF-IDFの手法でモジュール作成 - hanamichi_sukusukuのブログ 独自テキ…
実行結果 このプログラムではNaiveBayes(ナイーブベイズ）を利用してTF-IDFのデータベースを学習している。 TF-IDFのデータベースを読み込む data = pickle.load(open("text/genre.pickle", "rb")) y = data[0] # ラベル x = data[1] # TF-IDF hanamichi-suk…
このプログラムではlivedoorニュースコーパスを利用する。 スポーツ、IT、映画、ライフの4つに分けたデータベースを生成する。 実行結果 genre.pickleというファイルにTF-IDFに文章を変換したデータを格納し保存する。 tfidfモジュール内で生成した単語辞書…
TF-IDFとは BOW(Bag-of-Words)のように文章をベクトルデータに変換する手法のこと。BOWの手法では単語の出現頻度によって文章を数値化していた。TF-IDFでは単語の出現頻度に加えて、文章全体における単語の重要度も考慮するもの。TF-IDFは文書内の特徴的な単…
MLPでの学習結果と見比べてみる。 hanamichi-sukusuku.hatenablog.com 上記の記事でMLPの簡単なモデルでの結果を出力している。 実行結果 MLPでの評価結果は約90％だったのに対してCNNでの評価結果は約96%と高いものになった。 必要な値の定義と画像データの…
実行結果 比較的高い結果を得ることができた。 必要な値の定義、画像データ読み込み import numpy as np import cv2, pickle from sklearn.model_selection import train_test_split import keras # データファイルと画像サイズの指定 --- (*1) data_file = …
実行結果 hanamichi-sukusuku.hatenablog.com このプログラムでは上記でETL1のデータベースから読み込んだカタカナ手書き文字のデータをラベルデータと画像データに分けて保存していく。 保存先や画像サイズの指定 out_dir = "./png-etl1" # 画像データがあ…
実行結果 実行するとカタカナの画像データが複数のディレクトリに保存されている。 保存先のディレクトリの作成 outdir = "png-etl1/" if not os.path.exists(outdir): os.mkdir(outdir) ETLデータの中身のファイル名を全て取得 files = glob.glob("ETL1/*")…
from keras.models import Sequentialfrom keras.layers import Dense, Dropout, Activation, Flattenfrom keras.layers import Conv2D, MaxPooling2Dimport matplotlib.pyplot as plt im_size = 32 * 32 *3num_classes = 10im_rows = 32im_cols = 32in_shap…
MLPを使った分類では0.47の正解率だったので、2回に1回以上は期待と違う答えが出ることになる。そこで畳み込みニューラルネットワークを使って、分類問題を解いてみる。 import matplotlib.pyplot as plt import keras from keras.datasets import cifar10 f…
CIFAR-10はkerasでダウンロードできるデータセットで、飛行機や車、鳥、猫などの10カテゴリーの写真6万枚が入っている。約8000万枚の画像が「80 Million Tiny images」というWEBサイトで公開されているが、そこから6万枚の画像を抽出し、ラベル付けしたデー…
import kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Flattenfrom keras.layers import Conv2D, MaxPooling2Dfrom keras.optimizers import RMSprop from keras.datasets import mnistimport matplotlib.pyplot as pl…
