# FiS Project > Data Science and Engineering Blog --- ## 固定ページ - [books](https://fisproject.net/book-recommendations/): 紹介したことがある書籍に関する記事への逆... ## 投稿 - [【Python】Qdrant による近似最近傍探索 (ANN)](https://fisproject.net/2023/02/intro-to-the-vector-search-engine-qdrant/): 久しぶりの投稿となります。Rust 製の... - [【Python】Apache Airflow 2.0.0 を Ubuntu 18.04 にインストールする](https://fisproject.net/2021/01/install-apache-airflow-on-ubuntu-18/): 今回は, 検証目的で Ubuntu 18... - [【Python】AWS Lambda の Container Image Support を使い Selenium を動かす](https://fisproject.net/2021/01/aws-lambda-container-running-selenium-with-headless-chrome/): 2020/12 に AWS Lambda... - [【Book】2020年を振り返る](https://fisproject.net/2021/01/look-back-2020/): 2020年を振り返る記事です。 Blog... - [【CSP】Python で制約充足問題 (レイアウト問題) を解く](https://fisproject.net/2020/08/solving-constraint-satisfaction-problems-in-python/): 今回は, 『Python計算機科学新教本... - [【Book】『データ指向アプリケーションデザイン』を読んで分散システムに入門する](https://fisproject.net/2020/07/read-designing-data-intensive-applications-to-get-an-introduction-to-distributed-systems/): 今回は, 少しずつ読み進めていた『データ... - [【Python】iOS アプリ利用データの生存時間解析](https://fisproject.net/2020/05/survival-analysis-of-ios-app-usage-data/): 今回は生存時間解析の基本的な道具であるカ... - [【Python】取引シミュレーションの売買タイミング計算の効率化](https://fisproject.net/2020/03/computation-efficiency-of-trading-simulation/): 今回は小ネタ記事です。株や為替, または... - [【GCP】『スケーラブルデータサイエンス』を読んだ](https://fisproject.net/2020/03/read-scalable-data-science-on-the-gcp/): 『スケーラブルデータサイエンス データエ... - [【GCP】gcloud の便利なフィルタリングとフォーマット化について](https://fisproject.net/2020/02/filtering-and-formatting-with-gcloud/): gcloud コマンドラインツールは G... - [【Book】2019年を振り返る](https://fisproject.net/2019/12/look-back-2019/): 2019年を振り返る記事です。 Blog... - [【Python】ダイクストラのアルゴリズムを書く](https://fisproject.net/2019/11/dijkstras-algorithm-in-python/): 今回は, 『グラフ・ネットワークアルゴリ... - [【LightGBM】Optuna に入門する](https://fisproject.net/2019/10/first-step-with-optuna-in-python/): PyData. Tokyo Meetup... - [【Python】Profiling Flask](https://fisproject.net/2019/09/profiling-python-flask/): 前回は Flask アプリケーションのテ... - [【Python】Test and Coverage in Flask](https://fisproject.net/2019/09/test-and-coverage-in-flask/): 今回は, Flask の Tutoria... - [【異常検知】Deep Anomaly Detection with Deviation Networks を読んだ](https://fisproject.net/2019/08/deep-anomaly-detection-with-deviation-networks/): 今回は KDD ’19 に採択された論文... - [【PySpark】Koalas の紹介](https://fisproject.net/2019/05/introduction-to-koalas/): Koalas は Apache Spar... - [【Python/R】Nginx + JupyterLab でサーバ上にデータ分析環境を構築](https://fisproject.net/2019/04/install-jupyterlab-on-ubuntu/): VPS (Virtual Private... - [【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (後編)](https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-2/): Deep Learning for An... - [【Python】回帰木 (決定木) を書いてみる](https://fisproject.net/2016/07/regression-tree-in-python/): 前回は分類問題における決定木, 分類木 ... - [【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (前編)](https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-1/): Deep Learning for An... - [【Python】決定木分類器を書いてみる](https://fisproject.net/2016/07/decision-tree-in-python/): 『Python機械学習プログラミング 達... - [【情報検索】Learning to Rank の基礎](https://fisproject.net/2019/02/introduction-to-learning-to-rank/): Learning to Rank につい... - [【R / lme4】線形混合効果モデル](https://fisproject.net/2016/07/linear-mixed-effects-model/): 今回は, 『経時データ解析 (統計解析ス... - [【R】k-Shape による株価の時系列クラスタリング](https://fisproject.net/2019/01/time-series-clustering-of-stock-price-by-k-shape/): 今回は, 取引関係のある企業の株価変化率... - [【NumPy / SciPy】Pythonでデータの標準化](https://fisproject.net/2016/06/data-standardization-using-python/): データ分析の前処理などで行う標準化と正規... - [【SC】試験勉強が続かない人向けの情報セキュリティスペシャリスト対策](https://fisproject.net/2016/06/load-to-information-security-specialist/): 2016/04 に受けた情報セキュリティ... - [【Swift】久々にiOSアプリを作った時の雑多なメモ](https://fisproject.net/2016/06/ios-app-development-using-swift/): 4, 5年振りにiOSアプリを作ってみま... - [【R】実験計画法と分散分析](https://fisproject.net/2016/06/design-of-experiment/): 実験計画法 実験の検討対象の要因を因子 ... - [【R / mlogit】多項ロジットモデル](https://fisproject.net/2016/05/discrete-choice-model-using-r/): 今回は離散選択モデルのひとつ, 多項ロジ... - [【R】差分の差分法](https://fisproject.net/2016/05/difference-in-differences-using-r/): 差分の差分法 (Difference-i... - [【R】順序ロジットモデルと順序プロビットモデル](https://fisproject.net/2016/05/ordered-probit-model-and-ordered-logit-model/): Rで順序選択モデル (ordered c... - [【Python】安定結婚問題と Gale-Shapley アルゴリズム](https://fisproject.net/2019/01/stable-marriage-problem-and-gale-shapley-algorithm/): 今回は 『その問題、数理モデルが解決しま... - [【WordPress】PHP 5.5.x から PHP 7.0.x への移行](https://fisproject.net/2019/01/upgrading-from-php-5-5-to-php-7-0/): WordPress (5. 0. 2) ... - [【Book】2018年を振り返る](https://fisproject.net/2018/12/look-back-2018/): 年末に振り返る記事も5回目となりました。... - [【async/await】Python のネイティブコルーチン, 非同期イテレータ, 非同期コンテキストマネージャ](https://fisproject.net/2018/12/coroutines-with-async-and-await/): 前回は yield from (PEP ... - [【yield】Python のジェネレータとコルーチン](https://fisproject.net/2018/12/python-generators-coroutines/): 今回は Python のジェネレータとコ... - [【tmux】macOS のターミナル周辺のセットアップ](https://fisproject.net/2018/11/setup-macos-terminal/): 新しい macOS 端末を導入する度にタ... - [【Keras】S3 + Lambda + EC2 で作る画像認識システム](https://fisproject.net/2018/11/image-recognition-system-with-aws-and-keras/): 今回は Amazon S3 + AWS ... - [【Linux】Docker / Kubernetes 入門](https://fisproject.net/2018/11/introduction-to-docker-and-kubernetes/): Docker/Kubernetes に入... - [【Linux】KVM 入門](https://fisproject.net/2018/10/introduction-to-kvm/): KVM を触る機会があったので備忘録を残... - [【Go】gRPC から REST API Server をつくる](https://fisproject.net/2018/09/translates-grpc-into-rest-json-api-with-go/): 今回は Go で gRPC から RES... - [【R】欠落変数バイアスをシミュレーションで確認する](https://fisproject.net/2016/05/omitted-variable-bias/): 『実証分析入門 データから「因果関係」を... - [【RDB / JSON / S3】R でデータを読み込む方法を整理してみた](https://fisproject.net/2016/04/reading-data-into-r/): R で以下のデータソースからデータを読み... - [【k-匿名化 / l-多様性】匿名化技術の基礎について調べてみた](https://fisproject.net/2016/03/anonymizing-data/): 仕事でデータの2次利用のために匿名化デー... - [【R】株価のボラティリティと VaR を計算する](https://fisproject.net/2016/03/value-at-risk-in-r/): 以前, Rの {forecast}, {... - [【Ubuntu14.04】MySQL5.7 で csv から import する](https://fisproject.net/2016/03/mysql5-7-import-from-csv/): MySQL5. 7. 11 で csv ... - [【Python】Keras で VAE 入門](https://fisproject.net/2018/09/vae-with-python-keras/): NN による生成モデルの主な手法として ... - [【Python】scikit-learn Pipeline と前処理の設定ファイル化](https://fisproject.net/2018/07/pipeline-using-scikit-learn/): 今回は scikit-learn の P... - [【PySpark】Amazon S3 の JSON を DataFrame で読み込む](https://fisproject.net/2018/06/reading-json-from-amazon-s3-as-apache-spark-dataframe/): 今回は PySpark で Amazon... - [【CUDA】Ubuntu 16.04 (GPU) に Keras/TensorFlow 環境を構築](https://fisproject.net/2018/05/install-keras-with-tensorflow-backend-on-ubuntu/): 今回は Ubuntu 16. 04 LT... - [【Spark】pyspark.sql.DataFrame クラスのメソッド](https://fisproject.net/2018/04/methods-of-the-pyspark-sql-dataframe-class/): 今回は pyspark. sql. Da... - [【R / Python】UMAP でアクセスログを可視化してみた](https://fisproject.net/2018/04/access_log_embedded_via_umap/): 今回は UMAP で当ブログのアクセスロ... - [【Ubuntu 16.04】RStudio Server のインストール](https://fisproject.net/2018/04/installing-rstudio-server-on-ubuntu/): 今回は Ubuntu 16. 04 に ... - [【Python】Selenium WebDriver で Firefox に Geolocation を設定する](https://fisproject.net/2018/03/geolocation-in-selenium-webdriver-with-firefox/): Selenium WebDriver で... - [【devtools】 LINE Notify する R パッケージを作った](https://fisproject.net/2018/02/send-message-to-line-from-r/): LINE Notify を使って R か... - [【R】 正規性を仮定した分析のためのBox-Cox変換](https://fisproject.net/2016/03/box-cox-transformation/): Box-Cox変換について調べたのでメモ... - [【k-means】中古マンション販売価格と賃貸物件家賃の分析 (4)](https://fisproject.net/2016/03/article-clustering/): 2015/04 から3か月に1度くらいの... - [【Python】TensorFlowで回帰モデル](https://fisproject.net/2016/02/tensorflow-regression/): 回帰問題で TensorFlow を使い... - [【ADVI】Stan で変分ベイズ](https://fisproject.net/2016/01/advi-in-stan/): ADVI in Stan は既に多くの方... - [【R】k近傍法による異常検知](https://fisproject.net/2018/02/anomaly-detection-using-knn/): 今回は『異常検知と変化検知』 (機械学習... - [【カーネル法】R でカーネルPCAとカーネルCCAを実践](https://fisproject.net/2016/01/kernel-method/): SVMで有名なカーネル法ですが, 今回は... - [【bnlearn】R でベイジアンネットワーク入門](https://fisproject.net/2018/01/bayesian-network-in-r-introduction/): 今回はベイジアンネットワークについて調べ... - [【表現式】Rでメタプログラミングの基礎](https://fisproject.net/2018/01/metaprogramming-in-r/): 今まで R パッケージユーザでしたが, ... - [【Book】2017年を振り返る](https://fisproject.net/2017/12/look-back-2017/): 今年も残り僅かですね。2017年を簡単に... - [【Python】pandas でデータ操作 (後編)](https://fisproject.net/2017/12/data-handling-with-pandas-part3/): pandas でデータ操作する時の Ti... - [【Python】pandas でデータ操作 (中編)](https://fisproject.net/2017/12/data-handling-with-pandas-part2/): pandas でデータを操作する時の T... - [【Python】pandas でデータ操作 (前編)](https://fisproject.net/2017/12/data-handling-with-pandas-part1/): pandas でデータを操作する時の T... - [【R】時系列データに関する基本的な検定](https://fisproject.net/2017/11/statistical-test-on-time-series-data/): 時系列データに関する基本的な検定について... - [【オンライン機械学習】 Go で PA, CW, AROW, SCW を書いてみた](https://fisproject.net/2016/01/online-machine-learning-in-go/): Perceptron (Rosenbla... - [【R】尺度の組み合わせ別の類似度を求める](https://fisproject.net/2016/01/various-correlation/): 尺度 の組み合わせ別の類似度分析の手法を... - [【Book】2015年を振り返る](https://fisproject.net/2016/01/look-back-2015/): 既に 2016年 ですが 2015年 を... - [【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる](https://fisproject.net/2015/12/mini-batch-sgd-in-go-with-goroutine/): 前に書いた【MSGD】Goで確率的勾配降... - [【Cerevo】Hackey のLED通知API で遊んでみた](https://fisproject.net/2015/12/get-started-hackey/): この記事は おうちハック Advent ... - [【MCMC】Stan で状態空間モデリング](https://fisproject.net/2017/10/state-space-model-with-stan/): 前回の {dlm} を用いた状態空間モデ... - [【M-H法】Python で MCMC を書いてみた](https://fisproject.net/2015/12/mcmc-in-python/): この記事は Python Advent ... - [【CentOS / Nginx】Let's Encrypt で SSL/TLS証明書 を発行してみた](https://fisproject.net/2015/12/get-ssl-certificate-by-letsencrypt/): Let’s Encrypt が 2015... - [【Minibatch SGD】Goで確率的勾配降下法を書いてみた](https://fisproject.net/2015/11/mini-batch-sgd-in-go/): 確率的勾配降下法を書こうと思い, 学習の... - [【Stan】Rで iPhone から取得した歩数データ分析](https://fisproject.net/2015/11/steps-data-analysis-in-r/): 昨年 iPhone6を購入してから全く意... - [【dlm / Kalman Filter】R による状態空間モデリング](https://fisproject.net/2017/09/state-space-model-with-r/): {dlm} を用いた状態空間モデリングの... - [【Python】t-SNE による Fashion-MNIST の可視化](https://fisproject.net/2017/09/visualization-of-fashion-mnist-using-tsne/): 最近公開された Fashion-MNIS... - [【Linux / Go】遅延書き込みと fsync(2)](https://fisproject.net/2017/08/lazy-write-back-and-fsync2/): Redis のデータ永続化には スナップ... - [【goroutine】Go で Random Forest を書いてみた](https://fisproject.net/2017/08/random-forest-implemtation-in-go/): 『アンサンブル法による機械学習: 基礎と... - [【Ubuntu / CentOS】 SysV init と systemd で自作コマンドのサービス化](https://fisproject.net/2017/08/how-to-daemonize-sysvinit-and-systemd/): 既に多くのLinuxディストリビューショ... - [【Ubuntu】monit によるプロセス監視と Slack 通知](https://fisproject.net/2017/07/slack-notification-from-monit/): 今回は monit の導入とプロセス再起... - [【Spark / Scala】BigDL で回帰モデル](https://fisproject.net/2017/06/bigdl-regression-model/): BigDL は Apache Spark... - [【identical】Rで関数の比較](https://fisproject.net/2017/06/compare-functions-in-r/): 久しぶりに R を書いてるときに, 2つ... - [【Spark / Eclipse】ScalaTest + spark-testing-base](https://fisproject.net/2017/05/unit-test-using-scalatest-and-spark-testing-base/): Sparkアプリケーションの開発言語で ... - [【match】Scala のパターンマッチ](https://fisproject.net/2017/05/pattern-matching-in-scala/): 参考にした本は Scalaスケーラブルプ... - [【Seq / Map】Scala のコレクションについて調べてみた](https://fisproject.net/2017/05/scala-collection/): Spark アプリケーションを書くために... - [【Scala】Spark の DataFrame ハンドリング](https://fisproject.net/2017/04/spark-dataframe-handling-tips/): Spark DataFrame の勉強中... - [【sysctl】Linux カーネルパラメータのチューニング](https://fisproject.net/2017/04/tuning-kernel-parameters-for-linux/): HTTP(S)サーバの負荷テストをしてい... - [【Go 1.8】net/http の 400 Bad Request の扱いについて](https://fisproject.net/2017/03/bad-request-logging-in-go/): Go の HTTPルータ github.... - [【check digit】 Damm を Go で書いてみた](https://fisproject.net/2017/03/damm-algorithm-in-go/): Go の Tips に追記してもよかった... - [【Hyperopt】XGBoost で DART を試してみる](https://fisproject.net/2017/03/dart-of-xgboost-with-hyperopt/): 環境は以下です。 macOS siera... - [【R / Linux】sar で収集したデータの可視化](https://fisproject.net/2017/02/visualization-of-the-data-collected-by-sar/): sysstat はシステム監視 (sys... - [【JSON】Go の Tips](https://fisproject.net/2017/01/golang-tips/): Go の Tips をいくつか書き残して... - [【KVS】Redis Lua Scripting で簡単な集計](https://fisproject.net/2017/01/introduction-of-redis-lua-scripting/): 今回は Redis Lua Script... - [【Book】2016年を振り返る](https://fisproject.net/2016/12/look-back-2016/): 今年も残り僅かですね。2016年 を簡単... - [【R】defaultPackages 以外の全てのパッケージを detach する](https://fisproject.net/2016/12/detach-packages-except-defaultpackages/): R で getOption(“defau... - [【Redis / Nginx】Programming in Lua (first edition) Part I のメモ](https://fisproject.net/2016/12/reading-programming-in-lua/): この記事は Redis Advent C... - [【KVS】CentOS 6 に Redis-Cluster を構築する](https://fisproject.net/2016/12/create-redis-cluster-on-centos6/): CentOS 6. 8 に Redis-... - [【Go / Python】MessagePack の Encode/Decode を複数の言語で試す](https://fisproject.net/2016/12/messagepack-of-some-languages/): 仕事でバイナリフォーマットを扱う機会があ... - [【glmnet】R で Elastic Net を実践](https://fisproject.net/2015/10/elasticnet-in-r/): 『みんなのR -データ分析と統計解析の新... - [【Golang】Goji + mgo で簡易 API Server をつくる](https://fisproject.net/2015/10/golang-api-server-using-goji/): Gojiとmgoを使って1時間くらいで超... - [【クラスタリング】R と Python で k-means](https://fisproject.net/2015/10/k-means/): 『続・わかりやすいパターン認識―教師なし... - [【SQL】 Apache Drill に ODBC で接続してみた](https://fisproject.net/2015/09/apache-drill-with-odbc/): OSX10. 10. 5 で Apach... - [【SQL】Apache Drill を使ってみた](https://fisproject.net/2015/09/get-started-drill/): Apache Drillを使ってみました... - [【Node.js】Esprima / Escodegen / Estraverseを試してみた](https://fisproject.net/2015/09/esprima-escodegen/): Esprima / Escodegen ... - [【Apache Spark】NMF (ALS) による推薦を試してみた](https://fisproject.net/2016/11/spark-ml-recommendation-als/): 前回, 構築した Spark on YA... - [【Hadoop】macOS に YARN 上の Spark 実行環境を構築](https://fisproject.net/2016/11/spark-applications-on-yarn-macos/): 今回は macOS で Standalo... - [【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた](https://fisproject.net/2015/09/statistical-modeling-for-count-data/): 2015-09-04 に行われた, 「統... - [【関数型言語】Elixir の基本文法 (2)](https://fisproject.net/2015/09/intro-elixir-2/): 『Programming Elixir:... - [【tor】Wireshark で HTTP/2 のパケットキャプチャ](https://fisproject.net/2015/08/http2-packets-capture-with-wireshark/): Nghttp2 OSX10. 10. 2... - [【Python】OpenCV3で画像処理を学ぶ (2)](https://fisproject.net/2016/11/image-processing-with-opencv3-2/): 前回に引き続き, 画像処理の基礎を Op... - [【R】傾向スコアマッチングによる因果推論の基礎](https://fisproject.net/2015/08/propensity-score/): 傾向スコアマッチングによる因果推論につい... - [【関数型言語】Elixir の基本文法 (1)](https://fisproject.net/2015/08/intro-elixir/): 『Programming Elixir:... - [【Async / Concurrent】『Haskellによる並列・並行プログラミング』を読了した (2)](https://fisproject.net/2015/08/parallel-and-concurrent-programming-in-haskell-2/): 『Haskellによる並列・並行プログラ... - [【Granger因果】金利と日経平均株価の関係](https://fisproject.net/2015/08/granger-causality-test/): 不動産マーケットに興味があり 『不動産マ... - [【R】中古マンション販売価格と賃貸物件家賃の分析 (3)](https://fisproject.net/2015/08/article-predict-model-summer/): 今回は, 前回収集した春季の中古マンショ... - [【R】『入門 機械学習による異常検知』を読了した](https://fisproject.net/2015/07/anomaly-detection-with-r/): 『入門 機械学習による異常検知―Rによる... - [【Python】OpenCV3で画像処理を学ぶ (1)](https://fisproject.net/2016/11/image-processing-with-opencv3/): OpenCV3を使って画像処理の基礎を勉... - [【R】株主優待銘柄の市場アノマリー検証](https://fisproject.net/2016/10/market-anomaly-simulation-using-r/): 今回は, 最近読んだ `ロボット運用のプ... - [【Python】Scrapy + Digdag でクローラの定期実行](https://fisproject.net/2016/08/web-scraping-using-scrapy-and-digdag/): Scrapy プロジェクトを Digda... - [【Repa】『Haskellによる並列・並行プログラミング』を読了した (1)](https://fisproject.net/2015/07/parallel-and-concurrent-programming-in-haskell/): 『Haskellによる並列・並行プログラ... - [【確率分布】『機械学習のための確率と統計』を読了した](https://fisproject.net/2015/06/machine-learning-books/): 『機械学習のための確率と統計 (機械学習... - [【Lasso】中古マンション販売価格と賃貸物件家賃の分析 (2)](https://fisproject.net/2015/06/article-bayesian-model/): 前回, 収集した中古マンション販売価格と... - [【MCMC】Stan で色々な一般化線形モデル](https://fisproject.net/2015/06/glm-stan/): Stan の私的メモ。Stan のインス... - [【Python】回帰木 (決定木) を書いてみる](https://fisproject.net/2016/07/regression-tree-in-python/): 前回は分類問題における決定木, 分類木 ... - [【forecast】Rでファイナンスデータの時系列分析](https://fisproject.net/2015/06/quantitative-financial-modelling/): 計量時系列分析について調べたこと, 主に... - [【Boosting】R と Python で XGBoost](https://fisproject.net/2015/05/xgboost/): R と Python で XGBoost... - [【PHP / MySQL】CoreServer から さくらのVPS へ WordPress の移行](https://fisproject.net/2015/05/wordpress/): CoreServer(共用サーバ)上の ... - [【R】Kaggleの始め方](https://fisproject.net/2015/05/getting-started-kaggle/): Kaggleとは “Kaggleは企業や... - [【R / Python】中古マンション販売価格と賃貸物件家賃の分析](https://fisproject.net/2015/05/article-predict-model/): 物件購入や賃貸住宅を探すにあたって, 駅... - [【MCMC】OSX で RStan の導入と簡単な例題](https://fisproject.net/2015/04/rstan/): 引き続き, データ解析のための統計モデリ... - [【Java】ApacheTikaを使ってみた](https://fisproject.net/2015/04/tika/): Apache TikaはJava製のドキ... - [【Haskell】OSX で Yesod を動かしてみる](https://fisproject.net/2015/03/yesod/): トポロジー―基礎と方法 (ちくま学芸文庫... - [【音声認識】Golang で Julius-Client の実装を試みる](https://fisproject.net/2015/03/golang-julius/): 最近, Sirius: An Open ... - [【arules】Rでアソシエーション分析](https://fisproject.net/2015/03/arules/): Rの {arules} でアソシエーショ... - [【JavaScript】gulp.jsを使ってみた](https://fisproject.net/2015/03/gulp/): 今更ですが, タスクランナーgulpのメ... - [【構成管理】Ansible を使ってみた](https://fisproject.net/2015/03/ansible/): 今更ですが構成管理ツールの Ansibl... - [【MLlib / PySpark】OSX で Apache Spark を使ってみる](https://fisproject.net/2015/03/spark/): “Learning Spark”読書会#... - [【検定力分析】R で仮説検定を行う](https://fisproject.net/2015/02/r-testing/): 今回は, 仮説検定の中でも基本的な t検... - [【CentOS / Nginx】Fluentd + Elasticsearch + Kibana 環境構築](https://fisproject.net/2015/02/centos-fluentd-elasticsearch-kibana-nginx/): CentOS6. 6でのFluentd,... - [【Golang】cli と gox でコマンドラインツールを作る](https://fisproject.net/2015/02/cli-gox/): cliとgoxでコマンドラインツールを作... - [【MeCab】BeagleBoneBlack で Open JTalk を使う](https://fisproject.net/2015/02/open-jtalk/): BeagleBoneBlack rev.... - [【Python】決定木分類器を書いてみる](https://fisproject.net/2016/07/decision-tree-in-python/): 『Python機械学習プログラミング 達... - [【Ubuntu / Python】Nginx + uWSGI + Flask + Supervisorの環境構築](https://fisproject.net/2015/01/nginx-uwsgi-flask/): Flask アプリケーションを Ngin... - [【Python】Selenium WebDriver で Webスクレイピング](https://fisproject.net/2015/01/webdriver/): Python で Webスクレイピング ... - [【Go】OSX / Linux / Windowsに peco を導入](https://fisproject.net/2015/01/peco/): pecoは標準入力をインクリメンタルサー... - [【AES】crypto-js と PyCrypto の互換性](https://fisproject.net/2015/01/crypto-js-pycrypto-compatible/): crypto-jsとPyCryptoのA... - [【Book】2014年を振り返る](https://fisproject.net/2015/01/look-back-2014/): 2014年を振り返ります。 記事から20... - [【R / lme4】線形混合効果モデル](https://fisproject.net/2016/07/linear-mixed-effects-model/): 今回は, 『経時データ解析 (統計解析ス... - [【stemming】文書のベクトル表現とコサイン類似度](https://fisproject.net/2015/01/cosine_similarity/): 文書のベクトル表現と文書間の類似度測定手... - [【JavaScript】Highchartsを使ってみた](https://fisproject.net/2014/12/highcharts/): Highcharts Highchart... - [【JavaScript】Moment.jsを使ってみた](https://fisproject.net/2014/12/moment-js/): jsの日付処理ライブラリ Moment.... - [【Python】Arrowを使ってみた](https://fisproject.net/2014/12/arrow/): Arrow は JavaScript の... - [【kNN】R で k 近傍法](https://fisproject.net/2014/12/knn/): K近傍法 k近傍法 (k-nearest... - [【Reactive】Ractive.jsを使ってみた](https://fisproject.net/2014/12/ractivejs/): Ractive. jsを使ってみました。... - [【Python】pytest でユニットテスト](https://fisproject.net/2014/12/pytest/): pytest でユニットテスト pyte... - [【Node.js】power-assertを使ってみた](https://fisproject.net/2014/12/power-assert/): 開発中のWEBアプリの時間演算モジュール... - [【Book】2014年に読んで良かった17冊](https://fisproject.net/2014/11/best_books/): 端くれエンジニアが2014年に読んだ19... - [【Monads】すごいHaskellたのしく学ぼう!を読んだ (2)](https://fisproject.net/2014/11/haskell_part2/): 前回は, すごいhaskellたのしく学... - [【Functor】すごいHaskellたのしく学ぼう!を読んだ (1)](https://fisproject.net/2014/11/haskell/): 『すごいhaskellたのしく学ぼう! ... - [【Node.js】Koaで HTTPS Server を建てる](https://fisproject.net/2014/10/%e3%80%90nodejs%e3%80%91koa%e3%81%a7https%e3%82%b5%e3%83%bc%e3%83%90%e3%82%92%e5%bb%ba%e3%81%a6%e3%82%8b%e3%80%90ssltls%e3%80%91/): NodejsのKoa(WAF)でHTTP... - [【MessagePack】msgpack-pythonのベンチマーク](https://fisproject.net/2014/10/msgpack-python/): msgpackはJSONより高速で軽量な... - [【Skip-gram / CBOW】Word2vec を使ってみた](https://fisproject.net/2014/10/word2vec/): Word2vec は単語の分散表現を作る... - [【NumPy / SciPy】Pythonでデータの標準化](https://fisproject.net/2016/06/data-standardization-using-python/): データ分析の前処理などで行う標準化と正規... - [【SC】試験勉強が続かない人向けの情報セキュリティスペシャリスト対策](https://fisproject.net/2016/06/load-to-information-security-specialist/): 2016/04 に受けた情報セキュリティ... - [【Swift】久々にiOSアプリを作った時の雑多なメモ](https://fisproject.net/2016/06/ios-app-development-using-swift/): 4, 5年振りにiOSアプリを作ってみま... - [【R】実験計画法と分散分析](https://fisproject.net/2016/06/design-of-experiment/): 実験計画法 実験の検討対象の要因を因子 ... - [【R / mlogit】多項ロジットモデル](https://fisproject.net/2016/05/discrete-choice-model-using-r/): 今回は離散選択モデルのひとつ, 多項ロジ... - [【R】差分の差分法](https://fisproject.net/2016/05/difference-in-differences-using-r/): 差分の差分法 (Difference-i... - [【R】順序ロジットモデルと順序プロビットモデル](https://fisproject.net/2016/05/ordered-probit-model-and-ordered-logit-model/): Rで順序選択モデル (ordered c... - [【バギング】R で Random Forest](https://fisproject.net/2014/10/r_randomforest/): Rで RandomForest を試して... - [【R】欠落変数バイアスをシミュレーションで確認する](https://fisproject.net/2016/05/omitted-variable-bias/): 『実証分析入門 データから「因果関係」を... - [【RDB / JSON / S3】R でデータを読み込む方法を整理してみた](https://fisproject.net/2016/04/reading-data-into-r/): R で以下のデータソースからデータを読み... - [【k-匿名化 / l-多様性】匿名化技術の基礎について調べてみた](https://fisproject.net/2016/03/anonymizing-data/): 仕事でデータの2次利用のために匿名化デー... - [【R】株価のボラティリティと VaR を計算する](https://fisproject.net/2016/03/value-at-risk-in-r/): 以前, Rの {forecast}, {... - [【Ubuntu14.04】MySQL5.7 で csv から import する](https://fisproject.net/2016/03/mysql5-7-import-from-csv/): MySQL5. 7. 11 で csv ... - [【R】SVMの基礎](https://fisproject.net/2014/09/%e3%80%90caret%e3%80%91r%e3%81%a7svm%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e5%ad%a6%e3%81%b6%e3%80%90grid-search%e3%80%91/): SVM (Support Vector ... - [【機械学習】Jubatusを使ってみた](https://fisproject.net/2014/09/%e3%80%90%e6%a9%9f%e6%a2%b0%e5%ad%a6%e7%bf%92%e3%80%91jubatus%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ubuntu12-04%e3%80%91/): Jubatusは機械学習のフレームワーク... - [【Ubuntu】LLVM/Clang を使ってみた](https://fisproject.net/2014/08/%e3%80%90ubuntu%e3%80%91llvmclang%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90formatter%e3%80%91/): 今の開発現場は未だにC言語のビルド環境が... - [【Fluentd】td-agent に Golang でログ送信してみる](https://fisproject.net/2014/08/%e3%80%90fluentd%e3%80%91td-agent%e3%81%ab-golang%e3%81%a7%e3%83%ad%e3%82%b0%e9%80%81%e4%bf%a1%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90ubuntu%e3%80%91/): fluentdはログ収集ミドルウェアで非... - [【R】 正規性を仮定した分析のためのBox-Cox変換](https://fisproject.net/2016/03/box-cox-transformation/): Box-Cox変換について調べたのでメモ... - [【k-means】中古マンション販売価格と賃貸物件家賃の分析 (4)](https://fisproject.net/2016/03/article-clustering/): 2015/04 から3か月に1度くらいの... - [【Python】TensorFlowで回帰モデル](https://fisproject.net/2016/02/tensorflow-regression/): 回帰問題で TensorFlow を使い... - [【ADVI】Stan で変分ベイズ](https://fisproject.net/2016/01/advi-in-stan/): ADVI in Stan は既に多くの方... - [【R】線形回帰分析の基礎](https://fisproject.net/2014/08/r-regression/): 今回は, R による線形回帰分析について... - [【Node.js】Koaで multipart/form-data のファイルを保存する](https://fisproject.net/2014/08/%e3%80%90co-busboy%e3%80%91koa%e3%81%a7multipartform-data%e3%81%ae%e3%83%95%e3%82%a1%e3%82%a4%e3%83%ab%e3%82%92%e4%bf%9d%e5%ad%98%e3%81%99%e3%82%8b%e3%80%90nodejs%e3%80%91/): 今回は久しぶりのNodejs関連です。K... - [【はじめての電子工作 (3)】抵抗ってなに？](https://fisproject.net/2014/08/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e6%8a%b5%e6%8a%97%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f%e3%80%90part3%e3%80%91/): 抵抗とは何か 抵抗器は電気を流れにくくす... - [【Linux】Gstreamer の使い方](https://fisproject.net/2014/08/%e3%80%90linux%e3%80%91gstreamer%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90multimedia-fw%e3%80%91/): GStreamer は OSS (LGP... - [【Windows】Cygwinで tmux を使ってみた](https://fisproject.net/2014/07/%e3%80%90windows%e3%80%91cygwin%e3%81%a7tmux%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90multiplexer%e3%80%91/): OSがwindowsで仮想環境禁止, p... - [【Linux】ALSAの使い方](https://fisproject.net/2014/07/%e3%80%90linux%e3%80%91alsa%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90aplay%e3%80%91/): ALSA (Advanced Linux... - [【はじめての電子工作 (2)】トランジスタってなに？](https://fisproject.net/2014/07/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e3%83%88%e3%83%a9%e3%83%b3%e3%82%b8%e3%82%b9%e3%82%bf%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/): トラ技2014/08号がトランジスタ特集... - [【Robotics】Gobotを使ってみた](https://fisproject.net/2014/07/%e3%80%90robotics%e3%80%91gobot%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90golang%e3%80%91/): Gobot は Go で書かれたロボティ... - [【governor】Linuxの電力制御について調べた](https://fisproject.net/2014/07/%e3%80%90cpuidle%e3%80%91linux%e3%81%ae%e9%9b%bb%e5%8a%9b%e5%88%b6%e5%be%a1%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%9f%e3%80%90governor%e3%80%91/): 本題と関係ないですが, telnet で... - [【ClamAV】Linux の SSH 設定を見直す](https://fisproject.net/2014/07/review-ssh-settings/): VPS の SSH 設定をデフォルトのま... - [【SIGALRM】シグナルハンドラで非同期処理](https://fisproject.net/2014/07/asynchronous-processing-in-the-signal-handler/): Apache HTTP Server や... - [【パケット解析】tcpdump の ARM クロスコンパイル](https://fisproject.net/2014/06/tcpdump/): リソース的な都合でCUI環境しかない組み... - [【特殊変数】Shell のメタキャラクタ](https://fisproject.net/2014/06/%e3%80%90shell%e3%80%91%e3%82%b7%e3%82%a7%e3%83%ab%e3%81%ae%e3%83%a1%e3%82%bf%e3%82%ad%e3%83%a3%e3%83%a9%e3%82%af%e3%82%bf%e3%80%90%e7%89%b9%e6%ae%8a%e5%a4%89%e6%95%b0%e3%80%91/): メタキャラクタを制するものはシェルを制す... - [【MakerBot】Replicator 5th Gen で3Dプリントしてみた](https://fisproject.net/2014/06/%e3%80%90makerbot%e3%80%91replicator-5th-gen%e3%81%a7%e3%83%97%e3%83%aa%e3%83%b3%e3%83%88%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90pla%e3%80%91/): 今回はReplicator5thを使って... - [【Gecko / Blink】Webブラウザエンジンについて調べてみた](https://fisproject.net/2014/06/%e3%80%90gecko%e3%80%91web%e3%83%96%e3%83%a9%e3%82%a6%e3%82%b6%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90blink/): WEBブラウザを構成する技術について調べ... - [【電子回路】LTspice IV for Mac OS Xを使ってみた](https://fisproject.net/2014/06/%e3%80%90%e9%9b%bb%e5%ad%90%e5%9b%9e%e8%b7%af%e3%80%91ltspice-iv-for-mac-os-x%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90simulator%e3%80%91/): 作った正負電源回路が動かないので地道にデ... - [【FQDN】DNSの基礎と dig コマンドの使い方](https://fisproject.net/2014/05/basics-of-dns-and-how-to-use-the-dig/): DNSの基礎と dig の使い方を整理し... - [【カーネル法】R でカーネルPCAとカーネルCCAを実践](https://fisproject.net/2016/01/kernel-method/): SVMで有名なカーネル法ですが, 今回は... - [【線形分類器】Goで Perceptron を書いてみた](https://fisproject.net/2014/05/go-perceptron/): 工学系出身のため機械学習に関して初心者で... - [【FDM】 Replicator 5th Genを買ってみた](https://fisproject.net/2014/05/%e3%80%90fdm%e3%80%91-replicator-5th-gen%e3%82%92%e8%b2%b7%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90g-code%e3%80%91/): MakerBot Replicator ... - [【reflect / testing】Golang Study Memo](https://fisproject.net/2014/05/%e3%80%90reflect%e3%80%91golang-study-memo%e3%80%90testing%e3%80%91/): 今年の GWは javascript /... - [【TLS】OpenSSLについて調べてみた](https://fisproject.net/2014/04/%e3%80%90tls%e3%80%91openssl%e3%82%92%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90bio%e3%80%91/): HeartBeatとHeartBleed... - [【Node.js】FFmpegで HLS 配信 をしてみる](https://fisproject.net/2014/04/%e3%80%90node-js%e3%80%91ffmpeg%e3%81%a7hls%e9%85%8d%e4%bf%a1%e3%82%92%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90mp4%e3%80%91/): 今回はメルチメディア系の話です。映像配信... - [【ARM】Go言語のクロスコンパイル](https://fisproject.net/2014/03/%e3%80%90arm%e3%80%91go%e8%a8%80%e8%aa%9e%e3%81%ae%e3%82%af%e3%83%ad%e3%82%b9%e3%82%b3%e3%83%b3%e3%83%91%e3%82%a4%e3%83%ab%e3%80%90debian%e3%80%91/): DebianWheezy上でARMプロセ... - [【Automake】GNU Autotools を使ってみる](https://fisproject.net/2014/03/%e3%80%90configure%e3%80%91gnu-autotools%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90make%e3%80%91/): GNU Autotoolsとは Auto... - [【BWT】Burrows-Wheeler Transform in C](https://fisproject.net/2014/03/%e3%80%90bwt%e3%80%91burrows-wheeler-transform-in-c%e3%80%90mtf%e3%80%91/): 圧縮に関しては素人ですが, 全文検索やデ... - [【SPDY / HPACK】HTTP/2ハッカソンに行ってきた](https://fisproject.net/2014/02/%e3%80%90spdy%e3%80%91http2%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90hpack%e3%80%91/): HTTP/2ハッカソン#1 (2014-... - [【AFNetworking】Ai-Ball + iOS で自宅監視システム](https://fisproject.net/2014/02/%e3%80%90ios%e3%80%91ai-balliphone%e3%81%a7%e8%87%aa%e5%ae%85%e7%9b%a3%e8%a6%96%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0%e3%80%90afnetworking%e3%80%91/): Ai-Ballを使ってみた デバイスハッ... - [【V4L2】BeagleBoneBlack に USB-WiFi / Camera を接続](https://fisproject.net/2014/02/%e3%80%90debian%e3%80%91beagleboneblack%e3%81%abusb-wifi%e3%82%92%e6%8e%a5%e7%b6%9a%e3%80%90wpa_supplicant%e3%80%91/): BeagleBoneBlackからUSB... - [【ARM】BeagleBoneBlack に Debian / Ruby 環境構築](https://fisproject.net/2014/02/%e3%80%90arm%e3%80%91beagleboneblack%e3%81%abdebianruby%e7%92%b0%e5%a2%83%e6%a7%8b%e7%af%89%e3%80%90gnueabi%e3%80%91/): BeagleBoneBlack(以下BB... - [【AFNetworking】iOSの HTTP Client まとめ](https://fisproject.net/2014/02/%e3%80%90afnetworking%e3%80%91ios%e3%81%aehttpclient%e3%81%be%e3%81%a8%e3%82%81%e3%80%90mknetworkkit%e3%80%91/): NSURLSession (NSURLC... - [【SNMP】Net-SNMPで機器監視](https://fisproject.net/2014/02/%e3%80%90snmp%e3%80%91net-snmp%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90%e3%83%8d%e3%83%83%e3%83%88%e3%83%af%e3%83%bc%e3%82%af%e7%9b%a3%e8%a6%96%e3%80%91/): SNMPとは SNMP は機器監視プロト... - [【CPU】Linux のプロセススケジューラの基礎](https://fisproject.net/2014/02/linux-proc-scheduler/): Photo by GAGA 映画『スティ... - [【iOS】XCTest で単体テスト](https://fisproject.net/2014/01/%e3%80%90ios%e3%80%91xctest%e3%81%a7%e5%8d%98%e4%bd%93%e3%83%86%e3%82%b9%e3%83%88%e3%82%92%e8%a1%8c%e3%81%86%e3%80%90xcode5%e3%80%91/): 久しぶりのiOSネタです。XCTest.... - [【GNU coreutils】uname ソースコードリーディング](https://fisproject.net/2014/01/%e3%80%90gnu%e3%80%91uname%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90coreutils%e3%80%91/): uname(1)は, 現在稼働中のカーネ... - [【C言語】ポインタとメモリの話](https://fisproject.net/2014/01/%e3%80%90c%e8%a8%80%e8%aa%9e%e3%80%91%e3%83%9d%e3%82%a4%e3%83%b3%e3%82%bf%e3%81%a8%e3%83%a1%e3%83%a2%e3%83%aa%e3%81%ae%e8%a9%b1%e3%80%90%e3%83%92%e3%83%bc%e3%83%97%e3%80%91/): ポインタ自体はメモリのアドレスを入れてい... - [【CentOS】Apache httpd で gzip / Deflate を有効にする](https://fisproject.net/2014/01/%e3%80%90centos%e3%80%91apache%e3%81%a7gzip%e3%82%92%e6%9c%89%e5%8a%b9%e3%81%ab%e3%81%99%e3%82%8b%e3%80%90%e5%9c%a7%e7%b8%ae%e3%80%91/): Deflateアルゴリズムの中でも有名な... - [【Node.js】Socket.IO@1.0 を読んでみた](https://fisproject.net/2014/01/%e3%80%90node-js%e3%80%91socket-io1-0%e3%82%92%e8%aa%ad%e3%82%93%e3%81%a7%e3%81%bf%e3%81%9f%e3%80%90websocket%e3%80%91/): socket. io@1. 0で大きくア... - [【オンライン機械学習】 Go で PA, CW, AROW, SCW を書いてみた](https://fisproject.net/2016/01/online-machine-learning-in-go/): Perceptron (Rosenbla... - [【R】尺度の組み合わせ別の類似度を求める](https://fisproject.net/2016/01/various-correlation/): 尺度 の組み合わせ別の類似度分析の手法を... - [【Book】2015年を振り返る](https://fisproject.net/2016/01/look-back-2015/): 既に 2016年 ですが 2015年 を... - [【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる](https://fisproject.net/2015/12/mini-batch-sgd-in-go-with-goroutine/): 前に書いた【MSGD】Goで確率的勾配降... - [【Cerevo】Hackey のLED通知API で遊んでみた](https://fisproject.net/2015/12/get-started-hackey/): この記事は おうちハック Advent ... - [【N-gram】全文検索エンジン Apache Solrを使ってみた](https://fisproject.net/2013/12/%e3%80%90n-gram%e3%80%91%e5%85%a8%e6%96%87%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3-solr%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90apache%e3%80%91/): 2013年に読んだ本が188冊でした。ハ... - [【Node.js】Express + Passport をつかってみた](https://fisproject.net/2013/12/%e3%80%90node-js%e3%80%91passport%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90express%e3%80%91/): PassportはStrategyという... - [【RTP / RTSP】Live555 の使い方と解説](https://fisproject.net/2013/12/%e3%80%90rtp%e3%80%91live555%e3%81%ae%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90rtsp%e3%80%91/): Live555はC++で書かれたRTP/... - [【Wireshark】HTTPの中身をみる](https://fisproject.net/2013/11/%e3%80%90wireshark%e3%80%91http%e3%81%ae%e4%b8%ad%e8%ba%ab%e3%82%92%e3%81%bf%e3%82%8b%e3%80%90hex%e3%80%91/): Wireshark を使って HTTPリ... - [【Linux】ファイルディスクリプタとは何か](https://fisproject.net/2013/11/linux-file-descriptor/): HTTPサーバが複数のクライアントを識別... - [【WebGL】Three.jsをつかってみた (2)](https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f2%e3%80%90blender%e3%80%91-2/): セットアップは前回の記事を参照。 前回B... - [【OpenData】第6回 LODチャレンジデーにいってきた](https://fisproject.net/2013/11/%e3%80%90%e7%ac%ac6%e5%9b%9e%e3%80%91lod%e3%83%81%e3%83%a3%e3%83%ac%e3%83%b3%e3%82%b8%e3%83%87%e3%83%bc%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90opendata%e3%80%91/): 11/24に第6回LODチャレンジデー(... - [【メモリリーク】mtrace の使い方](https://fisproject.net/2013/11/%e3%80%90%e3%83%a1%e3%83%a2%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%af%e3%80%91mtrace%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90glibc%e3%80%91/): メモリリークチェックとしてsedを使って... - [【WebGL】Three.jsをつかってみた (1)](https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f1%e3%80%90blender%e3%80%91/): Three. js は WebGL (O... - [【はじめての電子工作 (1) 】コンデンサってなに？](https://fisproject.net/2013/11/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c-1%e3%80%91%e3%82%b3%e3%83%b3%e3%83%87%e3%83%b3%e3%82%b5%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/): はじめての電子工作 1 はじめてiOSア... - [【Lighttpd】解説 mod_proxy](https://fisproject.net/2013/11/%e3%80%90lighttpd%e3%80%91mod_proxy%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90plugin%e3%80%91/): はじめに 今回の記事はこの記事の続きです... - [【iOS】ハッカソンをやってみた](https://fisproject.net/2013/10/%e3%80%90fp%e3%80%91%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%82%92%e3%82%84%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f-%e6%9d%b1%e4%ba%ac%e4%bb%a3%e3%80%85%e6%9c%a8/): ハッカソンをやってみた ハッカソンに行っ... - [【CoreBluetooth】Fitbitをハックしてみた](https://fisproject.net/2013/10/%e3%80%90corebluetooth%e3%80%91fitbit%e3%82%92%e3%83%8f%e3%83%83%e3%82%af%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ios%e3%80%91/): photo by Fitbit 最近 B... - [【OOM Killer】知っ得！Linux Kernel の Tips](https://fisproject.net/2013/09/%e3%80%90oom-killer%e3%80%91%e7%9f%a5%e3%81%a3%e5%be%97%ef%bc%81linuxkernel%e3%81%aetips%e3%80%90devnull%e3%80%91/): BeagleBoneBlackを買いまし... - [【iOS】FMDBでデータ永続化](https://fisproject.net/2013/09/%e3%80%90ios%e3%80%91fmdb%e3%81%a7%e3%83%87%e3%83%bc%e3%82%bf%e4%bf%9d%e5%ad%98%e3%80%90sqlite%e3%80%91/): Coredataに慣れないので, 最近は... - [【fcgi】解説 Lighttpd プラグイン](https://fisproject.net/2013/09/%e3%80%90fcgi%e3%80%91lighttpd%e3%83%97%e3%83%a9%e3%82%b0%e3%82%a4%e3%83%b3%e8%a9%b3%e8%a7%a3%e3%80%90python%e3%80%91/): Lighttpdのプラグイン開発に苦戦し... - [【netperf】ネット速度を計測する](https://fisproject.net/2013/09/how-to-use-netperf/): サーバのベンチマークテストをする場合、回... - [【libev】Lighttpd ソースコードリーディング](https://fisproject.net/2013/09/%e3%80%90libev%e3%80%91lighttpd%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90socket%e3%80%91/): 今回はLighttpdについて細かく書い... - [【組み込みLinux (3) 】Lighttpd について](https://fisproject.net/2013/08/embedded-linux-lighttpd/): 先日、出張で訪れている札幌市内の丸善にい... - [【Packet Capture】Wiresharkでできること](https://fisproject.net/2013/08/intro-wireshark/): Wiresharkは言わずと知れたパケッ... - [【RDB】Node.js から MySQL を使ってみる](https://fisproject.net/2013/07/nodejs-mysql/): 前に カラム指向DB の Cassand... - [【Linux】Ubuntu Server 12.10 に Git 環境を構築](https://fisproject.net/2013/06/ubuntu-server%e3%81%abgit%e7%92%b0%e5%a2%83%e3%82%92%e6%a7%8b%e7%af%89%e3%81%99%e3%82%8b/): iOSアプリ開発で Twitter, F... - [【Event】W3C Developer MeetUp Tokyoに行ってきた](https://fisproject.net/2013/06/w3c-developer-meeup-tokyo%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f/): W3C Developer Meetup... - [【Python / JavaScript】イテレータとクロージャについて](https://fisproject.net/2013/05/%e3%80%90python%e3%80%91%e3%82%a4%e3%83%86%e3%83%ac%e3%83%bc%e3%82%bf%e3%81%a8%e3%81%8b%e3%81%ae%e3%83%a1%e3%83%a2%e3%80%90javascript%e3%80%91/): 最近気になってるUnityという組み込み... - [【Python】mechanize で Web スクレイピング](https://fisproject.net/2013/05/web-scraping-with-python-mechanize/): Pythonでスクレイピング 開発中のシ... - [【ねこ島】石巻 田代島に行ってきた](https://fisproject.net/2013/05/%e3%80%90%e3%81%ad%e3%81%93%e5%b3%b6%e3%80%91%e7%94%b0%e4%bb%a3%e5%b3%b6%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90%e7%9f%b3%e5%b7%bb%e3%80%91/): ブログを書きたいと思うのとコードを書きた... - [【sleepimage】Mac OS Xのグレー画面からの復旧](https://fisproject.net/2013/04/%e3%80%90privatevar%e3%80%91mac-os-x%e3%81%ae%e3%82%b0%e3%83%ac%e3%83%bc%e7%94%bb%e9%9d%a2%e3%81%8b%e3%82%89%e3%81%ae%e5%be%a9%e6%97%a7%e3%80%90mini%e3%80%91/): 一年前にMac Miniのメモリ増強をし... - [【iOS】便利なオープンソースライブラリ](https://fisproject.net/2013/03/%e3%80%90ios%e3%80%91%e4%be%bf%e5%88%a9%e3%81%aa%e3%82%aa%e3%83%bc%e3%83%97%e3%83%b3%e3%82%bd%e3%83%bc%e3%82%b9%e3%83%a9%e3%82%a4%e3%83%96%e3%83%a9%e3%83%aa%e3%80%90delegate%e3%80%91/): Android も FirefoxOS ... - [【Arduino】ワンチップセンサとシリアルI/O](https://fisproject.net/2013/03/%e3%80%90arduino%e3%80%91%e3%83%af%e3%83%b3%e3%83%81%e3%83%83%e3%83%97%e3%82%bb%e3%83%b3%e3%82%b5%e3%81%a8%e3%82%b7%e3%83%aa%e3%82%a2%e3%83%abio%e3%80%90%e3%81%be%e3%81%a8%e3%82%81%e3%80%91/): 前回の記事でArduinoのセットアップ... - [【AVR】Arduino Pro Mini を使ってみた](https://fisproject.net/2013/02/arduino-on-mba/): ひょんなことからArduinoを手に入れ... - [【組み込みLinux (2)】Device Driver について](https://fisproject.net/2013/02/embedded-linux-device-driver/): 今回はLinuxデバイスドライバ編です。 - [【組み込みLinux (1)】Linux Kernel の機能と周辺技術](https://fisproject.net/2013/02/embedded-linux-kernel/): IT業界でスペシャリストを目指して生きて... - [【JSONP】『ステートフルJavaScript』を読了した](https://fisproject.net/2013/01/javascript/): プログラミング言語とアイデアの実行速度 ... - [【JavaScript】Nodejsの基本と便利なモジュール](https://fisproject.net/2012/12/nodejs%e3%81%a1%e3%82%87%e3%81%93%e3%81%a3%e3%81%a8%e3%83%a1%e3%83%a2/): 今回はNode. jsの基本的な機能と周... - [【Node.js】node-cassandra-clientでアクセス](https://fisproject.net/2012/12/%e3%80%90ec2%e3%80%91%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a2%e3%83%87%e3%83%ab%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6node-cassandra-client%e3%81%a7%e3%82%a2%e3%82%af%e3%82%bb%e3%82%b9%e3%80%90nodejs/): 今回はCLIで簡単なデータモデルを作成し... - [【Node.js】cassandra-nodeを入れてみた](https://fisproject.net/2012/11/%e3%80%90aws%e3%80%91ec2%e3%81%abcassandra-node%e3%82%92%e5%85%a5%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90%e5%88%9d%e3%82%81%e3%81%ae%e4%b8%80%e6%ad%a9%e3%80%91/): 今つくってるiOSアプリであるクラウドに... - [【iOS】TestFlight の使い方](https://fisproject.net/2012/11/%e3%80%90ios%e3%80%91testflight%e3%80%90%e5%bf%98%e5%82%99%e9%8c%b2%e3%80%91/): TestFlightは iOS アプリ開... - [【Flurry】iOSアプリのユーザ解析とYield Optimization(SSP)ツール](https://fisproject.net/2012/10/%e3%80%90flurry%e3%80%91ios%e3%82%a2%e3%83%97%e3%83%aa%e3%81%ae%e3%83%a6%e3%83%bc%e3%82%b6%e8%a7%a3%e6%9e%90%e3%81%a8yield-optimizationssp%e3%83%84%e3%83%bc%e3%83%ab%e3%80%90adstir%e3%80%91/): 趣味などでアプリを個人開発している人はな... - [初心者でもできる! AngularJS+Bootstrapでつくる画像検索Webアプリ](https://fisproject.net/2012/09/%e5%88%9d%e5%bf%83%e8%80%85%e3%81%a7%e3%82%82%e3%81%a7%e3%81%8d%e3%82%8b-angular-jsbootstrap%e3%81%a7%e3%81%a4%e3%81%8f%e3%82%8b%e7%94%bb%e5%83%8f%e6%a4%9c%e7%b4%a2%e3%82%a2%e3%83%97%e3%83%aa/): 今回、作るのは画像検索アプリ。さらにLi... - [【Features編】ねこでもわかるGo言語](https://fisproject.net/2012/08/golang-features/): ねこでもわかるGo言語の第二回目です。 ... - [【Fab】秋月のキットで簡易ポータブルオシロをつくってみた](https://fisproject.net/2012/08/%e3%80%90fab%e3%80%91%e7%a7%8b%e6%9c%88%e3%81%ae%e3%82%ad%e3%83%83%e3%83%88%e3%81%a7%e7%b0%a1%e6%98%93%e3%83%9d%e3%83%bc%e3%82%bf%e3%83%96%e3%83%ab%e3%82%aa%e3%82%b7%e3%83%ad%e3%82%92%e3%81%a4/): 電子工作はソフト開発と違い、部品の調達や... - [【helloworld編】ねこでもわかるGo言語](https://fisproject.net/2012/08/golang-helloworld/): Go言語を勉強し始めたので、まずはIDE... - [Eclipseによる開発を少し快適にするTIPS](https://fisproject.net/2012/08/eclipse-tips/): Eclipseにはコーディングを支援する... - [【ARC】iOSアプリのメモリとデータ管理についてまとめてみる](https://fisproject.net/2012/08/ios%e3%81%a7%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a1%e3%83%a2%e3%83%aa%e7%ae%a1%e7%90%86%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e3%81%84%e3%81%be%e3%81%95%e3%82%89%e3%81%be%e3%81%a8%e3%82%81/): retain,releaseをせかせかと... - [IVSサマーワークショップ](https://fisproject.net/2012/07/ivs-summer-workshop-2012/): 先日「IVSサマーワークショップ」という... - [Reading Hacks !!](https://fisproject.net/2012/07/reading-hacks/): ブログタイトルと同名の本がありますが、テ... - [【Wireshark】ネットワークパケットを読む会に行ってきた](https://fisproject.net/2012/06/reading-network-packet/): 何故、ネットワークパケットかと言うと組み... - [Pixel Monster（ピクセルモンスター）開発記 part.2 - Bluetooth](https://fisproject.net/2012/03/pixel-monster-dev-part-2/): 対戦機能を実現するために、２つのデバイス... - [【OpenNI】Powerpoint Addin With Kinect](https://fisproject.net/2012/03/powerpoint-addin-with-kinect/): Kinectは画像認識/音声認識に優れた... - [【iOS】XCode4 以前のプロジェクトを Git で管理し Bitbucket に移す](https://fisproject.net/2012/02/%e3%80%90ios%e3%80%91xcode4%e4%bb%a5%e5%89%8d%e3%81%ae%e3%83%97%e3%83%ad%e3%82%b8%e3%82%a7%e3%82%af%e3%83%88%e3%82%92git%e3%81%a7%e7%ae%a1%e7%90%86%e3%81%97bitbucket%e3%81%ab%e7%a7%bb%e3%81%99/): 突然ですが海老名SAのタコライスがおいし... - [iOS Developer Library を読もう](https://fisproject.net/2012/01/ios-developer-library-%e3%82%92%e8%aa%ad%e3%82%82%e3%81%86/): @ST63Jun です． このブログに辿... - [Pixel Monster（ピクセルモンスター）開発記 part1](https://fisproject.net/2011/12/pixel-monster-dev-part-1/): 現在、Pixel Monsterの食事、... - [【iOS】Pixel Monster（ピクセルモンスター）](https://fisproject.net/2011/11/pixel-monster-dev/): ドット絵×育成×バトル×スマートフォンゲ... - [【マイコン日記】 78k0R で UART (2)](https://fisproject.net/2011/10/microcontroller-diary-78k0r-uart-2/): 1. センサ値を監視するPCアプリケーシ... - [【マイコン日記】78k0R で UART (1)](https://fisproject.net/2011/09/microcontroller-diary-78k0r-uart/): 今回はマイコン => PCでUART通信... - [セキュリティ&プログラミングキャンプ2011に参加してきました。](https://fisproject.net/2011/09/%e3%82%bb%e3%82%ad%e3%83%a5%e3%83%aa%e3%83%86%e3%82%a3%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0%e3%82%ad%e3%83%a3%e3%83%b3%e3%83%972011%e3%81%ab%e5%8f%82%e5%8a%a0%e3%81%97/): 初投稿になりますが、題名の通りセキュリテ... - [【マイコン日記】78k0R で PWM](https://fisproject.net/2011/09/microcontroller-diary-78k0r-2/): 今回はマイコンのタイマ / カウンタ機能... - [【マイコン日記】78k0R でエルチカ!](https://fisproject.net/2011/08/microcontroller-diary-78k0r-1/): マイコンを使って何かしよう！として始まっ... - [MacBookAir買ったのでHomebrewをインストールした](https://fisproject.net/2011/08/macbookair%e8%b2%b7%e3%81%a3%e3%81%9f%e3%81%ae%e3%81%a7homebrew%e3%82%92%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab%e3%81%97%e3%81%9f/): 先日，MacBookAir11インチ買い... --- # # Detailed Content ## 固定ページ ### books - Published: 2015-11-28 - Modified: 2023-02-10 - URL: https://fisproject.net/book-recommendations/ 紹介したことがある書籍に関する記事への逆引きリンク集です。 プログラミング Scalaスケーラブルプログラミング すごいHaskellたのしく学ぼう! みんなのR R言語徹底解説 Rパッケージ開発入門 Haskellによる並列・並行プログラミング Programming Elixir: Functional, Concurrent, Pragmatic, Fun 高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング Python機械学習プログラミング 達人データサイエンティストによる... --- ## 投稿 ### 【Python】Qdrant による近似最近傍探索 (ANN) - Published: 2023-02-11 - Modified: 2023-02-11 - URL: https://fisproject.net/2023/02/intro-to-the-vector-search-engine-qdrant/ - カテゴリー: t2sy-note - タグ: Docker, Machine Learning, Python 久しぶりの投稿となります。Rust 製の近似最近傍探索エンジン Qdrant (v1. 0. 1) を使ってみたので備忘録を残しておきます。 Amazon Customer Reviews Dataset という Amazon. com の製品レビューデータセットに含まれるレビュー文を Sentence-BERT で埋め込みベクトルに符号化し Qdrant にデータ投入, ベクトル検索を行ってみたという内容です。 実行環境 実行環境は macOS Monterey, Docker (Qdrant), ... --- ### 【Python】Apache Airflow 2.0.0 を Ubuntu 18.04 にインストールする - Published: 2021-01-29 - Modified: 2023-02-11 - URL: https://fisproject.net/2021/01/install-apache-airflow-on-ubuntu-18/ - カテゴリー: t2sy-note - タグ: Linux, Python, Ubuntu 今回は, 検証目的で Ubuntu 18. 04 (VPS) に Apache Airflow 2. 0. 0 をインストールした際の個人的な備忘録です。基本的には公式のインストール手順と同様です。 環境は以下です。 Ubuntu 18. 04 Python 3. 7 (Anaconda) MySQL 5. 7 Apache Airflow はワークフローエンジンで, 以下のコンポーネントで構成される。Airflow のアーキテクチャや各コンポーネントの概念は Basic Airflow architect... --- ### 【Python】AWS Lambda の Container Image Support を使い Selenium を動かす - Published: 2021-01-10 - Modified: 2021-01-14 - URL: https://fisproject.net/2021/01/aws-lambda-container-running-selenium-with-headless-chrome/ - カテゴリー: t2sy-note - タグ: AWS, Docker, Python 2020/12 に AWS Lambda の新機能として Container Image (Docker/OCI) がサポート されました。最大 10 GB のコンテナイメージをデプロイすることができ, AWS Lamdba の可能性がさらに広がりました。ワークロードをサーバレスに移行する流れは加速していきそうです。 今回は, AWS Lambda の Container Image Support を使い Selenium を動かす手順の備忘録です。環境は以下です。 macOS Cat... --- ### 【Book】2020年を振り返る - Published: 2021-01-04 - Modified: 2021-01-04 - URL: https://fisproject.net/2021/01/look-back-2020/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2020年を振り返る記事です。 Blog posts 2020年に投稿した記事は6本だった。投稿数は近年減少傾向となっているので持ち直したい。また, 会社のテックブログには6本投稿した。 Books read 2020年は本を34冊買った。今年も読了した中で印象に残っている本を挙げて振り返ってみる。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』 『データ指向アプリケーションデザイン』 『データ活用のための数理モデリング入門』 『Pyth... --- ### 【CSP】Python で制約充足問題 (レイアウト問題) を解く - Published: 2020-08-04 - Modified: 2020-08-04 - URL: https://fisproject.net/2020/08/solving-constraint-satisfaction-problems-in-python/ - カテゴリー: t2sy-note - タグ: Python 今回は, 『Python計算機科学新教本』3章 制約充足問題 の 3. 6 回路レイアウト を書いてみたので備忘録として残しておきます。本書の原著は『Classic Computer Science Problems in Python』です。 環境は Python 3. 7 です。 3章 制約充足問題 制約充足問題 (Constraint Satisfaction Problem; CSP) は変数の集合 (variables)、変数の取り得る値の集合である領域 (dom... --- ### 【Book】『データ指向アプリケーションデザイン』を読んで分散システムに入門する - Published: 2020-07-19 - Modified: 2020-07-21 - URL: https://fisproject.net/2020/07/read-designing-data-intensive-applications-to-get-an-introduction-to-distributed-systems/ - カテゴリー: t2sy-note - タグ: Hadoop, Linux, Machine Learning, Spark 今回は, 少しずつ読み進めていた『データ指向アプリケーションデザイン』を読了したので備忘録を残しておきます。本書は分散システムの入門書・ガイドとしてオススメです。600 ページを超える書籍のため, 読書メモを整理した備忘録もそれなりの規模になります。 データ分析基盤や機械学習基盤の構築や運用 (MLOps) は大規模データを対象とすることが一般的であり, スケーラビリティの要件から Hadoop/Spark のような OSS, または SaaS の DWH である Redshift や BigQ... --- ### 【Python】iOS アプリ利用データの生存時間解析 - Published: 2020-05-10 - Modified: 2020-05-17 - URL: https://fisproject.net/2020/05/survival-analysis-of-ios-app-usage-data/ - カテゴリー: t2sy-note - タグ: Python, Statistics 今回は生存時間解析の基本的な道具であるカプラン・マイヤー推定量, ログ・ランク検定, Cox 比例ハザードモデルについて Python の lifelines で試してみました。環境は以下です。  Python 3. 7 numpy 1. 17. 2 pandas 0. 25. 3 lifelines 0. 24. 4 matplotlib 3. 0. 3 参考書籍は 『生存時間解析入門 原書第2版』です。本書は主に, 生存時間データの回帰モデリングに焦点が当てられています。この記事では理論的な側面には触れないの... --- ### 【Python】取引シミュレーションの売買タイミング計算の効率化 - Published: 2020-03-18 - Modified: 2020-03-24 - URL: https://fisproject.net/2020/03/computation-efficiency-of-trading-simulation/ - カテゴリー: t2sy-note - タグ: Python 今回は小ネタ記事です。株や為替, または電力・原油など資源の取引市場では価格が刻々と変動します。今回は市場の価格履歴データから売買タイミングをシミュレーションする際の計算効率化についての備忘録です。 用途のひとつとして, 市場のアノマリー検証が考えられます。内容としてはかなり単純化したケースなので実際にシミュレーションを行うときは現実に則した工夫 (e. g. 予算や保持期間の制約や手数料など) が必要だと思います。 取引シミュレーションの売買タイミング計算 各時点の価格... --- ### 【GCP】『スケーラブルデータサイエンス』を読んだ - Published: 2020-03-04 - Modified: 2020-03-07 - URL: https://fisproject.net/2020/03/read-scalable-data-science-on-the-gcp/ - カテゴリー: t2sy-note - タグ: GCP, Machine Learning 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』を読んだので, 概要と GCP のデータ分析を支えるサービスを整理しておきます。 本書は Google Certified Professional - Data Engineer を取得する際にも役立ちました。 『スケーラブルデータサイエンス』の概要 本書の原著は Google の Valliappa Lakshmanan 氏による『Data Science on the Google Cl... --- ### 【GCP】gcloud の便利なフィルタリングとフォーマット化について - Published: 2020-02-01 - Modified: 2020-02-03 - URL: https://fisproject.net/2020/02/filtering-and-formatting-with-gcloud/ - カテゴリー: t2sy-note - タグ: GCP gcloud コマンドラインツールは GCP (Google Cloud Platform) 上のリソースやアプリケーションを管理するための CLI ツールで Google Cloud SDK の一部です。 この記事は,  gcloud コマンドラインツールで出力フォーマットを変更する --format フラグと, 結果のサブセットを選択する --filter フラグについての備忘録です。 これらのフラグを使い, Shell Script や設定ファイル化など用途に合ったフォーマットへの変換やフ... --- ### 【Book】2019年を振り返る - Published: 2019-12-27 - Modified: 2019-12-27 - URL: https://fisproject.net/2019/12/look-back-2019/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2019年を振り返る記事です。 Blog posts 2019年に投稿した記事は13本だった。全体的には Python に関する記事が多かった。また, 会社のテックブログに6本投稿した。 Books read 2019年は本を45冊買った。プログラミング関連では, プログラミングの基礎体力向上のため LeetCode を100 問解いたり, プログラミングコンテストチャレンジブック (通称: 蟻本) を読んだりした。読了した中で印象に残っている本を挙げて振り返ってみる。... --- ### 【Python】ダイクストラのアルゴリズムを書く - Published: 2019-11-22 - Modified: 2019-11-23 - URL: https://fisproject.net/2019/11/dijkstras-algorithm-in-python/ - カテゴリー: t2sy-note - タグ: Python 今回は, 『グラフ・ネットワークアルゴリズムの基礎 数理とCプログラム』の「第7章 最短パス」のダイクストラのアルゴリズムで紹介されている C のプログラムを Python に移植したという話です。実装の目的はコード化することで理解が曖昧な点を極力減らしていくことです。環境は Python 3. 7 です。 グラフ表現のデータ構造 グラフ (graph) はノード (node, vertex) とノードを結ぶエッジ (edge) で構成される数理モデルである。グラフ G ... --- ### 【LightGBM】Optuna に入門する - Published: 2019-10-22 - Modified: 2019-10-23 - URL: https://fisproject.net/2019/10/first-step-with-optuna-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python PyData. Tokyo Meetup #21 LightGBM / Optuna に参加してから1ヶ月程経ってしまいましたが, Optuna に入門しました。 pfnet/optuna 内の LightGBM の example を実行したのでインストールや使い方を備忘録として残しておきます。環境は macOS Mojave (10. 14. 2), Python 3. 7. 4 です。 Install Optuna Optuna はハイパーパラメータの最適化ツールで, その... --- ### 【Python】Profiling Flask - Published: 2019-09-08 - Modified: 2019-09-14 - URL: https://fisproject.net/2019/09/profiling-python-flask/ - カテゴリー: t2sy-note - タグ: Flask, Python 前回は Flask アプリケーションのテストとコードカバレッジの測定を行いました。今回は Flask アプリケーションの CPU とメモリ使用量のプロファイリングを試してみます。内容としてはライブラリやツールの紹介となっています。 前回と同様に Flask の Tutorial で紹介されている Flaskr と呼ばれる blog application を用いています。 CPU Profiling Memory Profiling Flask-DebugToolbar ... --- ### 【Python】Test and Coverage in Flask - Published: 2019-09-02 - Modified: 2019-09-23 - URL: https://fisproject.net/2019/09/test-and-coverage-in-flask/ - カテゴリー: t2sy-note - タグ: Flask, MySQL, Python 今回は, Flask の Tutorial で使われている Flaskr と呼ばれる blog application を用いて Flask のテストとコードカバレッジの測定を試してみたので備忘録を残しておきます。 Flaskr Flaskr は Flask の Tutorial で使われている blog application です。Flask のソースコードを GitHub から clone します。 $ git clone https://github. com/p... --- ### 【異常検知】Deep Anomaly Detection with Deviation Networks を読んだ - Published: 2019-08-12 - Modified: 2019-08-14 - URL: https://fisproject.net/2019/08/deep-anomaly-detection-with-deviation-networks/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics 今回は KDD ’19 に採択された論文 『Deep Anomaly Detection with Deviation Networks』 を読みましたので備忘録を残しておきます。 関連研究と課題 異常検知は以下をはじめとして様々な領域で使われている。 サイバーセキュリティ分野でのネットワーク攻撃の検出ファイナンス分野での不正取引の検出ヘルスケア分野での疾患の検出 これらの領域の異常検知では特徴の複雑な関係を捉える必要があり, 異常検... --- ### 【PySpark】Koalas の紹介 - Published: 2019-05-25 - Modified: 2019-05-26 - URL: https://fisproject.net/2019/05/introduction-to-koalas/ - カテゴリー: t2sy-note - タグ: Python, Spark, Ubuntu Koalas は Apache Spark 上に pandas DataFrame API を実装し, データサイエンティストのビッグデータに対する生産性向上を目的としたプロジェクトです。 pandas (tests, smaller datasets) と Spark (distributed datasets) の両方で動く単一のコードベースとできることを目指しているとあります。 Koalas プロジェクトは β 段階でリリースが早い (weekly release) ため最新の API は... --- ### 【Python/R】Nginx + JupyterLab でサーバ上にデータ分析環境を構築 - Published: 2019-04-05 - Modified: 2020-01-05 - URL: https://fisproject.net/2019/04/install-jupyterlab-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Python, R, Ubuntu VPS (Virtual Private Server) の Ubuntu 上に Nginx + JupyterLab でデータ分析環境 (Python, R) を構築した時のメモです。個人用途のため JupyterLab を選択しましたが, マルチユーザの環境が必要な場合は JupyterHub があります。環境は以下です。 Ubuntu 16. 04. 2 LTSJupyterLab 0. 34. 12Python 3. 5. 5R 3. 5. 3 JupyterLab Anaco... --- ### 【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (後編) - Published: 2019-03-23 - Modified: 2019-08-12 - URL: https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-2/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 前半は 深層異常検知 (Deep Anomaly Detection; DAD) のアーキテクチャの分類や長所・短所の紹介でした。後編は DAD の様々な領域への応用についてですが, 膨大な参考文献のため実質リンク集となっています。文献を徐々に読み進めて内容を追記する予定です。 Deep Anomaly Detection (DAD) の応用領... --- ### 【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (前編) - Published: 2019-03-10 - Modified: 2019-08-12 - URL: https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-1/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 異常検知の分野では Anomaly Detection : A Survey が有名なサーベイ論文だと思いますが, 深層学習の台頭でアップデートされた部分も多く, 本サーベイ論文は良いガイドラインとなりそうです。References が膨大なため前編/後編に分けます。 導入 異常検知と新規性検知 深層異常検知 (Deep anoma... --- ### 【情報検索】Learning to Rank の基礎 - Published: 2019-02-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/02/introduction-to-learning-to-rank/ - カテゴリー: t2sy-note - タグ: Machine Learning, Statistics Learning to Rank について調べたことを備忘録として残しておきます。初学者のため, 詳細や不明な点は参考文献をご覧下さい。 ランキング問題 ランク学習 ランク学習のアプローチ LETOR ランキング問題 ランク学習の典型的なアプリケーションに文書検索システムがある。 システムは文書集合 D = {d_1, d_2, ... , d_n} を保持している。クエリ集合を Q = {q_1, q_2, ... , q_m} として, クエリ q_i が与えられると,... --- ### 【R】k-Shape による株価の時系列クラスタリング - Published: 2019-01-24 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/01/time-series-clustering-of-stock-price-by-k-shape/ - カテゴリー: t2sy-note - タグ: Machine Learning, R 今回は, 取引関係のある企業の株価変化率の時系列を k-Shape という時系列クラスタリング手法で調べてみます。 企業間取引と株価 k-Shape R で k-Shape 実行環境は以下です。 R: 3. 5. 1 dtwclust: 5. 5. 1 dplyr: 0. 7. 8 企業間取引と株価 総売上に対して10%以上を占める取引先がある場合, 有価証券報告書の「生産、受注及び販売の状況」に開示する義務がある。企業間取引 (BtoB) と株価の関係は, 企業間の取引関係をノ... --- ### 【Python】安定結婚問題と Gale-Shapley アルゴリズム - Published: 2019-01-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/01/stable-marriage-problem-and-gale-shapley-algorithm/ - カテゴリー: t2sy-note - タグ: Python 今回は 『その問題、数理モデルが解決します』の第 6 章 アルバイトの配属方法 にでてくる Gale-Shapley アルゴリズムを Python で試してみました。 実行環境は Python 3. 7. 0 です。 安定マッチングと安定結婚問題 参考書籍では, アルバイトの配属を題材に 1:1 マッチングを扱っている。本記事では男性と女性の 1:1 マッチングに置き換える。 男性の集合を M = {a, b, c}, 女性の集合を W = {A, B, C} とする。 男... --- ### 【WordPress】PHP 5.5.x から PHP 7.0.x への移行 - Published: 2019-01-03 - Modified: 2019-01-04 - URL: https://fisproject.net/2019/01/upgrading-from-php-5-5-to-php-7-0/ - カテゴリー: t2sy-note - タグ: Nginx, PHP, WordPress WordPress (5. 0. 2) の PHP を 5. 5. 9 から 7. 0. 33 にアップグレードしたので備忘録を残しておきます。 移行前のバージョンの確認 PHP 7. 0. x のインストール FastCGI / Nginx の設定変更 環境は Ubuntu 14. 04 です。 移行前のバージョン確認 現在インストールされている PHP のバージョンを確認する。 $ which php /usr/bin/php $ ls -l $(which php) lrwxrwx... --- ### 【Book】2018年を振り返る - Published: 2018-12-30 - Modified: 2019-12-27 - URL: https://fisproject.net/2018/12/look-back-2018/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 年末に振り返る記事も5回目となりました。2018年を振り返ってみます。 Blog posts 2018年に投稿した記事は20本だった。 前半は R, 後半は Python について書くことが多かった。また, 会社のテックブログに2本投稿した。 Books read 2018年は本を53冊買った。読了した中で印象に残っている本を挙げて振り返ってみる。 『深層学習』 『ベイズモデリングの世界』 『データマイニングによる異常検知』 『PythonとKerasによるディープラー... --- ### 【async/await】Python のネイティブコルーチン, 非同期イテレータ, 非同期コンテキストマネージャ - Published: 2018-12-28 - Modified: 2018-12-29 - URL: https://fisproject.net/2018/12/coroutines-with-async-and-await/ - カテゴリー: t2sy-note - タグ: Python 前回は yield from (PEP 380) を用いたジェネレータベースのコルーチンを紹介しました。 今回は Python 3. 5 で追加された async/await キーワード を用いたネイティブコルーチンや非同期イテレータ, 非同期コンテキストマネージャについてです。本記事の内容は以下です。 async/await aysnc for aysnc with 実行環境は macOS 10. 13. 6, Python 3. 6. 7, IPython 7. 2. 0 です。 ... --- ### 【yield】Python のジェネレータとコルーチン - Published: 2018-12-22 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/12/python-generators-coroutines/ - カテゴリー: t2sy-note - タグ: Python 今回は Python のジェネレータとコルーチンについて調べたので備忘録として残しておきます。本記事の内容は以下です。 ジェネレータ コルーチン yield from 実行環境は macOS 10. 13. 6, Python 3. 5. 1 です。 ジェネレータ 反復はデータ処理の基本となるが, メモリに収まりきらない規模のデータをスキャンする場合, 要素を怠惰に1つずつ取ってくる方法が必要となる。怠惰な実装では値の生成をギリギリまで引き伸ばすことでメモリを節約できる。これを... --- ### 【tmux】macOS のターミナル周辺のセットアップ - Published: 2018-11-23 - Modified: 2019-01-10 - URL: https://fisproject.net/2018/11/setup-macos-terminal/ - カテゴリー: t2sy-note 新しい macOS 端末を導入する度にターミナル周辺 (brew, bash, iTerm2, tmux) のセットアップ手順を調べて時間がかかってしまうので, 個人的な備忘録として残しておきます。 macOS 10. 13. 6 で確認しています。 Homebrew bsah iTerm2 tmux MacTeX Homebrew Homebrew (brew command) をインストールする。 $ /usr/bin/ruby -e "$(curl -fsSL htt... --- ### 【Keras】S3 + Lambda + EC2 で作る画像認識システム - Published: 2018-11-11 - Modified: 2018-12-02 - URL: https://fisproject.net/2018/11/image-recognition-system-with-aws-and-keras/ - カテゴリー: t2sy-note - タグ: AWS, Linux, Machine Learning, Python 今回は Amazon S3 + AWS Lambda + Amazon EC2 (Keras, Flask) で作る画像認識システムの例について書きます。 AWS構成 今回のAWS構成は以下。画像ファイルの S3 Put イベントをトリガにして Lambda から画像認識 API Server にアクセスし, 推論結果を S3 に保存。 API Gateway (Amazon Cognito) -> Lambda にすることで認証や監視機能を持たせた API サービスに... --- ### 【Linux】Docker / Kubernetes 入門 - Published: 2018-11-05 - Modified: 2019-09-23 - URL: https://fisproject.net/2018/11/introduction-to-docker-and-kubernetes/ - カテゴリー: t2sy-note - タグ: Debian, Golang, Linux Docker/Kubernetes に入門したので備忘録を残しておきます。 Docker Docker Compose Kubernetes 環境は macOS 10. 13. 6, Docker for Mac 18. 06. 1-ce (Compose: 1. 22. 0, Kubernetes: 1. 10. 3)です。 Docker for Mac は内部で FreeBSD の bhyve hypervisor を macOS に移植した xhyve hypervisor を使っています。bhyve は... --- ### 【Linux】KVM 入門 - Published: 2018-10-25 - Modified: 2019-05-02 - URL: https://fisproject.net/2018/10/introduction-to-kvm/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel, Ubuntu KVM を触る機会があったので備忘録を残しておきます。復習として Ubuntu 16. 04 (Host OS) 上に KVM で CentOS7 (Guest OS) を立てます。 KVMと周辺技術 QEMU QEMU は OSS のエミュレータで Type 2 hypervisors に分類される。アプリケーション型 VM で CPU エミュレーションの機能もあるが KVM と組み合わせる場合は主に Virtual I/O の機能を担う。Debian, Ubuntuの... --- ### 【Go】gRPC から REST API Server をつくる - Published: 2018-09-23 - Modified: 2018-12-31 - URL: https://fisproject.net/2018/09/translates-grpc-into-rest-json-api-with-go/ - カテゴリー: t2sy-note - タグ: Golang, gRPC 今回は Go で gRPC から REST API Server をつくる方法の備忘録です。 gRPC Protocol Buffers gRPC-Go grpc-gateway gRPC Client RESTful JSON API Server Swagger Go のバージョンは 1. 11 です。 $ go version go version go1. 11 darwin/amd64 gRPC gRPC (gRPC Remote Procedure Calls)... --- ### 【Python】Keras で VAE 入門 - Published: 2018-09-15 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/09/vae-with-python-keras/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, Statistics NN による生成モデルの主な手法として VAE (variational autoencoder) と GAN (generative adversarial network) の2つが知られています。今回は頭の中を整理する目的で VAE の備忘録を残しておきます。 AE (autoencoder) VAE (variational autoencoder) VAE を Keras で実装 AE 自己符号化器 (autoencoder; AE) は入力を出力にコピーする... --- ### 【Python】scikit-learn Pipeline と前処理の設定ファイル化 - Published: 2018-07-22 - Modified: 2018-10-16 - URL: https://fisproject.net/2018/07/pipeline-using-scikit-learn/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 今回は scikit-learn の Pipeline 内のパラメータに渡す値を実験的に設定ファイル化してみた話です。 sklearn. pipeline. Pipeline sklearn. pipeline. Pipeline を上手く使うとfit, transform, predict を一つの Python オブジェクトにまとめられコードが簡潔になったり, 手続き型的なコードと比較してミスが減りやすくなる利点がある。 前処理に関する変換を scikit-learn ぽい... --- ### 【PySpark】Amazon S3 の JSON を DataFrame で読み込む - Published: 2018-06-24 - Modified: 2019-03-16 - URL: https://fisproject.net/2018/06/reading-json-from-amazon-s3-as-apache-spark-dataframe/ - カテゴリー: t2sy-note - タグ: AWS, Python, Spark 今回は PySpark で Amazon S3 の JSON を DataFrame で読み込む Tips です。環境は macOS 10. 13. 5, Apache Spark 2. 3. 0 です。 S3 の JSON を DataFrame で読み込む Amazon S3 に置いてある以下のような JSON を DataFrame として読み込みたい。 $ ls *. json alice. json bob. json eve. json $ cat *. json {"nam... --- ### 【CUDA】Ubuntu 16.04 (GPU) に Keras/TensorFlow 環境を構築 - Published: 2018-05-28 - Modified: 2018-10-07 - URL: https://fisproject.net/2018/05/install-keras-with-tensorflow-backend-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, Ubuntu 今回は Ubuntu 16. 04 LTS (GPUインスタンス) に Keras/TensorFlow 環境を構築する手順の備忘録です。 NVIDIA Driver CUDA Toolkit NVIDIA cuDNN Python Keras/TensorFlow NVIDIA Driver NVIDIA Driver をインストールする。 $ sudo add-apt-repository ppa:graphics-drivers/ppa -y $ sudo apt-get update $ ... --- ### 【Spark】pyspark.sql.DataFrame クラスのメソッド - Published: 2018-04-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/04/methods-of-the-pyspark-sql-dataframe-class/ - カテゴリー: t2sy-note - タグ: Python, Spark 今回は pyspark. sql. DataFrame クラスの主要なメソッドを備忘録用にまとめてみました。 環境は macOS 10. 13. 3, Apache Spark 2. 3. 0 です。 データ構造の確認 射影・抽出 要約統計量 結合 統合 (連結) グループ化・集約 欠測値の確認・削除・補完 重複値の削除 置換・ソート サンプリング データ形式の変換 日時の変換 PySparkの起動 Spark は Download Apache Spark から DL できる。 ... --- ### 【R / Python】UMAP でアクセスログを可視化してみた - Published: 2018-04-14 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/04/access_log_embedded_via_umap/ - カテゴリー: t2sy-note - タグ: Python, R 今回は UMAP で当ブログのアクセスログ (Nginx) を可視化してみます。実行環境は macOS 10. 13, CPU 1. 6GHz Intel Core i5, メモリ 8GB です。 UMAP 次元削減のアルゴリズムは大きく2つのカテゴリに分類される。 データ内の距離構造を保持する手法 (e. g. PCA, MDS adn Sammon mapping) 大域的な距離の上で局所的な距離を保持する手法 (e. g. t-SNE, Isomap, LargeVis, Laplacian ei... --- ### 【Ubuntu 16.04】RStudio Server のインストール - Published: 2018-04-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/04/installing-rstudio-server-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Linux, R, Ubuntu 今回は Ubuntu 16. 04 に RStudio Server をインストールする備忘録です。 R のインストール RStudio Server のインストール RStudio Server にログイン R のインストール Ubuntu 16. 04 に R をインストールする。 ubuntu@ubuntu /home/ubuntu/tmp]$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16. 04 DISTRIB_CODENA... --- ### 【Python】Selenium WebDriver で Firefox に Geolocation を設定する - Published: 2018-03-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/03/geolocation-in-selenium-webdriver-with-firefox/ - カテゴリー: t2sy-note - タグ: Python Selenium WebDriver で Firefox に Geolocation を設定する方法です。Firefox 53. 0, Selenium 3. 4. 1 で動作を確認しています。 Selenium WebDriver で Firefox に Geolocation を設定 Firefox で位置情報に関する設定は about:config にアクセスし geo と入力するとパラメータが絞り込まれ確認できる。 Selenium WebDriver で任意の位置情... --- ### 【devtools】 LINE Notify する R パッケージを作った - Published: 2018-02-19 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/02/send-message-to-line-from-r/ - カテゴリー: t2sy-note - タグ: R LINE Notify を使って R から LINE にメッセージや ggplot object を送信する {lineNotify} パッケージを作りました。 動機は 2018 年は R パッケージ開発に入門したいと思っていて最初に思いついたのが Slack への通知でしたが既に {slackr} パッケージがありましたので LINE Notify にしました。 LINE Notify LINE Notify は様々な Web サービスからの通知を LINE で受信することが出来るサービスです... --- ### 【R】k近傍法による異常検知 - Published: 2018-02-11 - Modified: 2019-08-12 - URL: https://fisproject.net/2018/02/anomaly-detection-using-knn/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, R 今回は『異常検知と変化検知』 (機械学習プロフェッショナルシリーズ) - 4章 近傍法による異常検知 の 4. 1. 2 ラベルつきデータに対するk近傍法による異常検知を R で実装してみました。 k近傍法による異常検知 k近傍法 (k-nearest neighbor algorithm) は, 特徴空間上で最も近い距離にある訓練データ (経験分布) に基づいて分類/回帰を行う手法。 参考書では, ラベルがないデータとあるデータの双方に対するk近傍法による異常検知について紹介されている。 ラベルつ... --- ### 【bnlearn】R でベイジアンネットワーク入門 - Published: 2018-01-28 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/01/bayesian-network-in-r-introduction/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回はベイジアンネットワークについて調べてみました。 グラフィカルモデル ベイジアンネットワーク ベイジアンネットワークの構造学習 ベイジアンネットワークのパラメータ学習 R でベイジアンネットワーク 1. グラフィカルモデル グラフィカルモデルは確率モデルにグラフ構造を与える。グラフィカルモデルには大きく以下の2種類がある。 ベイジアンネットワーク: 確率的な因果関係をモデル化。有向非巡回グラフで表現。 マルコフ確率場: 確率的な相互の依存関係をモデル化。無向グラフで... --- ### 【表現式】Rでメタプログラミングの基礎 - Published: 2018-01-06 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/01/metaprogramming-in-r/ - カテゴリー: t2sy-note - タグ: R 今まで R パッケージユーザでしたが, 2018年は何かしら R パッケージを開発できたらと考えています。開発を行う上でRにおけるメタプログラミングの知識は必要と思い調べてみました。 表現式 表現式の捕捉 関数呼び出しの構築 表現式の評価 stats::lm の仕組み モデルの更新 表現式 Rプログラミング本格入門 から R におけるメタプログラミングについて言及している箇所を引用する。 メタプログラミングによって, 言語そのものに手を加えて, 特定のシナリオで使わ... --- ### 【Book】2017年を振り返る - Published: 2017-12-27 - Modified: 2019-12-27 - URL: https://fisproject.net/2017/12/look-back-2017/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 今年も残り僅かですね。2017年を簡単に振り返ってみます。 Blog posts 2017年に投稿した記事数は 26 だった。 Python, R, Scala, Go について書くことが多かった。 Scala は今年から始めたけど中々良い言語だと思った。JVM上で動くプログラミング言語として初めて触った言語だった。来年も新しいプログラミング言語にチャレンジしたい。 Books read 2017年は本を 72冊 買った。読了した中で印象に残っている本を挙げてみる。 恐... --- ### 【Python】pandas でデータ操作 (後編) - Published: 2017-12-16 - Modified: 2019-05-25 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part3/ - カテゴリー: t2sy-note - タグ: Python pandas でデータ操作する時の Tips (後編) です。今回は時系列データの処理を中心に取り上げます。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 一定頻度の日時の取得 差分系列の取得 前方/後方へのシフト リサンプリング 窓関数の移動 OHLCの計算 1. 一定頻度の日時の取得 pandas. date_range は一定の頻度の DatetimeIndex を返す。DatetimeIndex には 日時の ... --- ### 【Python】pandas でデータ操作 (中編) - Published: 2017-12-13 - Modified: 2019-05-25 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part2/ - カテゴリー: t2sy-note - タグ: Python pandas でデータを操作する時の Tips (前編の続きの中編) です。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 連結 (concat, append) 結合 (merge, join) 適用 (apply) 写像 (map) 集約 (aggregate) グループ化 (groupby) 1. 連結 (concat, append) pandas. concat は pandas オブジェクトを連結する。Da... --- ### 【Python】pandas でデータ操作 (前編) - Published: 2017-12-08 - Modified: 2019-07-09 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part1/ - カテゴリー: t2sy-note - タグ: Python pandas でデータを操作する時の Tips (前編) です。最近, pandas を使う機会が増えてきたので備忘録を残しておきます。前編は基本的な前処理に関する内容です。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 要約統計量 相関・共分散 文字列の分割 ダミー変数化 long と wide の変換 欠測値の削除 欠測値の補完 値でソート インデックスの振り直し 重複値の削除 順序性を持つ質的変数の数値化 値の部分置換 分位数 date... --- ### 【R】時系列データに関する基本的な検定 - Published: 2017-11-12 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/11/statistical-test-on-time-series-data/ - カテゴリー: t2sy-note - タグ: R, Statistics 時系列データに関する基本的な検定について調べてみました。 Granger の因果性検定は 【R】金利と日経平均株価の関係【Granger因果】 で扱ったので今回は省略しました。 環境は macOS 10. 12, R 3. 3. 1 です。 はじめに 架空の日次PVデータを例に以下の検定を行ってみる。 名称 検定内容 ADF検定 単位根検定 PP検定 単位根検定 Engle-Granger検定 共和分検定 Phillips-Ouliaris検定 共和分検定 連検定 非独立性の検定 BDS検定 非独立性... --- ### 【MCMC】Stan で状態空間モデリング - Published: 2017-10-08 - Modified: 2020-02-01 - URL: https://fisproject.net/2017/10/state-space-model-with-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics 前回の {dlm} を用いた状態空間モデルを Stan でも試してみます。 今回も備忘録になります。環境は macOS 10. 12, R 3. 3. 1, rstan 2. 16. 2 です。 はじめに 前回も使った架空の日次PVデータに曜日 (0-6), 広告費, イベント (長期休暇) を表す変数を追加する。 広告費は pv 増加要因, 長期休暇は pv 減少要因の想定とする。 > head(df) X date pv week ad vacation 1 1 2016/9/1 490 0 0... --- ### 【dlm / Kalman Filter】R による状態空間モデリング - Published: 2017-09-24 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/09/state-space-model-with-r/ - カテゴリー: t2sy-note - タグ: R, Statistics {dlm} を用いた状態空間モデリングの個人的な備忘録です。 はじめに 以下の3つの基本的な状態空間モデルを扱う。 環境は macOS 10. 12, R 3. 3. 1, dlm 1. 1-4 ローカルレベルモデル ローカル線型トレンドモデル 季節要素のあるローカル線型トレンドモデル 以下の架空の日次PVデータを用いる。(n=365) ローカルレベルモデル (ランダムウォークプラスノイズモデル) ローカルレベルモデルは以下の観測方程式 (上) と状態方程式 (下) からなる。... --- ### 【Python】t-SNE による Fashion-MNIST の可視化 - Published: 2017-09-09 - Modified: 2019-05-26 - URL: https://fisproject.net/2017/09/visualization-of-fashion-mnist-using-tsne/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 最近公開された Fashion-MNIST データセットに対して t-SNE を試しました。環境は以下です。 macOS 10. 12. 6 CPU Core i5 1. 6 GHz メモリ DDR3 8GB Python 2. 7. 13 t-SNE SNE (Stochastic Neighbor Embedding) は非線形次元削減の手法。サンプル間の類似度を条件付き確率で表現する。例えば, ある点 i から別の点 j との類似性は i を中心とするガウス分布で定... --- ### 【Linux / Go】遅延書き込みと fsync(2) - Published: 2017-08-27 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/08/lazy-write-back-and-fsync2/ - カテゴリー: t2sy-note - タグ: Golang, Linux, Linux-kernel Redis のデータ永続化には スナップショットの RDB (Redis DataBase) と テキストログの AOF (Append-Only File) があります。AOF では fsync(2) によりメモリ上のデータを毎秒などの短い間隔 (always/everysec/no) でディスクに書き出すことで障害時のデータの損失をなるべく最小限にする方法が取られています。 今回は 遅延書き込み (Lazy Write Back) を行う write(2) と明示的にページキャッシュをディス... --- ### 【goroutine】Go で Random Forest を書いてみた - Published: 2017-08-15 - Modified: 2019-05-13 - URL: https://fisproject.net/2017/08/random-forest-implemtation-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning 『アンサンブル法による機械学習: 基礎とアルゴリズム』を読んでいます。原著の Ensemble Methods: Foundations and Algorithms は Web で閲覧できます。 今回は Random Forest を Go で書いてみました。決定木は Python で書いていたのでその拡張でも良かったのですが, Go の goroutine による並行処理はバギングにおける並列処理に向いているのもあり書いてみました。 アンサンブル法 アンサンブル法は... --- ### 【Ubuntu / CentOS】 SysV init と systemd で自作コマンドのサービス化 - Published: 2017-08-01 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/08/how-to-daemonize-sysvinit-and-systemd/ - カテゴリー: t2sy-note - タグ: Linux, Ubuntu 既に多くのLinuxディストリビューションで initシステム は SysV init や Upstart から systemd に移行が済んでおり, Ubuntu 15. 04, CentOS 7, Debian jessie から default となっています。 もはや systemd を積極的に使わない理由はないのかもしれないですが, 最近いくつかの脆弱性 (CVE-2017-1000082, CVE-2017-9445 etc) の発見もあり SysV init のサービス起動スクリプト... --- ### 【Ubuntu】monit によるプロセス監視と Slack 通知 - Published: 2017-07-23 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/07/slack-notification-from-monit/ - カテゴリー: t2sy-note - タグ: Linux, Ubuntu 今回は monit の導入とプロセス再起動時に Slack に通知する方法についてです。 monit monit は手軽にシステムリソースやファイルシステム, プロセスの監視とプロセス停止時に自動起動してくれるツール。ローカルホストだけでなくリモートホストに TCPやUDP, UNIXドメインソケットで接続して監視もできる。 今回はデーモンプロセスの監視に使うが, ファイルシステム監視をサポートしておりタイムスタンプやチェックサムの変更なども検知できる。 環境は Ubuntu 14. 04. 5 L... --- ### 【Spark / Scala】BigDL で回帰モデル - Published: 2017-06-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/06/bigdl-regression-model/ - カテゴリー: t2sy-note - タグ: Machine Learning, Scala, Spark BigDL は Apache Spark 上で動く分散 Deep Learning ライブラリ。Examples にテキスト分類や画像分類の例が含まれています。今回は簡単な回帰モデルを試してみました。 環境は macOS 10. 12. 3, Scala 2. 11. 8, BigDL 0. 2. 0です。 BigDLの入手 Downloads からビルド済の BigDL を DL する。 $ wget https://oss. sonatype. org/content/groups/public/com/i... --- ### 【identical】Rで関数の比較 - Published: 2017-06-05 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/06/compare-functions-in-r/ - カテゴリー: t2sy-note - タグ: R 久しぶりに R を書いてるときに, 2つの関数が等しいか比較したくなる場面に出くわしたので少し調べてみました。 identical 結論としては identical で関数を含めた Rのオブジェクトの比較ができた。以下のように論理値が返る。 > identical(max, max) TRUE > identical(max, min) FALSE 調べるきっかけとなったのは lapply で list の要素に適用する関数に渡す関数によって処理を変えたい場面に出くわしたから。 ... --- ### 【Spark / Eclipse】ScalaTest + spark-testing-base - Published: 2017-05-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/05/unit-test-using-scalatest-and-spark-testing-base/ - カテゴリー: t2sy-note - タグ: Scala, Spark Sparkアプリケーションの開発言語で Scala を選択する利点に Unit Test が書きやすい点があると思います。Python は豊富な機械学習とその周辺ライブラリが使える一方, Spark を使うテストは少々工夫が必要な印象があります。 今回は ScalaTest + spark-testing-base で Sparkアプリケーションのテストを書いてみました。コマンドからのテスト実行と Eclipse でのテスト実行も試してみました。 環境は macOS 10. 12. 3, Scala... --- ### 【match】Scala のパターンマッチ - Published: 2017-05-15 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/05/pattern-matching-in-scala/ - カテゴリー: t2sy-note - タグ: Scala 参考にした本は Scalaスケーラブルプログラミング 第3版 第15章 ケースクラスとパターンマッチ です。 環境は macOS 10. 12. 3, Scala 2. 12 です。 パターンマッチ match 式は `selector match { case pattern => expr }` のように書き, パターンが match するとその後ろの式が評価される。 主なパターンマッチの種類には以下がある。 ワイルドカードパターン 定数パターン 変数パターン コンストラクタパターン シーケンスパ... --- ### 【Seq / Map】Scala のコレクションについて調べてみた - Published: 2017-05-04 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/05/scala-collection/ - カテゴリー: t2sy-note - タグ: Scala Spark アプリケーションを書くために Scala の勉強をしています。Python でも良いのですが Spark 自体が Scala で書かれていることもあって親和性は高いです。 参考にした本は『 Scalaスケーラブルプログラミング』 第3版 第24章 コレクションの探求 で, Scalaコレクション の概要と基本となる Seq, Set, Map について書きます。 環境は macOS 10. 12. 3, Scala 2. 12 です。 Scalaについて Scala がどのような言語かは改... --- ### 【Scala】Spark の DataFrame ハンドリング - Published: 2017-04-30 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/04/spark-dataframe-handling-tips/ - カテゴリー: t2sy-note - タグ: Scala, Spark Spark DataFrame の勉強中です。 今回は, 以下の (1) のような stringify された JSON を Parseし query パラメータ部分を (key, value) に分割, 最終的に (2) の DataFrame を得るのが目的。 # (1) input dataframe +----------------------------------------------------------------------------------------------... --- ### 【sysctl】Linux カーネルパラメータのチューニング - Published: 2017-04-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/04/tuning-kernel-parameters-for-linux/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel HTTP(S)サーバの負荷テストをしている中でネットワーク関連の Linux カーネルパラメータのチューニングについて興味を持ったので調べてみた。 参考文献は 詳解 システム・パフォーマンス の 10章 ネットワーク 10. 8 チューニング 辺り。 環境は Ubuntu 14. 04 ulimit(3) クライアントからの同時接続に対してサーバのファイルディスクリプタ数を上限を変えてみる。ファイルディスクリプタ数 (open files) は 1024 となっていた。 $ ulimit -a co... --- ### 【Go 1.8】net/http の 400 Bad Request の扱いについて - Published: 2017-03-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/03/bad-request-logging-in-go/ - カテゴリー: t2sy-note - タグ: Golang Go の HTTPルータ github. com/julienschmidt/httprouter の Router型 には NotFound http. Handler や MethodNotAllowed http. Handler があり, Handler 内で access. log に残すなどの追加の処理が書ける。 package main import ( "fmt" "github. com/julienschmidt/httprouter" "log" "net/http" ) func ... --- ### 【check digit】 Damm を Go で書いてみた - Published: 2017-03-07 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/03/damm-algorithm-in-go/ - カテゴリー: t2sy-note - タグ: Golang Go の Tips に追記してもよかったのですが, 長くなってきたので独立して書きます。 チェックディジット チェックディジット (Check Digit) は数字列の誤りを検出するための数値。身近な例だと, マイナンバーにも Modulus11 Weight2~7 というチェックデジットが使われている。 ちなみに, bit列などに対して誤りの検出と訂正が行える仕組みを ECC (Error Check and Correct) といいハミング符号が有名。 Damm Dammはラテン方格 （La... --- ### 【Hyperopt】XGBoost で DART を試してみる - Published: 2017-03-04 - Modified: 2019-05-12 - URL: https://fisproject.net/2017/03/dart-of-xgboost-with-hyperopt/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, XGBoost 環境は以下です。 macOS siera Python 2. 7. 13 xgboost==0. 6a2 hyperopt==0. 1 DART DART: Dropouts meet Multiple Additive Regression Trees はMART (多重加法回帰木) におけるアンサンブルのサイズの増加時に現れる特定のインスタンスでの一種の over-fit を起こす問題 (over-specialization) に... --- ### 【R / Linux】sar で収集したデータの可視化 - Published: 2017-02-10 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/02/visualization-of-the-data-collected-by-sar/ - カテゴリー: t2sy-note - タグ: Linux, R sysstat はシステム監視 (system monitoring) のツールです。今回は sar で収集したシステムに関するデータを R で可視化してみます。 環境は Ubuntu14. 04 です。 sar sar (system admin reporter) はシステムの性能測定や負荷テストを行いたいときに便利なコマンド。 $ sar -V sysstat version 10. 2. 0 (C) Sebastien Godard (sysstat orange. fr) Ubuntu では ... --- ### 【JSON】Go の Tips - Published: 2017-01-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/01/golang-tips/ - カテゴリー: t2sy-note - タグ: Golang Go の Tips をいくつか書き残しておきます。 json. Marshalで "", "&" をエスケープさせたくない JSON を簡単に扱いたい 日時文字列を TimeStamp に変換したい ファイルの存在確認をしたい 見通しの良いユニットテストを書きたい HTTP Server の Handler のテストを書きたい ハッシュ文字列を数値列に変換したい Auto Build Versioning したい map で function を使いたい 環境は g... --- ### 【KVS】Redis Lua Scripting で簡単な集計 - Published: 2017-01-01 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/01/introduction-of-redis-lua-scripting/ - カテゴリー: t2sy-note - タグ: Lua, Redis 今回は Redis Lua Scripting で簡単な集計をしてみます。Redis はシングルスレッドで動作する高速なインメモリKVSです。 データの準備 key の形式を {timestamp}:{category} としたデータを投入する。 $ redis-cli MSET 1482671169:ctg1 "{\"count\": 10, \"item\": \"AAA\"}" 1482671160:ctg1 "{\"count\": 5, \"item\": \... --- ### 【Book】2016年を振り返る - Published: 2016-12-25 - Modified: 2019-12-27 - URL: https://fisproject.net/2016/12/look-back-2016/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 今年も残り僅かですね。2016年 を簡単に振り返ってみます。 Blog posts 2016年に投稿した記事数は 33 だった。 上半期は R や Python が中心。下半期の後半には OpenCV3, Spark, Redis, Lua など少し手を広げてみた。 Books read 2016年は本を 121冊 買った。読了した中で印象に残っている本を挙げてみる。 Sparkによる実践データ解析――大規模データのための機械学習事例集 ゼロから作るDeep Learn... --- ### 【R】defaultPackages 以外の全てのパッケージを detach する - Published: 2016-12-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/detach-packages-except-defaultpackages/ - カテゴリー: t2sy-note - タグ: R R で getOption("defaultPackages") + {base}パッケージ 以外の全てのパッケージを detach するTip。 Rセッション開始時の sessionInfo は以下。 > sessionInfo R version 3. 3. 1 (2016-06-21) Platform: x86_64-apple-darwin13. 4. 0 (64-bit) Running under: OS X 10. 12. 1 (Sierra) locale... --- ### 【Redis / Nginx】Programming in Lua (first edition) Part I のメモ - Published: 2016-12-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/reading-programming-in-lua/ - カテゴリー: t2sy-note - タグ: Lua この記事は Redis Advent Calendar 2016, 18日目の記事です。 Programming in Lua (first edition) を読んで Luaに入門してみたのでメモを残しておきます。きっかけは Redis の Lua Scripting をやる機会ができたからです。 Part I から IV までありますが長いので 今回は Part I の印象に残ったところを書きます。 ちなみに First Edition は Lua 5. 0 を前提に書かれています。 現在 (... --- ### 【KVS】CentOS 6 に Redis-Cluster を構築する - Published: 2016-12-11 - Modified: 2018-10-30 - URL: https://fisproject.net/2016/12/create-redis-cluster-on-centos6/ - カテゴリー: t2sy-note - タグ: Redis CentOS 6. 8 に Redis-3. 2. 5 をインストールし, Redis-Cluster を構築するメモです。 (2018-10-30: 2018-10-17 にリリースされた Redis 5. 0. 0 ではクラスターの構築方法が変更となったため追記しました) CentOS 6 に Redis インストール Redis-Cluster の構築 Redis-Cluster の Failover 機能を試す Redis-Cluster 構築時の Troubleshooting [quads i... --- ### 【Go / Python】MessagePack の Encode/Decode を複数の言語で試す - Published: 2016-12-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/messagepack-of-some-languages/ - カテゴリー: t2sy-note - タグ: Golang, Python, Scala 仕事でバイナリフォーマットを扱う機会がありそうなので MessagePack の Encode/Decode を Go, Python, Scala で試してみました。 macOS: 10. 12. 1 Go: 1. 7 Python: 2. 7. 12 Scala: 2. 12. 0 データの準備 以下の JSON を msgpack-cli で MessagePack にシリアライズする。 $ go get github. com/jakm/msgpack-cli $ cat te... --- ### 【Apache Spark】NMF (ALS) による推薦を試してみた - Published: 2016-11-28 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/spark-ml-recommendation-als/ - カテゴリー: t2sy-note - タグ: Hadoop, Machine Learning, Python, Spark 前回, 構築した Spark on YARN 環境で ml/recommendation/ALS を試してみます。 実行環境は以下です。 macOS: 10. 12. 1 Java: 1. 8. 0_111 Apache Hadoop: 2. 7. 3 Apache Spark: 2. 0. 2 HDFS にデータをロード 今回使う data/mllib/als/sample_movielens_ratings. txt は左から, ユーザID, アイテムID, レイティング, 時間 となっている。 レイティング... --- ### 【Hadoop】macOS に YARN 上の Spark 実行環境を構築 - Published: 2016-11-23 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/11/spark-applications-on-yarn-macos/ - カテゴリー: t2sy-note - タグ: Hadoop, Spark 今回は macOS で Standalone Mode ではない YARN上の Spark 実行環境を構築するメモです。 macOS: 10. 12. 1 Java: 1. 8. 0_111 Apache Hadoop: 2. 7. 3 Apache Spark: 2. 0. 2 Apache Hadoop 2. 7. 3 JDKがなければインストールする。 $ java -version java version "1. 8. 0_111" Java(TM) SE Runtime Envir... --- ### 【Python】OpenCV3で画像処理を学ぶ (2) - Published: 2016-11-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/image-processing-with-opencv3-2/ - カテゴリー: t2sy-note - タグ: OpenCV, Python 前回に引き続き, 画像処理の基礎を OpenCV3 を使って勉強します。参考書籍は,『OpenCVによる画像処理入門』です。 実行環境は前回と同様です。macOS Sierra, Python 2. 7. 12。 In : import cv2 ... : import numpy as np ... : from matplotlib import pyplot as plt 今回は以下の画像処理, 主にフィルタ処理を試してみます。 平滑化フィルタ エッジ検出フィルタ 二値画像処理 画像間演算 ... --- ### 【Python】OpenCV3で画像処理を学ぶ (1) - Published: 2016-11-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/image-processing-with-opencv3/ - カテゴリー: t2sy-note - タグ: OpenCV, Python OpenCV3を使って画像処理の基礎を勉強中です。参考書籍は, 『OpenCVによる画像処理入門』です。 まず, 本書の定義を用いて 画像処理 と コンピュータビジョン の定義を分けておく。 画像処理: 与えられた画像に対して, なんらかの処理を行い画像を出力する処理 コンピュータビジョン(CV): 撮影対象を認識/判別したり, 対象の状態をデータで出力する処理 今回は, 基本的な画像処理技術 (特に 色空間変換, 幾何学変換, 濃淡変換) を OpenCV3 で試してみた。 実行環境 環境は ... --- ### 【R】株主優待銘柄の市場アノマリー検証 - Published: 2016-10-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/10/market-anomaly-simulation-using-r/ - カテゴリー: t2sy-note - タグ: R 今回は, 最近読んだ `ロボット運用のプロが分析してわかった 最強の株式投資法` の第5章に出てくる 株主優待銘柄のアノマリーの検証 を R でやってみた。 市場アノマリー アノマリーというと異常検知などの話を思い浮かべたりするが, 金融市場におけるアノマリー (market anomaly) は Wikipedia によると, 効率的市場仮説と矛盾するような金融市場の価格およびリターンのねじれ現象を指すらしい。例えば, Sell in May は米国で有名なアノマリー... --- ### 【Python】Scrapy + Digdag でクローラの定期実行 - Published: 2016-08-27 - Modified: 2019-04-10 - URL: https://fisproject.net/2016/08/web-scraping-using-scrapy-and-digdag/ - カテゴリー: t2sy-note - タグ: Python, Ubuntu Scrapy プロジェクトを Digdag でスケジューリングしてみたので導入の備忘録を残しておきます。 環境は MacBook Air (13-inch, Mid 2013), OSX 10. 11. 6 です。 Scrapy Scrapy は Web Crawling / Scraping Framework で, mechanize や Beautiful Soup といった特定の機能を提供するライブラリと比べると多機能。 基本的な機能に加えて robots. txtポ... --- ### 【Python】回帰木 (決定木) を書いてみる - Published: 2016-07-20 - Modified: 2019-10-27 - URL: https://fisproject.net/2016/07/regression-tree-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 前回は分類問題における決定木, 分類木 (classification tree) を書いてみましたが, 今回は前回のコードを拡張して回帰問題における決定木, 回帰木 (regression tree) に対応させてみます。 回帰木は "Python機械学習プログラミング 達人データサイエンティストによる理論と実践" の 第10章 多項式回帰 で触れられています。 回帰木 目的関数は分類木の場合と同様で以下。 \begin{eqnarray*} IG (... --- ### 【Python】決定木分類器を書いてみる - Published: 2016-07-17 - Modified: 2019-10-27 - URL: https://fisproject.net/2016/07/decision-tree-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 『Python機械学習プログラミング 達人データサイエンティストによる理論と実践』 第3章 分類問題 の 3. 6 決定木学習に関連した内容です。 決定木をサポートしたライブラリは R だと {rpart} パッケージ, Pythonだと scikit-learn を初めとして数多くあります。当初は Go で書いてみようと思ったのだけど, その前にまず Python で書いてみようということで始めたら意外と時間を使ってしまったので Go は次回に回したいと思います。 なので今回の内容は, scik... --- ### 【R / lme4】線形混合効果モデル - Published: 2016-07-06 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/07/linear-mixed-effects-model/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, 『経時データ解析 (統計解析スタンダード)』 に出てくる 線形混合効果モデル についての備忘録です。 線形混合効果モデルは複数の被験者で繰り返し測定する経時データや実験計画における空間的相関のある分割区画実験などで用いられる。 分野によっては, 同じモデルをマルチレベルリニアモデル, 階層線形モデル, 潜在変数モデルと呼ぶこともあるようだ。 経時データ 経時データは, 複数の対象者に対しある反応変数を時間の経過とともに繰り返し測定したデータ。同一対象者内の測定... --- ### 【NumPy / SciPy】Pythonでデータの標準化 - Published: 2016-06-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/06/data-standardization-using-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python データ分析の前処理などで行う標準化と正規化の違いや, Pythonで標準化する際のいくつかの方法について調べたのでメモります。 標準化と正規化 正規化 (normalization) または最大最小スケーリング (min-max scaling) は となるように下記のような変換をする。min/maxに強く影響される。 \begin{eqnarray*} x_{new}^i = \frac{x^i - x_{min}} {x_{max} - ... --- ### 【SC】試験勉強が続かない人向けの情報セキュリティスペシャリスト対策 - Published: 2016-06-19 - Modified: 2019-01-07 - URL: https://fisproject.net/2016/06/load-to-information-security-specialist/ - カテゴリー: t2sy-note - タグ: Security 2016/04 に受けた情報セキュリティスペシャリスト (SC) 試験の合格発表が先日あり通過していました。 情報セキュリティに興味がありSC試験には受かりたいけど, 試験のための勉強はあまり気が進まない/続かない人向けの試験対策法として僅かでも参考になればと思います。 自分は以下のような状況でした。 情報セキュリティ, 特にセキュアコーディング周辺の興味はある 情報セキュリティに関する実務経験はない 会社のインシデントレスポンスの研修(5日間)に参加した 勉強可能な時間は2h/day程度はある... --- ### 【Swift】久々にiOSアプリを作った時の雑多なメモ - Published: 2016-06-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/06/ios-app-development-using-swift/ - カテゴリー: t2sy-note - タグ: iOS, Swift 4, 5年振りにiOSアプリを作ってみました。iOS開発に関して色々と変わっていたことを中心に, すぐに忘れてしまう自分用にメモを残しておきます。 Swift Swift対応ライブラリ StoryBoard / AutoLayout Firebase CocoaPods Ad-Hoc配布 iTunes-Connect Swift Swiftが出た頃には既にiOSアプリ開発から離れていたので, Swift2になっていたのも知らなかった。Playground以外で Swif... --- ### 【R】実験計画法と分散分析 - Published: 2016-06-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/06/design-of-experiment/ - カテゴリー: t2sy-note - タグ: R, Statistics 実験計画法 実験の検討対象の要因を因子 (factor), 因子に設定する値を水準 (level) として, 因子の水準組み合わせを 処理 という。 実験により得られるデータは、制御できる因子とその水準による処理効果である主効果や交互作用効果と, 制御できない誤差効果の集積として値がバラつく。 主効果: ある因子の結果に対する独立的な効果 交互作用: ある因子の結果に対する効果が, 他の因子の水準によって変わるような複数の因子が互いに独立でない場合の効果 どの因子を制御すれば, 結果がどの程度変... --- ### 【R / mlogit】多項ロジットモデル - Published: 2016-05-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/05/discrete-choice-model-using-r/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は離散選択モデルのひとつ, 多項ロジットモデルについて書きます。 離散選択モデル 複数の選択肢の集合から, 1つを選択する場合の数理モデルを離散選択モデル (discrete choice model) という。 【R】順序ロジットモデルと順序プロビットモデル【比例オッズ】でも触れた, 目的変数が順序尺度でなく選択肢が3つ以上の場合の代表的なモデルとして, ロジスティック分布を使う多項ロジットモデル (multinomial logit model, MNL)と, ... --- ### 【R】差分の差分法 - Published: 2016-05-14 - Modified: 2019-02-24 - URL: https://fisproject.net/2016/05/difference-in-differences-using-r/ - カテゴリー: t2sy-note - タグ: R, Statistics 差分の差分法 (Difference-in-differences, DID, DD) を R で試してみます。 パネルデータ 差分の差分法 並行トレンド Rで差分の差分法 パネルデータ データセットの性質を時間や空間の軸で捉えた場合, 以下に分類できる。 時系列データ (Time series data): 1つの項目について時間の経過と共に集めたデータ (時間) クロスセクションデータ(Cross section data): ある時点において各地点, グループなど... --- ### 【R】順序ロジットモデルと順序プロビットモデル - Published: 2016-05-08 - Modified: 2018-11-07 - URL: https://fisproject.net/2016/05/ordered-probit-model-and-ordered-logit-model/ - カテゴリー: t2sy-note - タグ: R, Statistics Rで順序選択モデル (ordered choice model) , 具体的には MASS::polr で順序ロジットモデル (ordered logit model) と順序プロビットモデル (ordered probit model)を試してみたメモ。 目的変数が質的変数で3択以上の場合の分析 順序ロジットモデル / 順序プロビットモデル 順序ロジットモデル / 順序プロビットモデルの例 目的変数が質的変数で3択以上の場合の分析 目的変数が質的変数 の場... --- ### 【R】欠落変数バイアスをシミュレーションで確認する - Published: 2016-05-04 - Modified: 2019-03-28 - URL: https://fisproject.net/2016/05/omitted-variable-bias/ - カテゴリー: t2sy-note - タグ: R, Statistics 『実証分析入門 データから「因果関係」を読み解く作法』の 10章 バイアス について R でトレースしてみます。 バイアスをシミュレーションで確認する 10章 バイアス では例題として, ある世界の真の状態が以下の式で表せると仮定している。 \begin{eqnarray*} salary = 50 + education \times 2 + ability \times 0. 8 + \epsilon \end{eqnarray*} ... --- ### 【RDB / JSON / S3】R でデータを読み込む方法を整理してみた - Published: 2016-04-05 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/04/reading-data-into-r/ - カテゴリー: t2sy-note - タグ: R, Statistics R で以下のデータソースからデータを読み込む方法を簡単に整理してみました。各パッケージの詳細については触れません。 CSV TSV JSON XLSX MySQL Amazon S3 R Object CSV ファイルサイズの小さい CSV (Comma-Separated Values) であれば, utils::read. csv でも良いと思うが, サイズが大きい場合は {data. table} の fread や {readr} の read_csv が高... --- ### 【k-匿名化 / l-多様性】匿名化技術の基礎について調べてみた - Published: 2016-03-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/anonymizing-data/ - カテゴリー: t2sy-note - タグ: k-anonymity 仕事でデータの2次利用のために匿名化データセットに加工する機会があり, 匿名化技術について簡単に下調べしてみました。 今回, 参考にしたのは 月刊誌「統計」平成27年9月号　特集：ビッグデータ (p8 - ビッグデータの活用と匿名化技術) です。 k-匿名化 まず, 個人情報 と プライバシー の違いに触れておく。 個人情報 : 単体もしくは組み合わせにより個人を特定できる情報 プライバシー : 自分に関する情報の流れを自分でコントロールできる権利 k-匿名化 (... --- ### 【R】株価のボラティリティと VaR を計算する - Published: 2016-03-16 - Modified: 2020-12-21 - URL: https://fisproject.net/2016/03/value-at-risk-in-r/ - カテゴリー: t2sy-note - タグ: R 以前, Rの {forecast}, {quantmod} でトレンドを把握したり, 一期先の株価を大まかに予測しましたが, 今回は金融リスクの指標である VaR を計算してみます。 参考にさせて頂いた書籍は確率・統計でわかる「金融リスク」のからくり (ブルーバックス)で難しい話はあまり出てこないので読みやすく, ブログを書くきっかけとなりました。 ボラリティリティ 金融リスク分析では, 将来の株価の方向は予想できないという立場に立ち, どのくらい上昇・下落のバラつき,... --- ### 【Ubuntu14.04】MySQL5.7 で csv から import する - Published: 2016-03-12 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/mysql5-7-import-from-csv/ - カテゴリー: t2sy-note - タグ: MySQL, Python, Ubuntu MySQL5. 7. 11 で csv から import したい時の私的メモです。OS は Ubuntu 14. 04. 3 です。 MySQL 5. 7 で csv から import デフォルトの設定では, 特定の場所以外の csv を指定して import しようすると下記のように権限関連のエラーとなった。5. 6では上手くいっていた気がする... ERROR 1290 (HY000): The MySQL server is running with the --secu... --- ### 【R】 正規性を仮定した分析のためのBox-Cox変換 - Published: 2016-03-10 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/box-cox-transformation/ - カテゴリー: t2sy-note - タグ: R, Statistics Box-Cox変換について調べたのでメモります。 Box-Cox変換 Box-Cox変換 はデータの分布を正規分布に近くなるように変換する手法で, 正規性を仮定した分析を行う時に役立つ。発表 は 1964年とけっこう歴史が古い手法である。 one-parameter の場合は, 以下で変換する。 \begin{eqnarray*} {y}_{i}^\lambda = \begin{cases} \frac{{y}_{i}^\lambda - 1}... --- ### 【k-means】中古マンション販売価格と賃貸物件家賃の分析 (4) - Published: 2016-03-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/article-clustering/ - カテゴリー: t2sy-note - タグ: K-means, R 2015/04 から3か月に1度くらいのペースで不動産・住宅総合情報サイトをスクレイピングしています。今回は4回目なので価格の変化を確認してみます。 結果的には 2016/02 は賃貸物件家賃, 中古マンション販売価格とも僅かながら過去3回よりも平均価格が下がっているようです。 (ただし, 市場全体として下落傾向なのか単なる季節性なのかはわかりません。情報サイトに集まる物件が母集団を代表しているかもわかりません。) 賃貸物件の家賃動向 1回目から取集しているのは習志野市... --- ### 【Python】TensorFlowで回帰モデル - Published: 2016-02-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/02/tensorflow-regression/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, TensorFlow 回帰問題で TensorFlow を使いたかったので自分用にメモを残しておきます。 ちなみに 分類問題での TensorFlow の使い方は, 公式のtutorials が充実しています。 環境構築 環境は OSX 10. 11. 3, CPU 1. 3 GHz Intel Core i5, メモリ 4 GB DDR3 で, tensorflow をインストールする。 $ sudo pip install --upgrade virtualenv $ virtualenv -... --- ### 【ADVI】Stan で変分ベイズ - Published: 2016-01-29 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/advi-in-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics ADVI in Stan は既に多くの方が試されているのですが, まずは触って理解したいのもあり試してみました。 ちなみに今まで Stan Code をインラインで書いていましたが, ATOM の language-stan を使ったら Stan の syntax highlight がいい感じだったので別ファイルから読み込むようにしました。 ADVIとは 2015年に発表 された ADVI (Automatic Differentiation Variatio... --- ### 【カーネル法】R でカーネルPCAとカーネルCCAを実践 - Published: 2016-01-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/kernel-method/ - カテゴリー: t2sy-note - タグ: Machine Learning, R SVMで有名なカーネル法ですが, 今回はカーネル法を用いた カーネルPCA, カーネルCCA を R で実践してみました。参考にさせて頂いた書籍はカーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)で, 内容は 1章 カーネル法への招待, 3章 カーネル法の実際 についてですが, 数学的な話には触れないので本書をご覧ください。 カーネル法 カーネル法はデータの高次モーメントを有効に抽出しつつ計算を効率化する非線形変換の方法論で, データ分析の前処理やノイズ除去など... --- ### 【オンライン機械学習】 Go で PA, CW, AROW, SCW を書いてみた - Published: 2016-01-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/01/online-machine-learning-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning Perceptron (Rosenblatt, 1958) を1年半前に書いてから, だいぶ時間が経ってしまいましたが, 今回はその続きで Go で PA, PA-I, PA-II, CW, AROW, SCW-I, SCW-II を書いてみたのでメモリます。 PA, CW, AROW, SCWの総まとめ的な論文 Exact Soft Confidence-Weighted Learning にアルゴリズムがまとまっています。 PA (Passive-Aggressiv... --- ### 【R】尺度の組み合わせ別の類似度を求める - Published: 2016-01-03 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/various-correlation/ - カテゴリー: t2sy-note - タグ: R, Statistics 尺度 の組み合わせ別の類似度分析の手法をまとめてみました。MIC, HSIC など比較的 新しい相関係数については触れていません。 また, 調査不足による抜けもあるかと思います... 手法正規性尺度の組み合わせ Pearson’s Correlation要量的変数 x 量的変数 Cramer's V不要名義尺度 x 名義尺度 (2×2より大きい) Goodman-Kruskal Gamma不要順序尺度 x 順序尺度 (2×2より大きい) Spearman’s Rank-Order Corr... --- ### 【Book】2015年を振り返る - Published: 2016-01-02 - Modified: 2019-12-27 - URL: https://fisproject.net/2016/01/look-back-2015/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 既に 2016年 ですが 2015年 を振り返っておきます。 Blog posts 2015年の記事は 47 だった。その中でも印象に残っている投稿。 (順不同) 【M-H法】Python で MCMC を書いてみた 【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる 【glmnet】R で Elastic Net を実践 【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた 【関数型言語】Elixir の基本... --- ### 【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる - Published: 2015-12-29 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/12/mini-batch-sgd-in-go-with-goroutine/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning, SGD 前に書いた【MSGD】Goで確率的勾配降下法を書いてみた【gonum/matrix】 の続きで goroutine で MSGD (Mini-batch Stochastic Gradient Descent)を並行処理化してみました。 参考にさせて頂いた書籍は, オンライン機械学習 (機械学習プロフェッショナルシリーズ)です。 確率的勾配降下法の並列化 前回は Minibatch に分割して Minibatch単位で パラメータを更新する MSGD を書いた。 確率的勾配降下法 (に限らずオン... --- ### 【Cerevo】Hackey のLED通知API で遊んでみた - Published: 2015-12-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/12/get-started-hackey/ - カテゴリー: t2sy-note - タグ: Python この記事は おうちハック Advent Calendar 2015 22日目の記事です。 12月上旬に Hackey を注文してから1週間ほどで届いたのですが, 放置したまま Advent Calendar 投稿日まで 残り1日となってしまい, 慌てて使ってみました。 Hackeyとは何か Hackey は Cerevo が発売したWebサービスをコントロールできるキースイッチです。値段は公式オンラインストアで 9,980円でした。 hackey. cerevo. comを見ると 用途としては, I... --- ### 【M-H法】Python で MCMC を書いてみた - Published: 2015-12-13 - Modified: 2020-02-11 - URL: https://fisproject.net/2015/12/mcmc-in-python/ - カテゴリー: t2sy-note - タグ: MCMC, Python この記事は Python Advent Calendar 2015 19日目の記事です。 MC法 (Monte Carlo Method) からスタートして, MCMC (Markov Chain Monte Carlo) を Python で書いてみます。 MC法による円周率の近似計算 MC法 (Monte Carlo Method)は乱数を利用した計算アルゴリズム。 MC法の hello world 的な例題として, 円周率の近似値を計算する。 import numpy as np impo... --- ### 【CentOS / Nginx】Let's Encrypt で SSL/TLS証明書 を発行してみた - Published: 2015-12-05 - Modified: 2019-10-27 - URL: https://fisproject.net/2015/12/get-ssl-certificate-by-letsencrypt/ - カテゴリー: t2sy-note - タグ: Linux, Nginx, SSL/TLS Let's Encrypt が 2015-12-03より Public Beta になったので, 自分が趣味で運用しているWebサービス (CentOS 6. 6 / Nginx 1. 0. 15) で試してみたのでメモ。 Let's Encryptで SSL/TLS証明書を発行する Closed Betaの時は, Let's Encrypt Closed Beta Invite にドメインとメールアドレスを登録して, 承認メールが来るのを待っていたが, Public Bet... --- ### 【Minibatch SGD】Goで確率的勾配降下法を書いてみた - Published: 2015-11-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/11/mini-batch-sgd-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning, SGD 確率的勾配降下法を書こうと思い, 学習の参考となる実装を Webで探してみると Python実装が多く, 中でも NumPy, Matplotlibを使っている例が多かった。 せっかくなので Go (1. 4. 1)で書いてみようと思い Goで NumPyにあたる行列計算パッケージと Matplotlibにあたるプロット系のパッケージを探していたところ, gonum/matrix と gonum/plotが, 良さそうで触ってみた。 gonum/matrix gonu... --- ### 【Stan】Rで iPhone から取得した歩数データ分析 - Published: 2015-11-07 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/11/steps-data-analysis-in-r/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 昨年 iPhone6を購入してから全く意識してなかったのですが, 最近になって iOSが歩数をカウントしていたことに気づいたのでデータを取り出して分析してみました。データを iTunes にバックアップする場合, 2015/11時点だと「バックアップを暗号化」しないとヘルスケアデータはバックアップされないので注意が必要です。例えば, 暗号化せずにバックアップし復元で同期した場合に過去のヘルスケアデータは消失してしまいます。 iPhoneから歩数データの取得 QS Acc... --- ### 【glmnet】R で Elastic Net を実践 - Published: 2015-10-25 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/10/elasticnet-in-r/ - カテゴリー: t2sy-note - タグ: ElasticNet, Lasso, Machine Learning, R 『みんなのR -データ分析と統計解析の新しい教科書-』を読了しました。 第19章 正則化と縮小 に関する私的メモを残しておきます。 ロジスティック回帰のモデル選択法の中で, Rでは Stepwise選択法 stats::step や Elastic Net {glmnet} など様々あります。今回はこの2つを試します。共通して使う DataSet は本書にも登場する American Community Survey (ACS)です。 ACSの FamilyIncodeが $15,000以上の ... --- ### 【Golang】Goji + mgo で簡易 API Server をつくる - Published: 2015-10-13 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/10/golang-api-server-using-goji/ - カテゴリー: t2sy-note - タグ: Golang, MongoDB Gojiとmgoを使って1時間くらいで超簡易API Serverを作ったのでメモ。 動機はGolangを最近書いてなかったので書きたくなった... くらいしかないです。 環境は Ubuntu 14. 04で Golang 1. 4を入れました。 $ wget https://storage. googleapis. com/golang/go1. 4. linux-amd64. tar. gz $ sudo tar zxvf ~/go1. 4. linux-amd64. tar. gz -C /usr/local $ v... --- ### 【クラスタリング】R と Python で k-means - Published: 2015-10-03 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/10/k-means/ - カテゴリー: t2sy-note - タグ: K-means, Machine Learning, Python, R 『続・わかりやすいパターン認識―教師なし学習入門―』を読んでいます。今回は第10章 クラスタリングの中の k-means についてです。 クラスタリング クラスタリングはデータをいくつかのグループに分ける手法で教師なし学習に分類される。類似する文書をグループ化し整理するテキストクラスタリングや DTW 距離を用いた時系列クラスタリングなどがある。 代表的なクラスタリング手法として以下がある。 K-Means Clustering Mean-Shift Clustering Density-Bas... --- ### 【SQL】 Apache Drill に ODBC で接続してみた - Published: 2015-09-25 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/apache-drill-with-odbc/ - カテゴリー: t2sy-note - タグ: Apache Drill, ODBC, SQL OSX10. 10. 5 で Apache Drill (v1. 0. 0)に ODBC (Open Database Connectivity)でアクセスしてみました。基本的には, 公式チュートリアルに沿って設定できると思いますが個人的なメモとして残しておきます。 ODBC環境の設定 Drillへ接続するための Interfaceは下記が用意されている。 Drill shell Drill Web Console ODBC/JDBC C++ API まず, iODBCを... --- ### 【SQL】Apache Drill を使ってみた - Published: 2015-09-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/get-started-drill/ - カテゴリー: t2sy-note - タグ: Apache Drill, MongoDB, Nginx, SQL Apache Drillを使ってみました。Apache Drillは JSON, CSV, TSVのようなファイルや, Hive, HBase, MongoDBのようなデータソースに対して接続して, SQLクエリを投げることができます。1. 0時点ではLTSVはサポートしていないようです。 1. 2から ANSI SQLのサポートを開始するようです。 試したことは下記3点です。 MovieLens (CSV) の集計 NginxのLog (LTSV => JSON) 集計 DrillからMongoD... --- ### 【Node.js】Esprima / Escodegen / Estraverseを試してみた - Published: 2015-09-14 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/esprima-escodegen/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs Esprima / Escodegen / Estraverse を用いて, javascript code -> AST (esprima) -> javascript code (escodegen) を試してみます。環境は OSX 10. 10 / Node. js v4. 0. 0です。 Esprima Esprimaは JavaScript Parserで AST (Abstract Syntax Tree) という抽象構文木を取得できる。 MozillaのSpide... --- ### 【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた - Published: 2015-09-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/09/statistical-modeling-for-count-data/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics 2015-09-04 に行われた, 「統計的言語研究の現在」で, 久保先生のご講演「カウントデータの統計モデリング入門」を拝聴したので, Rでトレースしてみました。間違いを見つけたらご指摘頂ければと思います。 はじめに カウントデータ (count data) は非負の離散値のデータ。 2つのコーパス X0と X1において, 単語の品詞カテゴリ {A, B, C... I} の出現頻度が記録された架空のデータにおいて, コーパス間の各品詞カテゴリの出現頻度に差があるのかを分析する。たぶん単語の出現... --- ### 【関数型言語】Elixir の基本文法 (2) - Published: 2015-09-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/09/intro-elixir-2/ - カテゴリー: t2sy-note - タグ: Elixir, Erlang 『Programming Elixir: Functional, Concurrent, Pragmatic, Fun』を読んでいます。前回の続きでI-6章からI-13章までです。 環境は OSX, Elixir 1. 0. 2です。 本投稿における間違いは私の理解不足に依るものなので, 本書の内容の正確性とは一切関係ありません。また, 英語が苦手なので誤訳もあるかと思います。 6. Modules and Named Functions Timesモジュールに, 引数の値を2倍して返す doubl... --- ### 【tor】Wireshark で HTTP/2 のパケットキャプチャ - Published: 2015-08-31 - Modified: 2023-06-06 - URL: https://fisproject.net/2015/08/http2-packets-capture-with-wireshark/ - カテゴリー: t2sy-note - タグ: HTTP/2, SSL/TLS, Tor, Wireshark Nghttp2 OSX10. 10. 2に brewで Nghttp2をインストールする。 $ brew install nghttp2 適当に index. htmlを作って置く。 $ cat /var/www/index. html Hello, World まずは TLS を無効にして Server を起動する。 $ nghttpd -v --no-tls -d "/var/www" 8080 ... --- ### 【R】傾向スコアマッチングによる因果推論の基礎 - Published: 2015-08-30 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/propensity-score/ - カテゴリー: t2sy-note - タグ: R, Statistics 傾向スコアマッチングによる因果推論について調べたので備忘録を残しておきます。 研究デザイン ルービンの因果モデル 無作為割り当て可能な場合の因果効果 傾向スコア 傾向スコアマッチング IPWE 研究デザイン 参考書籍の『調査観察データの統計科学―因果推論・選択バイアス・データ融合』では研究デザインを大きく2つに分類・定義している。 実験研究 (experimental study) : 原因となる変数を研究者が操作し, 結果となる変数がどのように変化するかを調査 観察研究 (observatio... --- ### 【関数型言語】Elixir の基本文法 (1) - Published: 2015-08-25 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/intro-elixir/ - カテゴリー: t2sy-note - タグ: Elixir, Erlang 『Programming Elixir: Functional, Concurrent, Pragmatic, Fun』を読んでいます。 Elixirは ErlangVM (BEAM) 上で動作する関数型言語である。ErlangはEricssonで開発された言語で, WhatsApp, LINEなどで採用された実績があり, 特にネットワークサーバを書くのに向いている言語である。 Elixirのインストールから基本文法の理解を目指す。今回はI-5章まで。 本投稿における間違いは私の理解不足に依るも... --- ### 【Async / Concurrent】『Haskellによる並列・並行プログラミング』を読了した (2) - Published: 2015-08-23 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/08/parallel-and-concurrent-programming-in-haskell-2/ - カテゴリー: t2sy-note - タグ: Haskell 『Haskellによる並列・並行プログラミング』を読了した。前回の続きでII部は並行プログラミング/分散プログラミングについて。前半同様に難しかった印象しかないが雰囲気は掴めた感じ。内容は完全に備忘録である。 本書によるとHaskellの哲学では, 単純だが汎用的な機構を提供し, より高水準の機能を構築できるような仕組みを目指している。 Haskellは並行性に対して便利な抽象化であるという立場を取っており, 下記の並行プログラミングモデルについて, ひとつに依存せずどれもサポートしている。 ア... --- ### 【Granger因果】金利と日経平均株価の関係 - Published: 2015-08-10 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/granger-causality-test/ - カテゴリー: t2sy-note - タグ: Granger Causality, R 不動産マーケットに興味があり 『不動産マーケットの明日を読む』という本を読んでいます。 I部4章の 2. 金利が下がったから株価が上昇した？ での Granger因果について興味が湧いたので R で試してみました。不動産の話はでてきません。 VARモデルと変数間の動学的な関係性の分析 VAR (Vector Autoregressive) モデルは ARモデル の多変量に拡張された時系列モデルで R では {vars} パッケージで利用できる。 VARモデルは以下の3つの... --- ### 【R】中古マンション販売価格と賃貸物件家賃の分析 (3) - Published: 2015-08-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/08/article-predict-model-summer/ - カテゴリー: t2sy-note - タグ: R 今回は, 前回収集した春季の中古マンション販売価格と賃貸物件家賃のデータを今回収集した夏季のデータと比較して, どの程度傾向に変化があるかを分析してみます。 賃貸物件家賃の分析 今回は, 4,259件 (豊島区 1,565件, 川口市 2,193件, 習志野市 501件)でした。サンプルサイズは前回と同程度です。 データの傾向確認 ggpairsで傾向の確認です。川口市の例です。 家賃 (price)の分布が前回より正規分布に近づいています。 重回帰モデル 家賃が10万円以下の物件に絞り込んで,... --- ### 【R】『入門 機械学習による異常検知』を読了した - Published: 2015-07-19 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/07/anomaly-detection-with-r/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, R 『入門 機械学習による異常検知―Rによる実践ガイド』を読了したので簡単なメモ。グラフが中心ですが Codeは GitHub にあります。 Rというかプログラミング知識に関しては, ほとんど必要しないと思いますが, 本書に掲載されている Codeは(紙面的な制約だと思いますが)部分的であるので少し注意が必要です。 私は初学者のため本記事の内容に間違いもあると思われます。見つけたら, ご指摘ください。 1. 異常検知の基本的な考え方 1. 1 例題：健康診断 1. 2 計算機に... --- ### 【Repa】『Haskellによる並列・並行プログラミング』を読了した (1) - Published: 2015-07-14 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/07/parallel-and-concurrent-programming-in-haskell/ - カテゴリー: t2sy-note - タグ: Haskell, Repa 『Haskellによる並列・並行プログラミング』(原著名: Parallel and Concurrent Programming in Haskell) を読了した。O'Reilly 本は電子書籍に限っては英語版がオススメである。半額割引コードが使えたり, 2冊買うと1冊無料というサービスがあるからである。電子書籍の価格に日米でここまで差があるのは商習慣の違いが大きいと思っている。日本語版の利点としては appendix が追加されることがある点がある。 今回はI部までのCodeをトレースした... --- ### 【確率分布】『機械学習のための確率と統計』を読了した - Published: 2015-06-23 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/06/machine-learning-books/ - カテゴリー: t2sy-note - タグ: Machine Learning, Statistics 『機械学習のための確率と統計 (機械学習プロフェッショナルシリーズ)』を読了しましたので各章の感想を残しておきます。 第1章　確率変数と確率分布 標本空間から確率分布に関する特性, モーメント, 特性関数までまとめられている。 特性関数は確率密度関数のフーリエ変換に対応している。特性関数と積率母関数は似た概念である。 大学時代にフーリエ解析の勉強をした時に, モーメントの話がでてきて唐突と感じたがここで話がつながった感じがした。 第2章　離散型確率分布の例 2. 1 離散... --- ### 【Lasso】中古マンション販売価格と賃貸物件家賃の分析 (2) - Published: 2015-06-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/06/article-bayesian-model/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 前回, 収集した中古マンション販売価格と賃貸物件家賃のデータを使って, Lasso回帰と Stan によるベイジアンモデリングを行ってみます。 Lasso回帰モデル 賃貸住宅家賃と中古マンション販売価格について Lasso で変数選択, モデル選択を行ってみます。 賃貸住宅家賃 3市区の家賃価格分布は下記となります。 習志野市で選択された変数と回帰係数は下記です。 > coef(acs. cv1, s='lambda. 1se') 47 x 1 sparse Matrix of class "dgC... --- ### 【MCMC】Stan で色々な一般化線形モデル - Published: 2015-06-14 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/06/glm-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics Stan の私的メモ。Stan のインストールはこちら。 今回は一般化線形モデルを glm と Stan によるベイジアンモデリングで対比させる形で書きました。 一般線形モデル 一般線形モデル(General linear model), 又は単に線形モデル(linear model)は線形予測子が正規分布, リンク関数が恒等リンク関数の場合の回帰モデルです。 以下の架空のデータを使います。 d --- ### 【forecast】Rでファイナンスデータの時系列分析 - Published: 2015-06-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/06/quantitative-financial-modelling/ - カテゴリー: t2sy-note - タグ: R, Statistics 計量時系列分析について調べたこと, 主に AR, ARMA, ARIMA モデルについてメモを残します。 ファイナンスデータの準備 今回は Yahoo! ファイナンス から日産自動車 のデータを取得しました。 分析の前に csv の文字コードを Shift_JIS から utf-8 に変更しておきます。OS X の場合 nkf コマンドを使います。 $ brew install nkf $ nkf -w --overwrite . /data/7201. T. csv まずは, {quan... --- ### 【Boosting】R と Python で XGBoost - Published: 2015-05-24 - Modified: 2019-05-12 - URL: https://fisproject.net/2015/05/xgboost/ - カテゴリー: t2sy-note - タグ: Boosting, Python, R, XGBoost R と Python で XGBoost (eXtreme Gradient Boosting) を試してみたのでメモ。 Boosting バギング (Bootstrap aggregating; bagging) が弱学習器を独立的に学習していくのに対して, ブースティング (Boosting) は弱学習器の学習を逐次的に行います。 各ステップごとに前の弱学習器の結果を参考にしながら新たな弱学習器の重みを変化させ間違ったものをうまく識別できるように損失関数を最小化します。学習速度はバギングに比... --- ### 【PHP / MySQL】CoreServer から さくらのVPS へ WordPress の移行 - Published: 2015-05-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/wordpress/ - カテゴリー: t2sy-note - タグ: DNS, MySQL, PHP, WordPress CoreServer(共用サーバ)上の WordPress が遅いのは気になっていたけど放置していた。 年に一度の契約更新が近づいてきたので重い腰を上げて, さくらのVPS(Ubuntu14. 04)に移行したのでメモ。 CoreServerでMySQLDumpを取得する CoreServer の管理画面から MySQLDump を取得してダウンロードする。160MB程。 Ubuntu14. 04に PHP + Nginx + MariaDB(MySQL) インストール さくらのVPSで動かしている... --- ### 【R】Kaggleの始め方 - Published: 2015-05-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/getting-started-kaggle/ - カテゴリー: t2sy-note - タグ: Kaggle, R Kaggleとは "Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である" (ja. Wikipedia) アカウント作成からコンペ参加までの流れ Sign Upから登録を行います。SNS連携はYahoo, Facebook, Google+を選択できます。 TOPページで, competitionsを選択すると公開されているコンペ課題が表示されます。 個々のコンペを選択すると, C... --- ### 【R / Python】中古マンション販売価格と賃貸物件家賃の分析 - Published: 2015-05-05 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/article-predict-model/ - カテゴリー: t2sy-note - タグ: Python, R 物件購入や賃貸住宅を探すにあたって, 駅から近い&広い&安い物件を探すのは困難です。 限られた予算の中で外せない要素を決めたり, 一方である要素を諦めることが現実的ではないでしょうか。 今回はPythonとRを用いて東京都豊島区, 埼玉県川口市, 千葉県習志野市の各地域における"中古マンション販売価格"と"賃貸住宅の家賃"の分析を行ってみました。 分析の目的として, 「築年数が経過している物件を安く購入してリフォームして貸したい」, 「駅近なら部屋の広さを犠牲にして予算内に抑えたい」といったケー... --- ### 【MCMC】OSX で RStan の導入と簡単な例題 - Published: 2015-04-09 - Modified: 2020-02-01 - URL: https://fisproject.net/2015/04/rstan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 引き続き, データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) (通称: みどり本)で勉強中です。 MCMC MCMC (Markov chain Monte Carlo methods)については, 詳しい情報が書籍 や Webに溢れていますので, そちらを参照ください。 MCMCは事後分布からのランダムサンプリングを得るための道具ですが, パラメータ推定にも使うことができます。 ベイズ統計では, 普通の統計のようにパラメータをただ... --- ### 【Java】ApacheTikaを使ってみた - Published: 2015-04-05 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/04/tika/ - カテゴリー: t2sy-note - タグ: Java, Tika Apache TikaはJava製のドキュメント分析およびメタデータ抽出ツールです。 Apache Tikaを使ってみる 環境はOSX 10. 10. 2, Javaは1. 7です。 Downloadからjarをダウンロードします。 使い方はGetting Startedを参照。 $ java -version java version "1. 7. 0_45" Java(TM) SE Runtime Environment (build 1. 7. 0_45-b18) Java HotSpot(TM) 64... --- ### 【Haskell】OSX で Yesod を動かしてみる - Published: 2015-03-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/03/yesod/ - カテゴリー: t2sy-note - タグ: Haskell, Topology, Yesod トポロジー―基礎と方法 (ちくま学芸文庫)を読んでいますが, わかりやすいので関数型言語を学びたい人にオススメです。 本書の合成写像の説明を少しだけ紹介します。 関数という概念は数には限らず, 集合に対しても定めることができ, これを写像または変換といいます。ここでは写像を, 写像: 定義域 -> 値域 のように書くことにします。 以下の2つの写像 f, g において, f: X -> Y g: Y -> Z fの値域と gの定義域が一致する場合に2つの写像は合成可能 (composable)で... --- ### 【音声認識】Golang で Julius-Client の実装を試みる - Published: 2015-03-28 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/golang-julius/ - カテゴリー: t2sy-note - タグ: Golang, Julius 最近, Sirius: An Open Intelligent Personal Assistantが話題を集めていますが, 手軽に音声認識を行えるJuliusに関する話。 JuliusをGolangで扱う場合, 他の言語と同様2つのアプローチがあります。 ・JuliusLibを組み込む。Golangの場合cgoパッケージを用いる。 ・サーバモードで起動しTCP/IPで結果を取得する。 結論を言うと, JuliusLibを組み込む方は上手くいっていません。 環境はOSX 10. 10. 2です。 G... --- ### 【arules】Rでアソシエーション分析 - Published: 2015-03-25 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/arules/ - カテゴリー: t2sy-note - タグ: R Rの {arules} でアソシエーション分析を試してみました。 わかりやすい記事はすでに複数ありますので先に以下を参照することをオススメします。 Ｒのアソシエーション分析結果をGephiでネットワーク描画（２) R {arules} によるアソシエーション分析をちょっと詳しく Rによるアソシエーション分析 フリーソフトによるデータ解析・マイニング第40回 アソシエーション分析 アソシエーション分析 (associations analysis)は, PO... --- ### 【JavaScript】gulp.jsを使ってみた - Published: 2015-03-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/gulp/ - カテゴリー: t2sy-note - タグ: gulp, JavaScript, Nodejs 今更ですが, タスクランナーgulpのメモです。初心者的な使い方しかしていません。 gulpのインストール getting-startedをそのまま。 $ nvm use 0. 12. 0 Now using node v0. 12. 0 $ npm install --global gulp $ vim gulpfile. js var gulp = require('gulp'); gulp. task('default', function { // place code for your def... --- ### 【構成管理】Ansible を使ってみた - Published: 2015-03-09 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/ansible/ - カテゴリー: t2sy-note - タグ: Ansible, Linux, Ubuntu 今更ですが構成管理ツールの Ansible を使ってみたのでメモります。 環境は OSX10. 10. 2, ターゲットホストは Ubuntu14. 04。 Ansibleのインストール 対象ホストへには ssh で接続するので `~/. ssh/config` に必要なssh設定を記述します。 $ cat ~/. ssh/config Host "Ubuntu14. 04's-IP" HostName "Ubuntu14. 04" User ubuntu Port 22 IdentityFile ~/. ss... --- ### 【MLlib / PySpark】OSX で Apache Spark を使ってみる - Published: 2015-03-02 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/spark/ - カテゴリー: t2sy-note - タグ: Machine Learning, MLlib, Python, Spark “Learning Spark”読書会#1 に参加しました。 今回は Apache Spark インストールから MLlib の Statistics, LinearRegressionWithSGD を使ってみるまでのメモです。 Apache Spark インストール 環境は OSX 10. 10. 2 です。 $ curl -O https://www. apache. org/dyn/closer. cgi/spark/spark-1. 2. 1/spark-1. 2. 1-bin-hadoop2. 4. tg... --- ### 【検定力分析】R で仮説検定を行う - Published: 2015-02-23 - Modified: 2019-08-27 - URL: https://fisproject.net/2015/02/r-testing/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, 仮説検定の中でも基本的な t検定 と カイ二乗検定 , 加えて 検定力分析 について書きました。 仮説検定 一般的に仮説検定 (hypothesis testing) では, 主張したい仮説である対立仮説 H1 の逆の仮説を帰無仮説 H0 として, 標本から H0 を棄却できるかを検証するアプローチを取ります。仮説検定には様々な種類があり, 検定の目的と母集団の仮定により使い分ける必要があります。ここで挙げている以外にも多くの検定手法があります。 2群に関する... --- ### 【CentOS / Nginx】Fluentd + Elasticsearch + Kibana 環境構築 - Published: 2015-02-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/centos-fluentd-elasticsearch-kibana-nginx/ - カテゴリー: t2sy-note - タグ: CentOS, Elasticsearch, fluentd, Kibana, Linux, Nginx CentOS6. 6でのFluentd, Elasticsearch, Kibana環境構築メモ。 複雑な設定とかはしないので, 初心者向けの話。 Elasticsearchのインストール $ cat /etc/redhat-release CentOS release 6. 6 (Final) Elasticsearch 1. 4. 3のインストール。 $ yum install wget java-1. 8. 0-openjdk-devel $ rpm --import https://packages... --- ### 【Golang】cli と gox でコマンドラインツールを作る - Published: 2015-02-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/cli-gox/ - カテゴリー: t2sy-note - タグ: Golang cliとgoxでコマンドラインツールを作ってみたら, 予想以上に開発が捗ったので備忘録を残しておきます。 環境はOSX10. 10. 1(Darwin 14. 0. 0)です。 cli cli-packageはコマンドラインツールを作るためのutilityです。 $ go get github. com/codegangsta/cli Exampleそのまま。 package main import ( "github. com/codegangsta/cli" "os" ) func main { a... --- ### 【MeCab】BeagleBoneBlack で Open JTalk を使う - Published: 2015-02-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/open-jtalk/ - カテゴリー: t2sy-note - タグ: BeagleBoneBlack, MeCab, OpenJTalk BeagleBoneBlack rev. cでOpen JTalkの環境を構築するメモです。 OSはdebianで, BeagleBoneBlack上でbuildを行います。 Open JTalk 音声情報を指定するmオプションは1. 06以降でサポートしているので最新の1. 08を入れようとしたらbuildが失敗したので, 1. 07にしました。 まずはdictionary, voice をsourceforgeからダウンロードします。展開後は. /conf以下に配置しておきます。 $ wget htt... --- ### 【Ubuntu / Python】Nginx + uWSGI + Flask + Supervisorの環境構築 - Published: 2015-01-31 - Modified: 2019-09-14 - URL: https://fisproject.net/2015/01/nginx-uwsgi-flask/ - カテゴリー: t2sy-note - タグ: Flask, Nginx, Python, Supervisor Flask アプリケーションを Nginx でデプロイする時のメモです。 Flask: 軽量WAF (Web Application Framework) uWSGI: WSGI （Web Server Gateway Interface） Nginx: リバースプロキシ (Reverse Proxy) Supervisor: プロセス監視 uWSGI 環境は Ubuntu14. 04(LTS) ですが, 基本的には CentOS の yum でも提供されているかと思います。詳しくは Instal... --- ### 【Python】Selenium WebDriver で Webスクレイピング - Published: 2015-01-28 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/01/webdriver/ - カテゴリー: t2sy-note - タグ: Python, Selenium, WebDriver Python で Webスクレイピング する場合, これまで mechanize や Beautiful Soup を使う事が多かったのですが Selenium WebDriver を試してみました。 Webクローリング&スクレイピング Webクローリング&スクレイピングには, 以下のような機能が必要です。 ドメインからHTMLデータを取り出す HTMLを Parseし必要な情報を取り出す 情報を格納する ページ遷移してこのプロセスを繰り返す クローリングは, 複数のWebサイトの複数のページに... --- ### 【Go】OSX / Linux / Windowsに peco を導入 - Published: 2015-01-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/peco/ - カテゴリー: t2sy-note - タグ: Golang, Linux, peco, Ubuntu pecoは標準入力をインクリメンタルサーチ可能にして選択した結果を標準出力に返すコマンドです。 OSX10. 10. 1, CentOS6. 6, Ubuntu14. 04, Windows8にpecoを入れてみました。 OSX 10. 10. 1 brewでインストールできます。 $ brew tap peco/peco $ brew install peco $ which peco /usr/local/bin/peco 使ってみます。 $ ls -l | peco $ ps aux | peco C... --- ### 【AES】crypto-js と PyCrypto の互換性 - Published: 2015-01-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/crypto-js-pycrypto-compatible/ - カテゴリー: t2sy-note - タグ: AES, JavaScript, Python crypto-jsとPyCryptoのAES暗号(CFBモード)の互換性のための拡張について書きます。 ブロック暗号のモードは, ECB, CBC, CFB, OFBなどがあり, ECBについては暗号の危殆化により使用が非推奨になっています。 基本アイデアはこちらを参考にしました。 crypto-js crypto-jsをインストールする。今回の例はバックエンドですが, フロントエンドでもほぼ同様です。 $ npm install crypto-js -g CryptoJSに MODE_CFB ... --- ### 【Book】2014年を振り返る - Published: 2015-01-03 - Modified: 2019-12-27 - URL: https://fisproject.net/2015/01/look-back-2014/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2014年を振り返ります。 記事から2014年を振り返る 2014年に書いた記事は54本。tag の上位。 u'linux': 10, u'python': 6, u'golang': 6, u'c': 5, u'javascript': 5, u'nodejs': 5, u'linux_kernel': 4, u'beagleboneblack': 4, u'machine-learning': 4, u'debian': 4, u'r': 4, u'ubuntu':... --- ### 【stemming】文書のベクトル表現とコサイン類似度 - Published: 2015-01-02 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/cosine_similarity/ - カテゴリー: t2sy-note - タグ: Machine Learning 文書のベクトル表現と文書間の類似度測定手段としてのコサイン類似度 (cosine similarity) についての備忘録です。 bag-of-words 出現頻度をを表すが, 語順の情報を持たない文書のベクトル表現を bag-of-wordsと言います。 言語表現を数学の世界に持って行きベクトルで表すことでコサイン類似度など数学的処理で測ることができます。 bag-of-bigrams bag-of-bigrams もベクトル表現ですが, bag-of-wordsと違... --- ### 【JavaScript】Highchartsを使ってみた - Published: 2014-12-31 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/highcharts/ - カテゴリー: t2sy-note - タグ: Highcharts, JavaScript Highcharts Highchartsはデータのビジュアライズライブラリです。 棒グラフ、線グラフ、円グラフ、散布図、箱ひげ図、レーダー図などに対応しており、見た目も記述方法もシンプルなのが特徴です。 loadの方法は基本的にはCDNだと思いますが,複数あります。 &l... --- ### 【JavaScript】Moment.jsを使ってみた - Published: 2014-12-27 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/moment-js/ - カテゴリー: t2sy-note - タグ: JavaScript, Moment.js jsの日付処理ライブラリ Moment. jsを使ってみました。 Moment. jsを使ってみた フロントエンドの場合は CDN から読み込める。Nodeで使う場合はnpmです。 $ npm install moment --save 現在時刻の取得。粒度はmillisecondsまで。 // moment-2. 8. 4 var moment = require('moment'); var m = moment console. log(m. format("YYYY-MM-DD HH:mm"))... --- ### 【Python】Arrowを使ってみた - Published: 2014-12-27 - Modified: 2018-08-13 - URL: https://fisproject.net/2014/12/arrow/ - カテゴリー: t2sy-note - タグ: arrow, Python Arrow は JavaScript の Moment. js ぽく使える日付・時間ライブラリです。 Install $ pip install arrow $ pip show arrow | grep Version Version: 0. 4. 4 Usage utcnow で UTC時刻 を取得できます。 to で timezone を設定できます。 replace で単位ごとに任意を値を設定したり加算/減算ができます。 import arrow arrow. __version__... --- ### 【kNN】R で k 近傍法 - Published: 2014-12-23 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/12/knn/ - カテゴリー: t2sy-note - タグ: Machine Learning, R K近傍法 k近傍法 (k-nearest neighbor algorithm) は, 特徴空間上で最も近い距離にある訓練データに基づいて分類/回帰を行う手法であり, 直感的にもわかりやすいパターン認識手法です。 最短近傍法は与えられた未知データに対して一番近い訓練データのクラスに属しているだろうというのが基本的な考えで, 特徴空間で距離が近い順から k 個選択し多数決でクラスを推定するのが kNN法 です。一般的にはユークリッド距離が使われます。 一方, 訓練データにノイズが多かったり k を... --- ### 【Reactive】Ractive.jsを使ってみた - Published: 2014-12-22 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/ractivejs/ - カテゴリー: t2sy-note - タグ: JavaScript, Ractive.js, Reactive programming Ractive. jsを使ってみました。 Reactive Programming The Reactive Manifesto (v2. 0)によるとキーワードは以下のようです。 ・Responsive : 高応答性 ・Resilient : 耐障害性 ・Elastic : スケーラビリティー ・Message Driven : メッセージ駆動 * 日本語版(2013/09)はこちら Reactive Programmingではイベントに反応したモデルデータの流れと変更を自動的に伝搬する仕組みをど... --- ### 【Python】pytest でユニットテスト - Published: 2014-12-09 - Modified: 2018-09-14 - URL: https://fisproject.net/2014/12/pytest/ - カテゴリー: t2sy-note - タグ: Python pytest でユニットテスト pytestをインストールします。 $ uname -v Darwin Kernel Version 14. 0. 0: Fri Sep 19 00:26:44 PDT 2014; root:xnu-2782. 1. 97~2/RELEASE_X86_64 $ python --version Python 2. 7. 11 :: Anaconda custom (x86_64) $ pip install pytest テスト対象のコードを書きます。例として, 時刻を表す文... --- ### 【Node.js】power-assertを使ってみた - Published: 2014-12-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/power-assert/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs, power-assert 開発中のWEBアプリの時間演算モジュールで, ユニットテストに power-assert を使ったのでメモっておきます。 power-assertの環境構築 インストールはGitHubに記載の通り。 $ npm install --save-dev mocha power-assert intelli-espower-loader $ mocha --version 2. 0. 1 power-assertを使ってみる BMIを返す関数です。 module. exports. bmi = functio... --- ### 【Book】2014年に読んで良かった17冊 - Published: 2014-11-22 - Modified: 2019-03-28 - URL: https://fisproject.net/2014/11/best_books/ - カテゴリー: t2sy-note - タグ: Book 端くれエンジニアが2014年に読んだ197冊(2014-11-24時点)の中から特に為になった17冊をテクノロジー, デザイン, ビジネス系に分類して紹介します。 忙しくなる師走の前に書いておこうと思いましたが, 12月末には17冊より増えている可能性があります。 テクノロジー系 『暗号解読上/下』 著者のサイモンシンは世界的に有名なサイエンスライターである。古代ギリシャの時代から情報を故意に隠すことを目的に使われている暗号について時代背景を交えながらわかりやすく解説した本。 WW1は化学者の戦... --- ### 【Monads】すごいHaskellたのしく学ぼう!を読んだ (2) - Published: 2014-11-16 - Modified: 2018-12-22 - URL: https://fisproject.net/2014/11/haskell_part2/ - カテゴリー: t2sy-note - タグ: Haskell 前回は, すごいhaskellたのしく学ぼう! の9章までを紹介しました。引き続き10-15章を紹介します。 第10章 関数型問題解決法 10. 1 逆ポーランド記法電卓 10. 2 ヒースロー空港からロンドンへ 10章ではこれまでのテクニックを踏まえて、逆ポーランド記法、最短経路問題を解きます。 最短経路問題は遅延評価が生きてくる問題です。 $ runghc optimal_path. hs < paths. txt (,) [(B,10),(C,30),(... --- ### 【Functor】すごいHaskellたのしく学ぼう!を読んだ (1) - Published: 2014-11-03 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/11/haskell/ - カテゴリー: t2sy-note - タグ: Haskell 『すごいhaskellたのしく学ぼう! 』 (原著名: Learn You a Haskell for Great Good) を読了したので, メモを残しておきます。 内容も濃く長いので, 今回は開発環境構築の話と9章までの内容です。 開発環境構築 処理系は GHC (Glasgow Haskell Compilation)が有名です。環境はOSX10. 10です。 $ wget https://www. haskell. org/ghc/dist/7. 8. 2/ghc-7. 8. 2-x86_64-app... --- ### 【Node.js】Koaで HTTPS Server を建てる - Published: 2014-10-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/%e3%80%90nodejs%e3%80%91koa%e3%81%a7https%e3%82%b5%e3%83%bc%e3%83%90%e3%82%92%e5%bb%ba%e3%81%a6%e3%82%8b%e3%80%90ssltls%e3%80%91/ - カテゴリー: t2sy-note - タグ: Nodejs, OpenSSL, SSL/TLS NodejsのKoa(WAF)でHTTPSサーバを建てる方法です。 OpenSSLでRSA鍵の生成 まず秘密鍵とデジタル証明書を OpenSSL で生成します。 openssl rsa で秘密鍵のパスフレーズを解除しています。 $ mkdir keys;cd keys $ openssl version OpenSSL 1. 0. 1g 7 Apr 2014 $ openssl genrsa -aes128 1024 > server. key $ openssl req -new -key serv... --- ### 【MessagePack】msgpack-pythonのベンチマーク - Published: 2014-10-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/msgpack-python/ - カテゴリー: t2sy-note - タグ: JSON, MessagePack, Python msgpackはJSONより高速で軽量なシリアライゼーションフォーマットです。 今回はmsgpack-pythonのベンチマークを測定してみました。 MessagePackの特徴 serialize, deserializeが高速 serializeされたデータサイズが軽量 ストリーム処理が可能 ライバルはMongoDB等で使われている BSON でしょうか。 msgpack-python vs simplejson msgpackの高速性と軽量性について JSON encoder/decode... --- ### 【Skip-gram / CBOW】Word2vec を使ってみた - Published: 2014-10-11 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/10/word2vec/ - カテゴリー: t2sy-note - タグ: MeCab, NLP, Python, word2vec Word2vec は単語の分散表現を作ることができます。分散表現とは単語を固定長の実数ベクトルで表現することです。one-hot encoding は語彙数と等しい次元数の大きさの疎な表現になりますが, 分散表現は密な表現が得られます。 word2vec Word2vec には CBOW, Skip-gram の2つのアーキテクチャがあります。 CBOW CBOW (Continuous Bag-of-Words) は単語周辺の文脈から中心の単語を推定します。 着目して... --- ### 【バギング】R で Random Forest - Published: 2014-10-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/r_randomforest/ - カテゴリー: t2sy-note - タグ: Machine Learning, R Rで RandomForest を試してみたのでメモ。 参考書籍は, はじめてのパターン認識です。 決定木 決定木は木構造の有向グラフです。目的変数が量的データの場合は回帰木となり, 質的データの場合は分類木となります。 Rでは {rpart} で決定木を構築できます。 アンサンブル法 アンサンブル法は, 複数の弱分類器から高性能な強学習器を生成する仕組みで集団学習とも言います。 アンサンブル法はブースティングとバギングの2つの枠組みがよく知られています。 バギング バギング (Bootstra... --- ### 【R】SVMの基礎 - Published: 2014-09-15 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/09/%e3%80%90caret%e3%80%91r%e3%81%a7svm%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e5%ad%a6%e3%81%b6%e3%80%90grid-search%e3%80%91/ - カテゴリー: t2sy-note - タグ: Machine Learning, R, SVM SVM (Support Vector Machine) はマージン最大化を特徴とした教師あり学習手法です。 線形SVM 非線形SVM 正則化 RでSVM 交差検証 パラメータチューニング OCSVM RでOCSVM 線形SVM SVMでは2つのクラスを分ける分離超平面を求めます。 ω を重みベクトル, γ を切片として各サンプルに対するマージンを正にする ω と γ が存在するとき線形分離可能であるといいます。 \begin{eqnarray*} f_\omega_\gamma... --- ### 【機械学習】Jubatusを使ってみた - Published: 2014-09-12 - Modified: 2023-06-06 - URL: https://fisproject.net/2014/09/%e3%80%90%e6%a9%9f%e6%a2%b0%e5%ad%a6%e7%bf%92%e3%80%91jubatus%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ubuntu12-04%e3%80%91/ - カテゴリー: t2sy-note - タグ: Jubatus, Machine Learning, Ubuntu Jubatusは機械学習のフレームワークです。 photo by jubat. us Features Jubatusは 2014/09/07 時点でバージョンは 0. 62 です。 特徴は大きく以下の3つのようです。 リアルタイム処理 バッチ型機械学習並の学習精度 分散処理 早速インストールしてみます。 Install 環境は Ubuntu12. 04 (32bit)です。shellのインストーラは上手く行きませんでした。 $ . /install. sh $ . /install_python. sh 3... --- ### 【Ubuntu】LLVM/Clang を使ってみた - Published: 2014-08-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/08/%e3%80%90ubuntu%e3%80%91llvmclang%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90formatter%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Golang, LLVM, Ubuntu 今の開発現場は未だにC言語のビルド環境がGCCですが,今回はLLVM/Clangを使ってみました。 また, clang-format を WEBサービス (go-clang-formatter)にしてみました。 シンプルなので実験として Golang で書いています。 LLVM/Clang 特徴 最新の規格への対応が早い(C++11対応) GCCとの互換性が高い エラーメッセージが最小限かつ分かり易い プラグインによる拡張 BSD License（厳密には異なる） LLVM/Clang 構成 フ... --- ### 【Fluentd】td-agent に Golang でログ送信してみる - Published: 2014-08-24 - Modified: 2023-06-06 - URL: https://fisproject.net/2014/08/%e3%80%90fluentd%e3%80%91td-agent%e3%81%ab-golang%e3%81%a7%e3%83%ad%e3%82%b0%e9%80%81%e4%bf%a1%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90ubuntu%e3%80%91/ - カテゴリー: t2sy-note - タグ: fluentd, Golang, Ubuntu fluentdはログ収集ミドルウェアで非同期通信/データストリームでログを収集します。 input/filter/outputというシンプルな構造となっていてrsyslogなど既存のログツールと協調姿勢を取っているのが良いなと思います。 基本的にRubyで書かれていて、性能が要求されるイベントループ部分はcool. io、シリアライズ実装はmsgpackを使っています。 photo by fluentd. org また,fluentdをRubyからgolangに移植するプロジェクトがあるようです。 ... --- ### 【R】線形回帰分析の基礎 - Published: 2014-08-17 - Modified: 2023-06-07 - URL: https://fisproject.net/2014/08/r-regression/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, R による線形回帰分析について書きます。 1. 線形回帰分析 1-1. 最尤推定 1-2. 単回帰分析 1-3. 重回帰分析 1-4. 重回帰モデルの可視化 2. 非線形最小二乗法 環境は OSX 10. 9. 4で R version 3. 1. 1 (2014-07-10) です。 1. 線形回帰分析 説明変数を用いて連続量の目的変数を説明する分析を回帰分析と言います。説明変数と目的変数の関係が線形的に示されるモデルを線形モデル, 非線形で示されるモデルを非線形モ... --- ### 【Node.js】Koaで multipart/form-data のファイルを保存する - Published: 2014-08-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/08/%e3%80%90co-busboy%e3%80%91koa%e3%81%a7multipartform-data%e3%81%ae%e3%83%95%e3%82%a1%e3%82%a4%e3%83%ab%e3%82%92%e4%bf%9d%e5%ad%98%e3%81%99%e3%82%8b%e3%80%90nodejs%e3%80%91/ - カテゴリー: t2sy-note - タグ: co-busboy, Koa, Nodejs, stream 今回は久しぶりのNodejs関連です。Koa(WAF)でmultipart/form-dataのファイルを保存する方法について。 co-busboyを使ってmultipart/form-dataのハンドリングを行い, Uploadされた画像を保存します。 Environment ES6で追加された同期処理っぽい処理ができる yield を使うためには, v0. 11. xx以降が必要です。 Koa + co-busboy をインストールします。busboyはHTMLフォームデータのための Strea... --- ### 【はじめての電子工作 (3)】抵抗ってなに？ - Published: 2014-08-10 - Modified: 2018-12-22 - URL: https://fisproject.net/2014/08/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e6%8a%b5%e6%8a%97%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f%e3%80%90part3%e3%80%91/ - カテゴリー: はじめての電子工作 - タグ: 電子工作 抵抗とは何か 抵抗器は電気を流れにくくする電子部品です。 流れる電気の量を制御して, 電子回路を正常に動作させる役割をもつ素子です。 抵抗の種類 抵抗器には抵抗体の材料や構造によっていろんな種類があります。 ここでは電子工作でよく使われるものを紹介します。 カーボン皮膜抵抗器 炭素(カーボン)の皮膜が抵抗体となり, らせん状の切り込みで抵抗値が調整されています。 安価で電子工作でも多用されます。抵抗値はカラーコードで判別します。 金属皮膜抵抗器 ニッケルクロム合金などの金属を使用しており, 温度... --- ### 【Linux】Gstreamer の使い方 - Published: 2014-08-08 - Modified: 2018-11-07 - URL: https://fisproject.net/2014/08/%e3%80%90linux%e3%80%91gstreamer%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90multimedia-fw%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Gstreamer, Linux, Python GStreamer は OSS (LGPL）の各種コーデックを搭載したマルチメディアフレームワークです。前回は ALSA の紹介をしましたが GStreamer でも alsa-library や alsa-core といった ALSA の機能を利用しています。 GStreamerのインストール GStreamerの基本機能 GStreamerを使ってみる GStreamerのインストール コマンドラインでコーデック機能, ファイルIO, 加工処理がプラグインによって行... --- ### 【Windows】Cygwinで tmux を使ってみた - Published: 2014-07-31 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90windows%e3%80%91cygwin%e3%81%a7tmux%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90multiplexer%e3%80%91/ - カテゴリー: t2sy-note - タグ: Cygwin, tmux OSがwindowsで仮想環境禁止, proxy制約の環境でどうしてもUNIX環境が欲しかったのでCygwinを入れてみましたが、画面分割がしたいということでGNU screen入れたけど微妙だったのでtmuxにしてみた。 tmuxは terminal-multiplexer で複数のプログラムを簡単にひとつのターミナル上で切替可能で, またそのターミナルからプログラム群を切り離し(detach)、別のターミナルに繋ぎ直す(attach)ことができる。リモートマシンの操作にも便利。 apt-cy... --- ### 【Linux】ALSAの使い方 - Published: 2014-07-30 - Modified: 2018-11-07 - URL: https://fisproject.net/2014/07/%e3%80%90linux%e3%80%91alsa%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90aplay%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: ALSA, Linux, Linux-kernel ALSA (Advanced Linux Sound Architecture) は Linux でオーディオの入出力をするときに使う定番のライブラリ群です ALSA構成 ALSAは従来の Open Sound System (OSS) を置き換えるために開発されたLinuxカーネルコンポーネントです。OSSがサポートしていなかったいくつかの機能をもつよう設計されています。特徴を Wikipedia から引用します。 ハードウェアベースのMIDI演奏 複数チャンネルのハードウェアによるミキシング... --- ### 【はじめての電子工作 (2)】トランジスタってなに？ - Published: 2014-07-21 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e3%83%88%e3%83%a9%e3%83%b3%e3%82%b8%e3%82%b9%e3%82%bf%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/ - カテゴリー: t2sy-note, はじめての電子工作 - タグ: トランジスタ, 電子工作 トラ技2014/08号がトランジスタ特集でした。 トランジスタとは何か トランジスタは、電気信号を制御するための素子です。 例えば,コンデンサマイクは音波で振動板が動く事によって電圧が変わる原理を応用していますが,微弱な信号のためそれをスピーカに入力しても鳴る音が非常に小さくなってしまいます。 そこでトランジスタを使う事で電流を増幅し大音量で鳴らすことができます。 トランジスタの特性 トランジスタは「ベース」に流れる電流を制御することで「コレクタ」、「エミッタ」間を流れ... --- ### 【Robotics】Gobotを使ってみた - Published: 2014-07-13 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90robotics%e3%80%91gobot%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90golang%e3%80%91/ - カテゴリー: t2sy-note - タグ: BeagleBoneBlack, Gobot, Golang Gobot は Go で書かれたロボティクスのためのフレームワークです。 Arduino, ARDrone, BeagleBoneBlackなど10を超えるH/Wに対応しています。 Photo Gobotをインストールする 環境はOSX 10. 9. 3です。Goがインストールされていることを確認します。 $ go version go version go1. 2. 1 darwin/amd64 環境変数を設定します。GOPATHは任意のディレクトリにします。 export GOPATH=~/. gol... --- ### 【governor】Linuxの電力制御について調べた - Published: 2014-07-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90cpuidle%e3%80%91linux%e3%81%ae%e9%9b%bb%e5%8a%9b%e5%88%b6%e5%be%a1%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%9f%e3%80%90governor%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel 本題と関係ないですが, telnet で StarWars が見れます。感動した。 $ telnet towel. blinkenlights. nl Linuxの電力制御 (PowerManagement, PM)について書いてみた。 電力制御とは 基本的な考えとしてコンピュータの消費電力は, 電力 = 電圧 x 電流 であるので, 消費電流を抑えたい。 CPUを例に挙げると, 電流はCPUクロックに比例するので,CPUに不要な動作をさせない,又はCPUクロックを下げることが必要になります。 クロ... --- ### 【ClamAV】Linux の SSH 設定を見直す - Published: 2014-07-06 - Modified: 2018-08-11 - URL: https://fisproject.net/2014/07/review-ssh-settings/ - カテゴリー: t2sy-note - タグ: Linux, SSH VPS の SSH 設定をデフォルトのまま放置しておくとログから不正なアクセスがあることを確認できます。SSH ログの場所は OS によって異なります。今回の OS は CentOS 6. 5 です。 Linux共通: /var/log/syslog CentOS: /var/log/secure Ubuntu: /var/log/auth. log OSX: /var/log/system. log Failed / invalid の件数を確認します。 $ grep -c Failed /var/... --- ### 【SIGALRM】シグナルハンドラで非同期処理 - Published: 2014-07-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/asynchronous-processing-in-the-signal-handler/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel Apache HTTP Server や Nginx など多くの HTTPサーバでは UNIXシグナル を送信して設定ファイルや各種ログファイルを開き直したりできます。例えば Nginx のマスタープロセスは以下のシグナルをサポートしています。 シグナル 動作 SIGINT, SIGTERM シャットダウン SIGHUP 設定ファイルの再読み込み SIGQUIT Gracefully shutdown SIGUSR1 ログファイルの再読み込み SIGUSR2 実行ファイルの更新 SIGWINCH... --- ### 【パケット解析】tcpdump の ARM クロスコンパイル - Published: 2014-06-20 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/tcpdump/ - カテゴリー: t2sy-note - タグ: tcpdump, Wireshark リソース的な都合でCUI環境しかない組み込みデバイス開発, ループバックアドレス内で通信していて Wireshark ではパケットダンプできないケースに tcpdump は役立ちます。 ただしディストリビューション環境であれば, クロスコンパイルよりパッケージマネージャでのインストールの方が楽です。また, wiresahrkのCUI版の tshark という選択肢もあります。 # RHEL $ yum install wireshark # Debian $ sudo apt-get insta... --- ### 【特殊変数】Shell のメタキャラクタ - Published: 2014-06-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90shell%e3%80%91%e3%82%b7%e3%82%a7%e3%83%ab%e3%81%ae%e3%83%a1%e3%82%bf%e3%82%ad%e3%83%a3%e3%83%a9%e3%82%af%e3%82%bf%e3%80%90%e7%89%b9%e6%ae%8a%e5%a4%89%e6%95%b0%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, Shell メタキャラクタを制するものはシェルを制すかはわかりませんが Shell の基本を知っておくと何かと役立ちます。 メタキャラクタについて bash のメタキャラクタ一覧です。 文字 内容 & ampersand & はコマンドをバックグラウンド実行する. && は最初のコマンドの戻り値が 0 (成功) の場合に続くコマンドを実行する ; semicolon ; は同じラインでコマンドを連続実行する ` backquote ` は sub-s... --- ### 【MakerBot】Replicator 5th Gen で3Dプリントしてみた - Published: 2014-06-06 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90makerbot%e3%80%91replicator-5th-gen%e3%81%a7%e3%83%97%e3%83%aa%e3%83%b3%e3%83%88%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90pla%e3%80%91/ - カテゴリー: t2sy-note - タグ: 3D-Printer, Replicator, STL 今回はReplicator5thを使ってみた話です。購入の話はこちらです。 セッティング まず,内容物を確認して電源を入れます。 ブルーシートをBuildPlate(印刷台)に貼ります。(5枚付属) BuildPlateのキャリブレーションです。 Menu > Utilities > BuildPlate を選択します。 レベリングノブはFrontとLightがあります。画面の指示に従って調整します。 続いて,付属フィラメントのスプールをセットします。 Extruderの予熱を開始します。 余熱... --- ### 【Gecko / Blink】Webブラウザエンジンについて調べてみた - Published: 2014-06-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90gecko%e3%80%91web%e3%83%96%e3%83%a9%e3%82%a6%e3%82%b6%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90blink/ - カテゴリー: t2sy-note WEBブラウザを構成する技術について調べてみました。 Web Browser Engine WEBブラウザの機能を大きく3つに分けます。 Networking HTML Rendering Engine JavaScript Engine 今回はHTML Rendering Engine, JavaScript Engineについて。 HTML Rendering Engine HTML Rendering Engineのフローです。 HTMLを解析 - レキサー : ... --- ### 【電子回路】LTspice IV for Mac OS Xを使ってみた - Published: 2014-06-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90%e9%9b%bb%e5%ad%90%e5%9b%9e%e8%b7%af%e3%80%91ltspice-iv-for-mac-os-x%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90simulator%e3%80%91/ - カテゴリー: t2sy-note, はじめての電子工作 - タグ: LTspice, SPICE, 電子工作 作った正負電源回路が動かないので地道にデバッグ中... LTspice IV for Mac OS Xを使ってみたのでメモります。 LTspice IV インストール ダウンロードはこちらから。 $ mv LTspice. app /Applications 起動後, File > NEW > NEW SCHEMATIC で新規作成します。 既存ファイルを開く場合は, File > Open > 回路図ファイル（*. asc）です。 部品を追加するには, 画面上で右クリック > Drafts > C... --- ### 【FQDN】DNSの基礎と dig コマンドの使い方 - Published: 2014-05-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/basics-of-dns-and-how-to-use-the-dig/ - カテゴリー: t2sy-note - タグ: DNS DNSの基礎と dig の使い方を整理します。 名前解決の歴史 元々, ARPANET時代には hostsファイルに IPアドレス ドメイン名 を書いていた。 しかし, ホストが増えると各ホストがhostsファイルの更新時に同期するコストが膨大になるためDNSの仕組みが生まれた。 DNSは分散DBで,必要な時に必要な分(差分)だけ更新することが可能になり効率的になった。 2011年には gTLD（Generic Top Level Domain） の自由化が始まった。 ドメイン名前空間 すべての... --- ### 【線形分類器】Goで Perceptron を書いてみた - Published: 2014-05-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/go-perceptron/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning 工学系出身のため機械学習に関して初心者ですが, 乏しい線形代数の知識をなんとか使って勉強したのでまとめます。今回実装したオンライン学習手法である Perceptronに関しては原理も単純なので機械学習初心者にオススメです。 Photo by wikipedia(en) オンライン線形分類器 オンライン学習はデータを逐次的にひとつずつ処理し, その度に重みベクトルを更新していく学習法です。 バッチ学習する場合と比較してリアルタイムに更新できる点が特徴です。オンライン線形分類器は, オンライン学習に... --- ### 【FDM】 Replicator 5th Genを買ってみた - Published: 2014-05-14 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/%e3%80%90fdm%e3%80%91-replicator-5th-gen%e3%82%92%e8%b2%b7%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90g-code%e3%80%91/ - カテゴリー: t2sy-note - タグ: 3D-Printer, Replicator, STL MakerBot Replicator 5thを買いました。$3,000でした。 輸送料金入れると今の為替レートで考えて33万くらいです。 今回は使う前に3Dプリンタの基本的な事について調べた内容を書きます。 ただしメモ書きなので,詳しくはトランジスタ技術6月号 3Dプリンタでまるごと電子工作 を見てください。 3Dプリンタの特徴 ・手加工より複雑な形状を作り易い ・切削加工よりゴミが少ない ・機構部品を同じ寸法でいくらでも作れる 副次的に3次元でものを捉える思考が身に付くという学習的なメリット... --- ### 【reflect / testing】Golang Study Memo - Published: 2014-05-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/%e3%80%90reflect%e3%80%91golang-study-memo%e3%80%90testing%e3%80%91/ - カテゴリー: t2sy-note - タグ: Golang 今年の GWは javascript / golang / objective-c を書いています。まだまだ初心者ですが Golangを勉強した備忘録です。内容は以下です。 標準パッケージを使ってみた感じ (os/exec, reflect, net/http) 自作パッケージを作ってテストしてみた感じ go version 1. 2. 1です。 Package os/exec Goプログラムからのシェルコマンドの実行, C言語でいう systemとか execの機能を提供します。 下記例で... --- ### 【TLS】OpenSSLについて調べてみた - Published: 2014-04-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/04/%e3%80%90tls%e3%80%91openssl%e3%82%92%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90bio%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: OpenSSL, SSL/TLS HeartBeatとHeartBleed-Bug OpenSSL 1. 0. 1~1. 0. 1f のHeartBeat実装には, 重大な脆弱性 (HeartBleed-Bug) が存在しました。 $ openssl version HeartBeat拡張機能 (RFC6520) は 鼓動/生存確認 という意味からその名前がついています。 TLSハンドシェイク中に, まず ClientHello で HeartBeat拡張 を使うことを伝えます。サーバから ServerHello が応答され, クライア... --- ### 【Node.js】FFmpegで HLS 配信 をしてみる - Published: 2014-04-02 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/04/%e3%80%90node-js%e3%80%91ffmpeg%e3%81%a7hls%e9%85%8d%e4%bf%a1%e3%82%92%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90mp4%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: CentOS, Debian, ffmpeg, HLS, Nodejs 今回はメルチメディア系の話です。映像配信で良く使われる RTP/RTSP サーバではなく FFmpeg と Node. js で, MP4配信 / HLS( HTTP Live Streaming )配信 / ffserverを試してみました。 環境は CentOS6. 4 (Final)ですが, ビルドは Debian7. 4 でも確認しています。 FFmpegインストール h264S/Wコーデックのx264を使う場合,まずyasm(アセンブラ)をインストールした方がパフォーマンスが上がります。 #... --- ### 【ARM】Go言語のクロスコンパイル - Published: 2014-03-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/03/%e3%80%90arm%e3%80%91go%e8%a8%80%e8%aa%9e%e3%81%ae%e3%82%af%e3%83%ad%e3%82%b9%e3%82%b3%e3%83%b3%e3%83%91%e3%82%a4%e3%83%ab%e3%80%90debian%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Golang DebianWheezy上でARMプロセッサ向けにクロスコンパイルする方法です。 BeagleBoneBlack(以下BBB)で動作確認まで行います。 写真は九龍から眺めた香港の夜景。 Go開発環境の構築 環境はdebian Wheezyです。まずは失敗事例から。 apt-getでGoをインストールします。 # debian $ sudo apt-get install golang $ which go /usr/bin/go # centos $ yum install golang $ g... --- ### 【Automake】GNU Autotools を使ってみる - Published: 2014-03-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/03/%e3%80%90configure%e3%80%91gnu-autotools%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90make%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: Autotools, libtool, Linux GNU Autotoolsとは AutotoolsはUNIX系OSのソフトウェアパッケージ製作ツールです。 Autoconf, Automake, Libtoolの3つが主要な機能でパッケージ開発はもちろんソースコードからインストールする時のデバッグにも役立つ知識です。 上記図中の各ファイルを生成するために, Autotoolsのコマンドを用います。 コマンド群の簡単な説明です。 autoscan configure. acの雛形configure. scanを生成します。renameしてconfi... --- ### 【BWT】Burrows-Wheeler Transform in C - Published: 2014-03-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/03/%e3%80%90bwt%e3%80%91burrows-wheeler-transform-in-c%e3%80%90mtf%e3%80%91/ - カテゴリー: t2sy-note - タグ: BWT, C 圧縮に関しては素人ですが, 全文検索やデータ圧縮など様々な場面で使われる BWT/MTF や関連技術に興味があったので調べてみました。 Burrows-Wheeler Transform BWT (Burrows-Wheeler Transform)はBlock Sortingとも呼ばれます。主にデータ圧縮の前処理として用いられます。 BWTでは, 接尾辞ではなく巡回シフトで得られた巡回行列を prefixで辞書順ソートしていきます。 ソート後の行列の最終列を取り出してます。 BWT後はデータの... --- ### 【SPDY / HPACK】HTTP/2ハッカソンに行ってきた - Published: 2014-02-28 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90spdy%e3%80%91http2%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90hpack%e3%80%91/ - カテゴリー: t2sy-note - タグ: HTTP, HTTP/2, SPDY HTTP/2ハッカソン#1 (2014-02-23)に行ってきました。(当日資料) HTTP/2関連情報はhttp2. infoでわかるので,改めて書くこともないですが,自分用のメモとして整理しておきます。 HTTP/1. 1おさらい HTTP 1. 1は1997年にRFCが発行され現在まで15年以上経過しています。 HTTP 1. 1リクエストはtextベースで記述し行指定で処理していきます。 GETの場合,以下のように リクエストライン + HTTPヘッダ で構成されます。 GET /default... --- ### 【AFNetworking】Ai-Ball + iOS で自宅監視システム - Published: 2014-02-21 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90ios%e3%80%91ai-balliphone%e3%81%a7%e8%87%aa%e5%ae%85%e7%9b%a3%e8%a6%96%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0%e3%80%90afnetworking%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AFNetworking, iOS Ai-Ballを使ってみた デバイスハッカソンをきっかけとしたTREK 2000 Ai-Ballを使った企画でコンテストに出るためにiOSアプリを作りました。 Ai-Ballの特徴は以下の通りです。 30万画素 (AF機能) Motion JPEG マイク Wi-Fiユニット 筐体込みで22g CRボタン電池 or USB供給駆動 これで使わなくなった iPhone + AiBall で自宅監視ができる! ツッコミは無視! ただし, AiBallの発熱がヤバいので気をつけてください。 JPEG画像... --- ### 【V4L2】BeagleBoneBlack に USB-WiFi / Camera を接続 - Published: 2014-02-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90debian%e3%80%91beagleboneblack%e3%81%abusb-wifi%e3%82%92%e6%8e%a5%e7%b6%9a%e3%80%90wpa_supplicant%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Linux BeagleBoneBlackからUSB-WiFi経由でインターネットに接続,USB-Camで映像を取得する実験をしました。 環境はDebianWheezy(7. 3),繋ぐ先はAtermです。Angstromでは確認できていません。 USB-WiFiはI-O DATA IEEE802. 11n/g/b準拠 300Mbps(規格値) 無線LANアダプター WN-G300UAです。 LinuxのUSBデバイスの仕組みはこちらに書いています。 まず、認識されているUSBデバイスを取得します。 $ lsu... --- ### 【ARM】BeagleBoneBlack に Debian / Ruby 環境構築 - Published: 2014-02-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90arm%e3%80%91beagleboneblack%e3%81%abdebianruby%e7%92%b0%e5%a2%83%e6%a7%8b%e7%af%89%e3%80%90gnueabi%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Linux, Ruby BeagleBoneBlack(以下BBB)に DebianWheezy, Ruby2. 1環境を構築する方法です。 BeagleBoneBlack ARM CortexA-8(ARMv7)を搭載したAM3358BZCZ(TI製, 1GHz)が搭載されています。 メモリは DDR3L, ストレージは eMMC(embedded MultiMediaCard, NAND)です。 BBB搭載のCortexA-8の進化版であるCortexA-9はRevision4まで進んでおり、CortexA-15より... --- ### 【AFNetworking】iOSの HTTP Client まとめ - Published: 2014-02-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90afnetworking%e3%80%91ios%e3%81%aehttpclient%e3%81%be%e3%81%a8%e3%82%81%e3%80%90mknetworkkit%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AFNetworking, iOS NSURLSession (NSURLConnection) NSURLSession(NSURLConnection)はFoundation. Frameworkのクラスです。 NSURLRequestはリクエストオブジェクトを作成しNSURLConnectionでhttp通信を行い, delegateしたクラス内でNSData, NSURLResponseでデータを受け取ります。タイムアウトやキャッシュ, 認証方法などの設定もNSURLRequestで行ったり自前クラスを書くケースが多くありま... --- ### 【SNMP】Net-SNMPで機器監視 - Published: 2014-02-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90snmp%e3%80%91net-snmp%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90%e3%83%8d%e3%83%83%e3%83%88%e3%83%af%e3%83%bc%e3%82%af%e7%9b%a3%e8%a6%96%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, SNMP SNMPとは SNMP は機器監視プロトコルで UDP（161, 162 port） のサービスです。 現在, 多くのソフトウェアは SNMP v3 をサポートしています。 SNMP で取得できる情報は、接続機器上で動いているプロセス、システムリソース（CPU,メモリ）、ネットワークトラフィック、システムログに記録される特定のメッセージ等です。 SNMP用語 SNMP用語の中には独特の表現があります。よく使う用語は以下です。 マネージャ クライアントに近い役割。エージェントに情報を要求。 エージ... --- ### 【CPU】Linux のプロセススケジューラの基礎 - Published: 2014-02-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/linux-proc-scheduler/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel Photo by GAGA 映画『スティーブ・ジョブズ』の感想 製品に関するエピソードはmacintoshまでで, CEO復帰後のiMac, iPod, iPhoneの話はでてこないので, 期待していたシーンがなかったという人もでてくるかもしれないですが, 個人的には90'sまでの話が厚くて良かったです。 独裁とも言われるリーダーシップがいつも正しいとは限らない(特に平時の時)と思いますが, 一貫した美学とコンセプトは意思を持って従わせるには充分だったと思います。 印象に残ったのは, フロッピー... --- ### 【iOS】XCTest で単体テスト - Published: 2014-01-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90ios%e3%80%91xctest%e3%81%a7%e5%8d%98%e4%bd%93%e3%83%86%e3%82%b9%e3%83%88%e3%82%92%e8%a1%8c%e3%81%86%e3%80%90xcode5%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: iOS, Objective-C, XCTest 久しぶりのiOSネタです。XCTest. frameworkはDocumentが少ないですが割と手軽に単体テストが行えます。使えるテスト用メソッドはこちらのスライドで確認できます。 環境は OS X 10. 9. 1, XCode 5. 0. 2 です。 テスト対象のクラスを作成 以下のようなクイズの出題数と正解数を管理するクラスを作りました。 // Get Method -(unsigned int)getQuestionCount{ return self. questionCount; } -(uns... --- ### 【GNU coreutils】uname ソースコードリーディング - Published: 2014-01-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90gnu%e3%80%91uname%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90coreutils%e3%80%91/ - カテゴリー: t2sy-note - タグ: C uname(1)は, 現在稼働中のカーネルについての名前と情報を得ることができるコマンドです。 $ uname -a Darwin MacBook-Air. local 13. 0. 0 Darwin Kernel Version 13. 0. 0: Thu Sep 19 22:22:27 PDT 2013; root:xnu-2422. 1. 72~6/RELEASE_X86_64 x86_64 GNU Core Utilitiesの中でもソースが分かり易いコマンドなので今回, 取り上げてみました。 コマン... --- ### 【C言語】ポインタとメモリの話 - Published: 2014-01-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90c%e8%a8%80%e8%aa%9e%e3%80%91%e3%83%9d%e3%82%a4%e3%83%b3%e3%82%bf%e3%81%a8%e3%83%a1%e3%83%a2%e3%83%aa%e3%81%ae%e8%a9%b1%e3%80%90%e3%83%92%e3%83%bc%e3%83%97%e3%80%91/ - カテゴリー: t2sy-note - タグ: C ポインタ自体はメモリのアドレスを入れている変数ですが、単純かつ奥が深い機能です。 他の言語では意識しないことまで気を使わないといけません。単純なミスとして, strcpyを使わないで, loop内で繰り返しポインタへの代入を行うと代入元のアドレスが置き換わってしまって... ということがあります。 ポインタの動作にはC言語のメモリ管理構造 (特にスタックとヒープの構造)がイメージできるかがポイントと思います。 関数とポインタ 1. データをポインタで関数に渡す ポインタを使った簡単な方法のひとつで... --- ### 【CentOS】Apache httpd で gzip / Deflate を有効にする - Published: 2014-01-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90centos%e3%80%91apache%e3%81%a7gzip%e3%82%92%e6%9c%89%e5%8a%b9%e3%81%ab%e3%81%99%e3%82%8b%e3%80%90%e5%9c%a7%e7%b8%ae%e3%80%91/ - カテゴリー: t2sy-note - タグ: Apache, gzip Deflateアルゴリズムの中でも有名な方式がgzip(Deflate+Header/Footer)です。 gzip(GNUZIP)は、LZ77とハフマン符号を組み合わせた圧縮方式です。 gzip転送で速くなるかは環境次第でネットワークがボトルネックの場合は効果が大きいですが、gzipの展開時間との兼ね合いにもよります。 gzipは圧縮/展開とも比較的高速なことから様々なケースで使われます。 環境はこちらです。debian系とは設定関連の場所が異なります。 $ httpd -v Server v... --- ### 【Node.js】Socket.IO@1.0 を読んでみた - Published: 2014-01-03 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90node-js%e3%80%91socket-io1-0%e3%82%92%e8%aa%ad%e3%82%93%e3%81%a7%e3%81%bf%e3%81%9f%e3%80%90websocket%e3%80%91/ - カテゴリー: t2sy-note - タグ: Engine.io, JavaScript, Nodejs, Socket.io socket. io@1. 0で大きくアーキテクチャが変わるみたいなので調べてみました。 binaryをサポートしたことで, 例えば node-canvas でサーバ側で rendering した canvasをbinary で効率良く送信もできるとの事。 socket. io@0. 9の構成が以下です。 /lib$ tree . ├── logger. js ├── manager. js ├── namespace. js ├── parser. js ├── socket. io. js ├── socket... --- ### 【N-gram】全文検索エンジン Apache Solrを使ってみた - Published: 2013-12-22 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90n-gram%e3%80%91%e5%85%a8%e6%96%87%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3-solr%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90apache%e3%80%91/ - カテゴリー: t2sy-note - タグ: Java, N-gram, Solr 2013年に読んだ本が188冊でした。ハードカバー以外の本は全て裁断してスキャナでPDF化する所謂、自炊をしています。 来年の目標のひとつはOCR化して全文検索エンジンでこれらをIndexingしてキーワードで全文検索できるようにすること。 D社が開発している世界最速の非破壊ブックスキャナだけど、高速カメラによる判定と歪んだ画像の補正はできる気がするけど一枚一枚を高速でメクる制御とその精度がとても大変そう。 ちなみにiOS7のメモ帳は全文検索できて便利! UIは前の方が好きだけど。 Apache... --- ### 【Node.js】Express + Passport をつかってみた - Published: 2013-12-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90node-js%e3%80%91passport%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90express%e3%80%91/ - カテゴリー: t2sy-note - タグ: Express, Nodejs, passport PassportはStrategyというオブジェクトを切り替えることで140以上の認証方法に対応したNode. jsのモジュールです。 今回はtwitter、facebookで認証の練習をしました。 Passportを使うための準備 環境は以下。カーネルが意外と古いです。 $ uname -a Linux 2. 6. 32-358. 11. 1. el6. x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux $ c... --- ### 【RTP / RTSP】Live555 の使い方と解説 - Published: 2013-12-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90rtp%e3%80%91live555%e3%81%ae%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90rtsp%e3%80%91/ - カテゴリー: t2sy-note - タグ: Live555, RTSP Live555はC++で書かれたRTP/RTCP, RTSP, SIPでメディアをマルチストリーミングするためのライブラリです。 3rdPartyのソフトには VLC, GoodPlayer, MPlayer, OpneRTSP などがあります。 Linuxではカーネル2. 6以降で動作します。iOS実装でも実績があります。 * OSSのRTP/RTSPサーバでは同様の機能を持つgstreamerも有名です。gstreamerはC言語で書いたオブジェクト指向ライブラリで勉強になると思います。 Li... --- ### 【Wireshark】HTTPの中身をみる - Published: 2013-11-30 - Modified: 2019-02-28 - URL: https://fisproject.net/2013/11/%e3%80%90wireshark%e3%80%91http%e3%81%ae%e4%b8%ad%e8%ba%ab%e3%82%92%e3%81%bf%e3%82%8b%e3%80%90hex%e3%80%91/ - カテゴリー: t2sy-note - タグ: Wireshark Wireshark を使って HTTPリクエスト/レスポンス の中身を確認してみます。 HTTPリクエスト Chrome や Firefox などの Web ブラウザや curl コマンドといった HTTP クライアントから google. com にリクエストを投げます。一部加工していますが Wireshark で tcp. port == 80 でフィルタリングすると以下のように確認できます。パケットを選択し 右クリック -> copy -> byte で HEX をコピーできます。 GET /... --- ### 【Linux】ファイルディスクリプタとは何か - Published: 2013-11-27 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/11/linux-file-descriptor/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Linux, Linux-kernel HTTPサーバが複数のクライアントを識別できる背景にはファイルディスクリプタの存在があります。ファイルディスクリプタが存在しないと, サーバは誰にレスポンスを返して良いかわからなくなってしまいます。 今回はファイルディスクリプタの基礎について。 Stream ファイルディスクリプタを理解するには Stream が何かを知る必要があります。 下図のようにプロセスからファイルにアクセスするときに, 通り道となるのが Stream です。バイト列が流れることから byte-stream とも呼ば... --- ### 【WebGL】Three.jsをつかってみた (2) - Published: 2013-11-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f2%e3%80%90blender%e3%80%91-2/ - カテゴリー: t2sy-note - タグ: Blender, Three.js, WebGL セットアップは前回の記事を参照。 前回BlenderでつくったモデルをThree. jsでレンダリングしてみます。 内容 ・Cubeにテクスチャを貼付けて動かす。 ・BlenderでつくったモデルをThree. jsで動かす。 ・Three. jsで10000個のparticleを動かす。 ・WebGLRendererでクリックイベントを検出する。 ・CSS3DRendererを使う。 Cubeにテクスチャを貼付けて動かす 今回は以下を使います。 . /mrdoob-three... --- ### 【OpenData】第6回 LODチャレンジデーにいってきた - Published: 2013-11-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e7%ac%ac6%e5%9b%9e%e3%80%91lod%e3%83%81%e3%83%a3%e3%83%ac%e3%83%b3%e3%82%b8%e3%83%87%e3%83%bc%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90opendata%e3%80%91/ - カテゴリー: t2sy-note - タグ: Hackathon 11/24に第6回LODチャレンジデー(mixi@渋谷)にいってきました。 今年の応募締め切りは2014/1/6なので自分も応募したいと思います。 LODとは Linked Open Data（リンクト・オープン・データ、略名: LOD）は、ウェブ上でコンピュータ処理に適したデータを公開・共有するための技術の総称。LODチャレンジデーは全国で開催されているようです。 昨年アプリ部門を受賞したどこでもPinQA(NTTレゾナントの提供する PinQA に登録されている情報を地図に表示するアプリ)の... --- ### 【メモリリーク】mtrace の使い方 - Published: 2013-11-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e3%83%a1%e3%83%a2%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%af%e3%80%91mtrace%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90glibc%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, mtrace メモリリークチェックとしてsedを使って /proc/meminfo を整形するシェルスクリプトを書いていましたが, もっと細かく調べたく mtrace という便利ツールを使ったので書きます。 mtraceとは mtrace は malloc, free などのメモリ操作関数からメモリリークを追跡してくれるツールです。glibc-utilsに含まれます。 また組み込みLinuxで使う場合には, ホストOSでクロスコンパイルすれば組み込み側で mtraceコマンド がなくてもメモリリークを調査でき... --- ### 【WebGL】Three.jsをつかってみた (1) - Published: 2013-11-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f1%e3%80%90blender%e3%80%91/ - カテゴリー: t2sy-note - タグ: Blender, OpenGL, Three.js, WebGL Three. js は WebGL (OpenGL ES をブラウザから使う技術) を簡単に使うための有名なラッパーライブラリです。 OpenGL ES (OpenGL for Embedded Systems) 2. 0をサポートするプラットフォーム上で、ブラウザのプラグインなしでH/Wアクセラレートされた3D描画を可能にします。 OpenGL ES は3. 0 が 2012年に発表されましたが2. 0 との後方互換性ありなので、WEB GLはiPhone/Androidで今後も動作すると思います。 ... --- ### 【はじめての電子工作 (1) 】コンデンサってなに？ - Published: 2013-11-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c-1%e3%80%91%e3%82%b3%e3%83%b3%e3%83%87%e3%83%b3%e3%82%b5%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/ - カテゴリー: はじめての電子工作 - タグ: 電子工作 はじめての電子工作 1 はじめてiOSアプリを作りたいときXcodeをインストールしてからHello,worldを表示するまで、10分もかかりません。 これが電子工作となると、基本的な部品特性を理解しないとLEDチカチカさえ難しく感じてしまいます。 そういう意味で、MakerFaire2013でも展示された磁石で回路をつなげて直感的に電気回路を覚えるLittleBitsがすばらしいです。 シリーズで電気電子回路でよく使う部品について、できるだけ分かりやすくを目標に書きました。 コンデンサとは何か... --- ### 【Lighttpd】解説 mod_proxy - Published: 2013-11-08 - Modified: 2018-12-23 - URL: https://fisproject.net/2013/11/%e3%80%90lighttpd%e3%80%91mod_proxy%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90plugin%e3%80%91/ - カテゴリー: t2sy-note - タグ: Lighttpd はじめに 今回の記事はこの記事の続きです。 mod_proxyのソースコードリーディングをしてみます。mod_proxyはリクエストを振り分けるリバースプロキシだけでなく、フォワードプロキシとしても動かすことができます。 全体の流れ lighttpd-x. x -> src -> mod_xxxとあるのがプラグイン群です。 まず,mod_proxyのイベントハンドラから見てみます。ハンドラはどのプラグインでも必須になります。 int mod_proxy_plugin_init(plugin *p)... --- ### 【iOS】ハッカソンをやってみた - Published: 2013-10-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/10/%e3%80%90fp%e3%80%91%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%82%92%e3%82%84%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f-%e6%9d%b1%e4%ba%ac%e4%bb%a3%e3%80%85%e6%9c%a8/ - カテゴリー: FiS Project Info - タグ: Hackathon, PhoneGap ハッカソンをやってみた ハッカソンに行ったこともない人がハッカソン(10/14)を主催してみました。 ハッカソンとは何でしょうか。Wikipedia先生に聞いてみましょう。 ハッカソン("hackathon")という言葉はハック(hack)とマラソン(marathon)を合わせた混成語である。この言葉はOpenBSDの開発者やサン・マイクロシステムズのマーケティングチームによってそれぞれ自主的に考えだされたと思われ、1999年から使われ始めたと言われている。 なるほど。... --- ### 【CoreBluetooth】Fitbitをハックしてみた - Published: 2013-10-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/10/%e3%80%90corebluetooth%e3%80%91fitbit%e3%82%92%e3%83%8f%e3%83%83%e3%82%af%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ios%e3%80%91/ - カテゴリー: iOS App - タグ: CoreBluetooth, Fitbit, iOS, Objective-C photo by Fitbit 最近 Bluetooth 4. 0 対応デバイスがけっこう世にでてきましたね。 今回買ったのは Fitbit Zip です。機能は限定されますが Fitbit One の約半額で買えます。 基本的なセットアップはこちらを参考にしてください。 H/W構成は分解してないので分かりませんが画面にタッチするとSleep状態からWakeするようです、タッチセンサなのでしょうか。歩数計機能は加速度センサだと思われます。 iOSアプリでデータを受信してみ... --- ### 【OOM Killer】知っ得！Linux Kernel の Tips - Published: 2013-09-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90oom-killer%e3%80%91%e7%9f%a5%e3%81%a3%e5%be%97%ef%bc%81linuxkernel%e3%81%aetips%e3%80%90devnull%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Linux-kernel, OOM Killer BeagleBoneBlackを買いました。手のひらサイズでUbuntuが動くのはすごいですね。 今回は主にlinuxサーバ管理とかで知っておくと役に立つかもしれない, Linux KernelのTIPSです。 便利！疑似デバイス デバイスファイルには基本的には, H/Wが対で存在しますが Linux(Unix系)にはH/Wがない疑似デバイスが存在します。 これらを効果的に使うことで, システム管理が簡単になるかもしれません。 /dev/null はデータサイズ 0(EOF)を返す, 特殊デバイ... --- ### 【iOS】FMDBでデータ永続化 - Published: 2013-09-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90ios%e3%80%91fmdb%e3%81%a7%e3%83%87%e3%83%bc%e3%82%bf%e4%bf%9d%e5%ad%98%e3%80%90sqlite%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: FMDB, iOS, SQL, sqlite3 Coredataに慣れないので, 最近はFMDBを使っています。 FMDBを使ってみる GitHubからソースをDLします。FMDBはMITライセンスです。 fmdb. m以外のsrcをプロジェクトに追加します。 それから,libsqlite3. 0. dylibをリンクさせます。 #import "FMDatabase. h" - (FMDatabase *)getConnection { if( self. dbPath == nil ) { self. dbPath = [self getDbFile... --- ### 【fcgi】解説 Lighttpd プラグイン - Published: 2013-09-10 - Modified: 2018-12-23 - URL: https://fisproject.net/2013/09/%e3%80%90fcgi%e3%80%91lighttpd%e3%83%97%e3%83%a9%e3%82%b0%e3%82%a4%e3%83%b3%e8%a9%b3%e8%a7%a3%e3%80%90python%e3%80%91/ - カテゴリー: t2sy-note - タグ: Lighttpd, Python Lighttpdのプラグイン開発に苦戦しています。 低レイヤプログラミングになる程, 特にメモリに注意しないといけない システムコールの戻り値に気をつかう（エラーハンドリング） 様々なコンテキストに対応する必要がある I/O多重化の時の挙動をもっと理解しないといけないなと思ってます。 システムプログラミングという領域は, OSを理解することなしでは成り立たないですね。 息抜きということでLighttpdのインストールとLighttpd上で動くアプリについて書きます。 OSXにLighttpdをイ... --- ### 【netperf】ネット速度を計測する - Published: 2013-09-08 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/09/how-to-use-netperf/ - カテゴリー: Linux Docs, t2sy-note - タグ: iperf, netperf サーバのベンチマークテストをする場合、回線速度も測定しておきましょう。 Portのスキャン lsof -i: でも調べられますが、使用している全ての PORT(STATE, SERVICE) を調べる場合 nmap を使うと良いと思います。 yum install nmap $ nmap localhost Nmap scan report for localhost (127. 0. 0. 1) Host is up (0. 00044s latency). Not shown: 993 ... --- ### 【libev】Lighttpd ソースコードリーディング - Published: 2013-09-03 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90libev%e3%80%91lighttpd%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90socket%e3%80%91/ - カテゴリー: t2sy-note - タグ: C, libev, Lighttpd 今回はLighttpdについて細かく書いている日本語サイトがないので書いてみました。 CONTENTS LighttpdはApacheやnginxと比較すると知名度が低く全体の1%も使われていないようですが,省メモリで高速なHTTPサーバとして定評があります。 まず公式サイトからLighttpdをダウンロードしましょう。Lighttpd-1. 4. 33/src 以下でmodのprefixがついているのがプラグインモジュール郡です。 複数のフックエントリが用意されており,用途にあわせて簡単にプラグイ... --- ### 【組み込みLinux (3) 】Lighttpd について - Published: 2013-08-24 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/08/embedded-linux-lighttpd/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Lighttpd 先日、出張で訪れている札幌市内の丸善にいってきた。 3階のコンピュータ関係の本棚で「猫語の教科書」という本を発見して反射的に買ってしまった。 コンピュータと猫語という一見何の脈絡も感じない２つの言葉。 これをコンピュータ関係の本棚に並べた理由は並べた人に聞いてみないとわからない。 自分なりに思いつく理由としては ・コンピュータ好きにはネコ好きが多いから。正確にはデスクワークとペットというのは相性が良いため。 ・コンピュー... --- ### 【Packet Capture】Wiresharkでできること - Published: 2013-08-21 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/08/intro-wireshark/ - カテゴリー: t2sy-note - タグ: Wireshark Wiresharkは言わずと知れたパケット解析ツールです。 以前は Etherealと呼ばれていたようです。2006年にWiresharkに名前が変わり, v1. 0が2008年にリリースされています。 最近, 世間を騒がせたIMEが自動で入力データを送信するということも Wiresharkならわかります。 また, ストリーミング配信機能を開発する場合などパケットレベルでのデバッグに重宝します。 どのように Wiresharkがパケットをキャプチャしているかという所からみていきます。 NICの仕組... --- ### 【RDB】Node.js から MySQL を使ってみる - Published: 2013-07-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/07/nodejs-mysql/ - カテゴリー: t2sy-note - タグ: memcached, MySQL, Nodejs, SQL 前に カラム指向DB の Cassandra について書いたので, 今回はRDBの MySQLとの連携について書きます。 Node. jsから MySQL に接続する node-mysqlを試します。 サーバの準備 Red-hat系では yum を使って mysql-serverをインストールします。 $ sudo yum install mysql-server Node. js (v0. 10. 12)をnodejs. orgから入手します。 Node. jsのパッケージ管理ツールの nvmをインストー... --- ### 【Linux】Ubuntu Server 12.10 に Git 環境を構築 - Published: 2013-06-30 - Modified: 2023-06-06 - URL: https://fisproject.net/2013/06/ubuntu-server%e3%81%abgit%e7%92%b0%e5%a2%83%e3%82%92%e6%a7%8b%e7%af%89%e3%81%99%e3%82%8b/ - カテゴリー: t2sy-note - タグ: Git, Ubuntu iOSアプリ開発で Twitter, Facebook, Flickr などのSNSと連携する場合、Sharekitというフレームワークという選択肢があるけど、試した感じだとシンプルな投稿という使い方をするのであれば純正のSocial. frameworkの方がいいと思う。 Ubuntu Serverに Git Remote リポジトリ Ubuntu server12. 10にgitリモートリポジトリを構築してリモートにpushするまでの流れです。 適当にまとめたので、わからない場合は細かい解説して... --- ### 【Event】W3C Developer MeetUp Tokyoに行ってきた - Published: 2013-06-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/06/w3c-developer-meeup-tokyo%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f/ - カテゴリー: t2sy-note - タグ: W3C W3C Developer Meetup -Tokyo W3C Developer Meetup - Tokyoに行ってきました。写真中央のディスプレイにはリアルタイムでgoogleTranslateされた文字が表示されています。 彼らがカッコいいのはWebが好きでそのWebをもっと良くしようと思っていて、本気で世界を変えられると考えていて実際に変えているところだ。 短い時間の中でビジョンを語る姿から意思の強さが伝わってくる。 やりたい事で飯を食える人たちは凄いと思いを抱きつつ、それを実現してい... --- ### 【Python / JavaScript】イテレータとクロージャについて - Published: 2013-05-20 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/05/%e3%80%90python%e3%80%91%e3%82%a4%e3%83%86%e3%83%ac%e3%83%bc%e3%82%bf%e3%81%a8%e3%81%8b%e3%81%ae%e3%83%a1%e3%83%a2%e3%80%90javascript%e3%80%91/ - カテゴリー: t2sy-note - タグ: JavaScript, Python 最近気になってるUnityという組み込みC向けのテストフレームワーク。組み込みはハードウェア依存があるからTDDしにくいと思ってたけど、凡ミスでもmakeが通ってしまい組み込んでからミスに気づいてたら当たり前だけど開発サイクルは良くない。これはCIツールと組み合わせて使いたい。 今回は Python/JavaScript(ECMAScript) のイテレータとクロージャの基礎について。 Iterator イテレータ(Iterator)はデータの各要素にアクセスを抽象化した仕組みです。 Pytho... --- ### 【Python】mechanize で Web スクレイピング - Published: 2013-05-07 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/05/web-scraping-with-python-mechanize/ - カテゴリー: t2sy-note - タグ: Python Pythonでスクレイピング 開発中のシステムでWEBスクレイピングの必要性があったので、Pythonを勉強中です。 Perl でも Ruby でも良かったのですが機械学習系ライブラリの豊富さと NumPy, Pandas なども揃っているので決めました。 BeautifulSoup BeautifulSoupはHTML/XMLパーサーです。 セッション管理していないWEBサイトはこれだけで充分使えます。 環境は MacOS X 10. 8. 2 です。 公式からtar. gzをゲット後展開してインス... --- ### 【ねこ島】石巻 田代島に行ってきた - Published: 2013-05-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/05/%e3%80%90%e3%81%ad%e3%81%93%e5%b3%b6%e3%80%91%e7%94%b0%e4%bb%a3%e5%b3%b6%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90%e7%9f%b3%e5%b7%bb%e3%80%91/ - カテゴリー: t2sy-note - タグ: Cat, Trip ブログを書きたいと思うのとコードを書きたいと思うのはだいたい似たような衝動からである。 コンパイラによってコードの解釈が違うように、文章を読みデコードした結果も人によって異なるのは”言語”としての共通特性なのかな、いや数字は違うか。 "009"は数字でなく知ってるひとには通じる言語かもね。そういえばIKEAの組み立て説明書は数字と絵だけってことは世界共通の説明書なのかな。 ネコ島の探検 島民よりネコの多い島、宮城県石巻市田代島に行ってきました。 仙台駅からのアクセスは以下を参考に。 行き先手段所... --- ### 【sleepimage】Mac OS Xのグレー画面からの復旧 - Published: 2013-04-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/04/%e3%80%90privatevar%e3%80%91mac-os-x%e3%81%ae%e3%82%b0%e3%83%ac%e3%83%bc%e7%94%bb%e9%9d%a2%e3%81%8b%e3%82%89%e3%81%ae%e5%be%a9%e6%97%a7%e3%80%90mini%e3%80%91/ - カテゴリー: t2sy-note - タグ: Mac OS X 一年前にMac Miniのメモリ増強をしてから約一年。 I/0が効かなくなり再起動してもグレー画面でアイコンも表示されないという状態になりました。 去年のメモリ増強の話 MacMini 2009Late メモリ交換 話の発端は一年前です。 Mac Mini 2009Lateモデルのデフォルトメモリは2GBと、iTunes,XCode,ブラウザの立ち上げだけでもクルクル状態でした。 ということで、サムスンのDDR3　SODIMM　1066（PC3-8500）4GB×2に交換です。 スクレーパーでア... --- ### 【iOS】便利なオープンソースライブラリ - Published: 2013-03-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/03/%e3%80%90ios%e3%80%91%e4%be%bf%e5%88%a9%e3%81%aa%e3%82%aa%e3%83%bc%e3%83%97%e3%83%b3%e3%82%bd%e3%83%bc%e3%82%b9%e3%83%a9%e3%82%a4%e3%83%96%e3%83%a9%e3%83%aa%e3%80%90delegate%e3%80%91/ - カテゴリー: iOS App - タグ: Objective-C Android も FirefoxOS も TizenOS も UbuntuTouch も Linux そんな時代なんですね。 今回はiOS開発で使った事のある OSSライブラリ の紹介です。また Objectice-C のデリゲートの基本的な使い方を書きます。 便利なオープンソースライブラリ facebook風なサイドビュー facebookのような人気アプリと似たUIはユーザに受け入れられやすいので使いやすいです。 JWNavigationController 折り... --- ### 【Arduino】ワンチップセンサとシリアルI/O - Published: 2013-03-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/03/%e3%80%90arduino%e3%80%91%e3%83%af%e3%83%b3%e3%83%81%e3%83%83%e3%83%97%e3%82%bb%e3%83%b3%e3%82%b5%e3%81%a8%e3%82%b7%e3%83%aa%e3%82%a2%e3%83%abio%e3%80%90%e3%81%be%e3%81%a8%e3%82%81%e3%80%91/ - カテゴリー: Arduino, t2sy-note - タグ: Arduino, C, RaspberryPi 前回の記事でArduinoのセットアップをしました。 今回は具体的な使用方法として手軽なワンチップセンサをArduinoにつなげることを想定し, 簡単なワンチップセンサリストを作りました。 先にシリアルI/Oのおさらいをします。この辺はArduinoを触っていたら意識しないところですが知っておいても損はないです。 シリアルI/O方式 まずは, I2C (inter-Integrated Circuit)です。 I2Cはフィリップス社が開発したクロック信号(SCL)とデー... --- ### 【AVR】Arduino Pro Mini を使ってみた - Published: 2013-02-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/02/arduino-on-mba/ - カテゴリー: Arduino, t2sy-note - タグ: Arduino ひょんなことからArduinoを手に入れたのでとりあえずMacBookAirでの開発環境構築のメモを書いておきます。 デスクワーク等で座っている時間が一日に11時間を超えると, 3年以内に死亡する確率は11時間以下の人と比較すると40%上昇することという記事をみてからビビってます... ということで, 少しでも体に負荷をかけないために エンジョイ（ENJOY-H）ハイブリッドを買いました。 ダンボールの中です。 右のイスが新しいイスです。 完成まで30分弱です。確実にゴミ処理の方が時間がかかります。 本題ですが, ラッキーなことに半値でArduinoを手に入れたので, とりあえずMacB... --- ### 【組み込みLinux (2)】Device Driver について - Published: 2013-02-09 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/02/embedded-linux-device-driver/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel 今回はLinuxデバイスドライバ編です。 今回はLinuxデバイスドライバ編です。 Linuxデバイスドライバ基礎 デバイスドライバを組み込む方法は2種類あります。 静的にカーネルに組み込む (カーネル展開時に読み込む) モジュールとして組み込んで動的に読み込む Linuxではデバイスをファイルとして扱います。 /dev/*　にデバイスに対して一意のメジャー番号が割り振りられます。 同一デバイスが複数つながれた場合はマイナー番号が付与されます。 静的に組み込んだ場合はカーネル展開にinit_moduleが呼ばれます。 モジュールとし... --- ### 【組み込みLinux (1)】Linux Kernel の機能と周辺技術 - Published: 2013-02-04 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/02/embedded-linux-kernel/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel IT業界でスペシャリストを目指して生きていくのは厳しい時代になってきたのかもしれません。 この技術に詳しければ一生食えるというのはないですし, 10年いや5年でさえわかりません。例えるならゲリラ地帯です。槍の使い方を必死に覚えても, 銃で攻撃されてしまったら勝てません。 スペシャリストから分野を限定せずに, 何でも吸収できるゼネラリストでスペシャリストを目指していかないといけないのかもしれません。 マスコットキャラのペンギンはTuxと言うらしいです。 そもそも組み込み用途でLinuxは必要か 現... --- ### 【JSONP】『ステートフルJavaScript』を読了した - Published: 2013-01-28 - Modified: 2020-03-01 - URL: https://fisproject.net/2013/01/javascript/ - カテゴリー: t2sy-note - タグ: JavaScript プログラミング言語とアイデアの実行速度 プログラミング言語を学ぶこと自体は、多くの人にとってアイデアを実現するための手段であると思います。 フロントエンド、バックエンド、OS以下のレイヤの各レイヤでひとつずつ得意な言語があると、アイデアを素早く実現できるようになると思います。 特に実現ハードルをおおまかに見積もることができるのが良いですが、今は難しいことが大体APIで代替できるのでそれさえも意義として薄れてきているのかもしれないです。 それでも、実際はAPIを叩いて問題が全て解決することは少なく... --- ### 【JavaScript】Nodejsの基本と便利なモジュール - Published: 2012-12-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/12/nodejs%e3%81%a1%e3%82%87%e3%81%93%e3%81%a3%e3%81%a8%e3%83%a1%e3%83%a2/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs 今回はNode. jsの基本的な機能と周辺ライブラリを簡単に紹介します。 Let's npm install -g tips ! 組み込みNodejsの可能性 物理サーバを管理していた時代からスケーラブルなクラウドに移行するなかで、小型デバイスがサーバ機能を持つという逆転の発想もいいんじゃないかなと思います。 組み込み機器にnodeをNFSでマウントしてみた人もいるみたいですし、ネットワーク機能があれば複数センサと組み合わせて色々できると思う。 センシングありきではシーズ指向になってしまいますが、... --- ### 【Node.js】node-cassandra-clientでアクセス - Published: 2012-12-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/12/%e3%80%90ec2%e3%80%91%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a2%e3%83%87%e3%83%ab%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6node-cassandra-client%e3%81%a7%e3%82%a2%e3%82%af%e3%82%bb%e3%82%b9%e3%80%90nodejs/ - カテゴリー: iOS App, t2sy-note - タグ: AWS, Cassandra, JavaScript, Nodejs, Objective-C 今回はCLIで簡単なデータモデルを作成しiOSクライアント側のコードを書いて、Nodejsからnode-cassandra-clientでデータを取得するまでです。 photo by Apache 4年間頑張ってくれた自作機の Windows XP を Windows 8 でクリーンインストールしました。 今回は CLI で簡単なデータモデルを作成し iOS クライアント側のコードを書いて, Node. jsから node-cassandra-client でデータを取得するまでです。 データモデルを作るまで データモデルの構造はクラスタが一番外枠です。大きな単位から見ていくと以下のようになります。 Key Space ： 最も大きな... --- ### 【Node.js】cassandra-nodeを入れてみた - Published: 2012-11-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/11/%e3%80%90aws%e3%80%91ec2%e3%81%abcassandra-node%e3%82%92%e5%85%a5%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90%e5%88%9d%e3%82%81%e3%81%ae%e4%b8%80%e6%ad%a9%e3%80%91/ - カテゴリー: t2sy-note - タグ: AWS, Cassandra, EC2, JavaScript, JDK, Nodejs 今つくってるiOSアプリであるクラウドにデータを貯めたいと思い, AWS EC2を始めました。 とりあえずやってみたのでメモっときます。Nodejsはいいとして, 何故Cassandraなのか? それは単なる興味です。 Node. js でサンプル動かして, cassandra-node をインストールするまでの内容です。 インフラに慣れてる人は役にたてない初歩的な記事ですのであしからず(´▽｀)ﾉ Cassandra 構成は, Linux (AMI), Node. js 0. 8. 14, Cassa... --- ### 【iOS】TestFlight の使い方 - Published: 2012-11-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/11/%e3%80%90ios%e3%80%91testflight%e3%80%90%e5%bf%98%e5%82%99%e9%8c%b2%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: iOS, TestFlight TestFlightは iOS アプリ開発の実機確認時に都度 Mac に接続しインストールという不便さを解消できるツールです。 遠距離にいる人にも楽に配布できるツールです。リリース前にターゲットユーザに試してもらうのにとても便利だと思います。 私は頻繁に使うツールではなくいつも忘れてしまうのでメモります。 TestFlightの準備 1. TestFlight でユーザ登録 2. DashBoard > Invite Testers でTester（使って欲しい人）のE... --- ### 【Flurry】iOSアプリのユーザ解析とYield Optimization(SSP)ツール - Published: 2012-10-25 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/10/%e3%80%90flurry%e3%80%91ios%e3%82%a2%e3%83%97%e3%83%aa%e3%81%ae%e3%83%a6%e3%83%bc%e3%82%b6%e8%a7%a3%e6%9e%90%e3%81%a8yield-optimizationssp%e3%83%84%e3%83%bc%e3%83%ab%e3%80%90adstir%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AdMob, FlurryAnalytics, iOS, XCode 趣味などでアプリを個人開発している人はなかなかアクセス解析/Adの最適化配信etcに関してまで時間を割きたくない人もいると思います。 しかし最近はユーティリティツールが充実してきたおかげで、わずかな苦労でも大きなメリットを受けられるようになりました。 iOSアプリ"お手軽SPI"で使っているユーティリティツールを紹介します!! 趣味などでアプリを個人開発している人はなかなかアクセス解析/Adの最適化配信etcに関してまで時間を割きたくない人もいると思います。 しかし最近はユーティリティツールが充実してきたおかげで、わずかな苦労でも大きなメリットを受けられるようになりました。 iOSアプリ"お手軽SPI"で使っているユーティリティツールを紹介します! ! iOSアプリ"お手軽SPI"のDLはこちらから。 --- ### 初心者でもできる! AngularJS+Bootstrapでつくる画像検索Webアプリ - Published: 2012-09-10 - Modified: 2014-12-31 - URL: https://fisproject.net/2012/09/%e5%88%9d%e5%bf%83%e8%80%85%e3%81%a7%e3%82%82%e3%81%a7%e3%81%8d%e3%82%8b-angular-jsbootstrap%e3%81%a7%e3%81%a4%e3%81%8f%e3%82%8b%e7%94%bb%e5%83%8f%e6%a4%9c%e7%b4%a2%e3%82%a2%e3%83%97%e3%83%aa/ - カテゴリー: t2sy-note - タグ: Angularjs, CSS3, jQuery, MVC 今回、作るのは画像検索アプリ。さらにLikeボタンを置いたり、URLを保存したりおまけ機能がいくつかあります。 デフォルトで検索キーワードが「ねこ」なのは猫が好きだからです。つまり、ブラウザを立ち上げたら、毎回違う猫画像がでてくるという俺得なアプリなのです！ 先月、Googleの人のAngularJSライブコーディングを見て「簡単でおもしろそう! やってみよう! 」と思ってから数週間。自分プロジェクトには期限がないので一向に進みません。 つくるもの 今回、作るのは画像検索アプリ。さらにLikeボタンを置いたり、URLを保存したりおまけ機能がいくつかあります。 * 著作権のため画像自体の保存はしていません。 MVCフレームワークはAngularJSをつかいます。多少学習コストがかかります。 画像はajaxで取得し,Localsto... --- ### 【Features編】ねこでもわかるGo言語 - Published: 2012-08-31 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/08/golang-features/ - カテゴリー: t2sy-note - タグ: Golang ねこでもわかるGo言語の第二回目です。 タイトルにもあるように私はねこ好きなんですが、住まいの都合でペットは飼えないので、最近はねこ画像を集めて癒されています。 日課になりつつあるのでこれは自動化したい！ということで、GoogleのAPIでつくりはじめました。双方向データバインドがしたいためだけにAngular.jsつかってMVCの練習も兼ねたいです。しかーし、スクリプト言語がまだよくわかっていない... ねこでもわかる Go言語 の第2回目です。 タイトルにもあるように私はねこ好きなんですが, 住まいの都合でペットは飼えないので, 最近はねこ画像を集めて癒されています。 日課になりつつあるのでこれは自動化したい！ということで Google APIでつくりはじめました。双方向データバインドがしたいためだけに Angular. js を使って MVC の練習も兼ねます。 Go言語の特徴 Goには特徴的な機能が多くあります。一方でジェネリクスがないとか、クラスの継承がないとか、型宣言が逆とか現在の主流言... --- ### 【Fab】秋月のキットで簡易ポータブルオシロをつくってみた - Published: 2012-08-23 - Modified: 2012-08-23 - URL: https://fisproject.net/2012/08/%e3%80%90fab%e3%80%91%e7%a7%8b%e6%9c%88%e3%81%ae%e3%82%ad%e3%83%83%e3%83%88%e3%81%a7%e7%b0%a1%e6%98%93%e3%83%9d%e3%83%bc%e3%82%bf%e3%83%96%e3%83%ab%e3%82%aa%e3%82%b7%e3%83%ad%e3%82%92%e3%81%a4/ - カテゴリー: t2sy-note - タグ: オシロスコープ, 秋月電子, 電子工作 電子工作はソフト開発と違い、部品の調達や環境構築が取り組む上のハードルになることが多いと思います。 最近、部品を買うより組み立て品を買う方が安くなっていると思います。今は100円ショップで光センサー搭載のライトが売ってたりします。個人が少量の部品を買うより、確実に安いですね。 電子工作も分解してリユースする時代になるかもしれません。 電子工作はソフト開発と違い、部品の調達や環境構築が取り組む上のハードルになることが多いと思います。 また最近は部品を買うより組み立て品を買う方が安くなっていると思います。例えば、100円ショップで光センサー搭載のライトが売ってたりします。個人が少量の部品を買うより、確実に安いですね。 電子工作も分解してリユースする時代になるかもしれません。 では、本題です。 小型オシロという選択 テスターは動的な変化がわかりずらいですが、高性能/高機能なオシロとなると大型で高価なので個... --- ### 【helloworld編】ねこでもわかるGo言語 - Published: 2012-08-19 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/08/golang-helloworld/ - カテゴリー: t2sy-note - タグ: Golang, Python Go言語を勉強し始めたので、まずはIDEのインストールからコンソールとブラウザにご作法通りhelloworldを表示するまでをやります。UNIXにはうといけどこれからGo言語を学びたい人向けの話です。 Photo by google Go言語を勉強し始めたので、コンソールとブラウザ(GAE利用)に作法通り helloworld を表示するまでをやります。 Go言語とは何？ Go言語は Google が開発しているシステムプログラミング言語です。 2009年の発表された GO言語 ですが、C言語が登場したのが1972年ですからまだ新生児みたいな言語です。 組み込み系やインフラシステムなどは C/C++言語 で書かれていますが、Cのマルチスレッドプログラミングはメモリ管理のしづらさがあります。現在... --- ### Eclipseによる開発を少し快適にするTIPS - Published: 2012-08-17 - Modified: 2016-04-16 - URL: https://fisproject.net/2012/08/eclipse-tips/ - カテゴリー: Others Eclipseにはコーディングを支援する様々な機能を備えています。 中でも最近便利に感じたものを解説を交えて紹介していきたいと思います。 最後に編集した箇所へジャンプ コーディング中に他のソースを見回ってから戻る際に真価を発揮する。編集行までカーソルを持ってきてくれるため、検索の後に編集箇所に戻るといった使い方も。 ※直前に「元に戻す」を使用した場合、Undoを無視した最後の編集行へジャンプするので注意。 入力補完 入力途中で ... --- ### 【ARC】iOSアプリのメモリとデータ管理についてまとめてみる - Published: 2012-08-08 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/08/ios%e3%81%a7%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a1%e3%83%a2%e3%83%aa%e7%ae%a1%e7%90%86%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e3%81%84%e3%81%be%e3%81%95%e3%82%89%e3%81%be%e3%81%a8%e3%82%81/ - カテゴリー: iOS App, t2sy-note - タグ: ARC, CoreData, iOS, SQL retain,releaseをせかせかとやっていたのも過去の話。 今ではARC(Automatic Reference Counting)というコンパイラが参照カウンタ方式でメモリ管理をやってくれる仕組みがあります。 iOSのメモリ管理 retain, releaseをせかせかとやっていたのも過去の話。 今では ARC(Automatic Reference Counting) というコンパイラが参照カウンタ方式でメモリ管理をやってくれる仕組みがあります。 Cに慣れた開発者であれば自分で管理しないことに逆に不安を覚えたかもしれません。 実際, ARCが登場した頃は, 以前のプロジェクトをARCに変換する際の不具合もあったみたいで, ドキドキした覚えがあります。 ARCはガベージコレク... --- ### IVSサマーワークショップ - Published: 2012-07-17 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/07/ivs-summer-workshop-2012/ - カテゴリー: Others 先日「IVSサマーワークショップ」というイベントに参加してまいりました はじめまして はせべと申します 本プロジェクトでは主にデザインを担当しております 先日「IVSサマーワークショップ」というイベントに参加してまいりました IVS　本来の趣旨はイベントを「無限の可能性をもつベンチャー企業を生み出す場・集まる場」 インターネット,モバイル、ソフトウエアなどＩＴ業界の国内外の経営者・経営幹部を対象とした年2回の招待制のオフサイト・カンファレンス としています 年に数回　経営者向けのイベントを学生向けに提供しているものが本イベントです 会場とイベントが恐ろしく豪華でひと... --- ### Reading Hacks !! - Published: 2012-07-05 - Modified: 2014-03-09 - URL: https://fisproject.net/2012/07/reading-hacks/ - カテゴリー: t2sy-note ブログタイトルと同名の本がありますが、テーマは本の読み方というよりは本を安く買ったり読んだ後の取り扱いについてです。 ブログタイトルと同名の本がありますが、テーマは本の読み方というよりは本を安く買ったり読んだ後の取り扱いについてです。 どこで買うか？ 最近、丸善やジュンク堂、オンラインストアでHontoというポイントサービスが始まりました。 今までの丸善ポイントカードは和書についてはポイントが付与されなかったので、ようやく実用レベルになったかなと思います。 還元率は1%（7/31までのキャンペーン中は3%）私はある割引10%も入れて、最大13%OFFになるのでだいぶお買い得です！ 書店の仕入れ価格は販売価格の８... --- ### 【Wireshark】ネットワークパケットを読む会に行ってきた - Published: 2012-06-13 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/06/reading-network-packet/ - カテゴリー: t2sy-note - タグ: iOS, TCP/IP 何故、ネットワークパケットかと言うと組み込みLinux関係でRTPを飛ばしていることもあって。 5月に有楽町でネットワークパケットを読む会に行ってきた。何故、ネットワークパケットかと言うと普段、組み込みLinux関係でRTPを飛ばしていることもあって。 WireSharkはネットワークトラフィックをキャプチャしパケットのバイナリ → ASCII化やプロトコルのフィルタリングなどができるツール。 TCP/UDP/ARP/ICMPなどプロトコル別に区別されていて、選択すると詳しくパケットが見れる。 プロトコルやパケットフォーマットを知ることは、セキュリティ面に関わることでもあるのでネットワーク... --- ### Pixel Monster（ピクセルモンスター）開発記 part.2 - Bluetooth - Published: 2012-03-31 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/03/pixel-monster-dev-part-2/ - カテゴリー: oironの日記 対戦機能を実現するために、２つのデバイス間でモンスター情報を交換する必要があります。 そのために、Bluetooth通信を利用します。 ●対戦機能を実現するために、２つのデバイス間でモンスター情報を交換する必要があります。 そのために、Bluetooth通信を利用します。 ・GameKitフレームワークを用いて、Bluetoothでpeer-to-peer通信を行う。 ・独自クラスをNSData型に変換するために、NSCodingプロトコルを実装する。 まず、Bluetoothを使うにはGameKitフレームワークを追加します。GameKitフレームワークについては、Apple公式のドキュメントがありますので、そちらをどうぞ。G... --- ### 【OpenNI】Powerpoint Addin With Kinect - Published: 2012-03-10 - Modified: 2018-12-22 - URL: https://fisproject.net/2012/03/powerpoint-addin-with-kinect/ - カテゴリー: t2sy-note - タグ: Kinect, OpenNI Kinectは画像認識/音声認識に優れたセンサーデバイスです。 現在、Kinectを用いたアプリケーション開発は以下の２つの方法があります。 Kinectは画像認識/音声認識に優れたセンサーデバイスです。 現在、Kinectを用いたアプリケーション開発は以下の２つの方法があります。 ・オープンソース環境(GPL)のOpenNI+NITE ・マイクロソフト公式のWindows SDK オープンソースのOpenNI+NITEはジャスチャ―認識（HandsのWave等)を用意していることや、オープンソースライブラリが早くから公開された事で開発者が多く活発なコミュニティが多いです。 一方で、Windows SDKはジャスチャ―認識の実装は自分... --- ### 【iOS】XCode4 以前のプロジェクトを Git で管理し Bitbucket に移す - Published: 2012-02-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/02/%e3%80%90ios%e3%80%91xcode4%e4%bb%a5%e5%89%8d%e3%81%ae%e3%83%97%e3%83%ad%e3%82%b8%e3%82%a7%e3%82%af%e3%83%88%e3%82%92git%e3%81%a7%e7%ae%a1%e7%90%86%e3%81%97bitbucket%e3%81%ab%e7%a7%bb%e3%81%99/ - カテゴリー: iOS App, t2sy-note - タグ: Git, iOS 突然ですが海老名SAのタコライスがおいしかったです。 最近のSAは内装が整っていてユナイテッドアローズがあったりとおしゃれですね。 どんなところにビジネスチャンスがあるかわからないもんです。 突然ですが海老名SAのタコライスがおいしかったです。 本題ですが XCode4 ではプロジェクト作成時に Git を使うか選択できるようになっています。 また、昨年から Bitbucket で Git プライベートリポジトリを無料で利用できるようになりました。 これは便利。そこで、今回は XCode4 以前のプロジェクトに Gitリポジトリ を作り、Bitbucketに移すまでの流れを書きます。 Gitのインストール Gitのインストール方法はいろいろある。 $ bre... --- ### iOS Developer Library を読もう - Published: 2012-01-15 - Modified: 2012-01-15 - URL: https://fisproject.net/2012/01/ios-developer-library-%e3%82%92%e8%aa%ad%e3%82%82%e3%81%86/ - カテゴリー: junの備忘録 @ST63Jun です． このブログに辿りつく方はiOSアプリ開発者の人も多いのではないでしょうか． 既にバリバリ開発している人には釈迦に説法ですが，これからiOSアプリを開発しようとする人，あるいは始めたばかりでどこから手をつけていいかわからない人にお勧めしたいのは，Apple公式のドキュメント https://developer. apple. com/jp/devcenter/ios/library/japanese. html を読むことです． せっかくDeveloper Program費をA... --- ### Pixel Monster（ピクセルモンスター）開発記 part1 - Published: 2011-12-04 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/12/pixel-monster-dev-part-1/ - カテゴリー: oironの日記 現在、Pixel Monsterの食事、トレーニング、バトルなどのアニメーションのだいたいの実装が終わりました。 今回はトレーニングについて紹介したいと思います！！ トレーニングはタッチ操作でできるシンプルなものにしました。 左右に動くバーをゲージの真ん中で止めるように、画面をタッチします！！ バーを真ん中でピタリととめると．．．なんか火吐きます！！！！そして．．． 強烈な攻撃で、見事サンドバッグを破壊しました！！！こんな感じでモンスターを鍛えていきます！！！ 今のところ、タッチ操作のみのシンプ... --- ### 【iOS】Pixel Monster（ピクセルモンスター） - Published: 2011-11-03 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/11/pixel-monster-dev/ - カテゴリー: FiS Project Info ドット絵×育成×バトル×スマートフォンゲーム - Pixel Monster（ピクセルモンスター）がiOSに登場 モンスターを育てて友達とバトル！GameCenterで一位を目指せ！！ ・懐かしのドット形式育成画面 ・いつでもiPhoneに通知 ・友達と育てたモンスターでBluetooth対戦 ・GameCenter/Achivementでトップを目指せ ・全15体のモンスター図鑑を完成させよう 修論発表前の1月頃にはリリースできるよう開発しています！ 開発中のスクリーンショットやブログも順次U... --- ### 【マイコン日記】 78k0R で UART (2) - Published: 2011-10-23 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/10/microcontroller-diary-78k0r-uart-2/ - カテゴリー: t2sy-note - タグ: マイコン, 電子工作 1. センサ値を監視するPCアプリケーションをつくる 今回は, Visual C♯ Express 2010で Windows formアプリケーションをつくった。 グラフの描画 ： NPlotというライブラリを使う。縦軸はセンサからADCを通った後の値, 横軸は時間 (受信データ数)とした。 エクセルへのエクスポート ： Microsoft. Office. Interop. Excelでサポートされている マイコンとのUART通信 ： . NET Framework 2. 0のシリアルポートクラスを使... --- ### 【マイコン日記】78k0R で UART (1) - Published: 2011-09-26 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/09/microcontroller-diary-78k0r-uart/ - カテゴリー: t2sy-note - タグ: マイコン 今回はマイコン => PCでUART通信をしてみる。 1. 基盤をいじる デザインテクノロジNo8の付属基盤には, RS232Cコネクタがついていないため, 別途78K0R-BASE基板を購入しRS232Cコネクタを利用した。 注意が必要なのは用途によってBASE基板でショートさせる個所が異なること。センサなどアナログ入力を使うときは以下の２箇所をショートさせよう。 RXD0　ACL_DO（加速度センサ、照度センサ接続）　JP6　CN6コネクタ TXD0　ACL_DI（加速度センサ、照度センサ接... --- ### セキュリティ&プログラミングキャンプ2011に参加してきました。 - Published: 2011-09-19 - Modified: 2012-07-11 - URL: https://fisproject.net/2011/09/%e3%82%bb%e3%82%ad%e3%83%a5%e3%83%aa%e3%83%86%e3%82%a3%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0%e3%82%ad%e3%83%a3%e3%83%b3%e3%83%972011%e3%81%ab%e5%8f%82%e5%8a%a0%e3%81%97/ - カテゴリー: Lotus Note 初投稿になりますが、題名の通りセキュリティ&プログラミングキャンプ2011に参加して参りました。 まずは、そのセキュリティ&プログラミングキャンプ2011についての概要をお話します。 公式HPはこちら。 2004年度より毎年開催している「セキュリティキャンプ（2008年度よりセキュリティ＆プログラミングキャンプとして実施）」は、若年層のセキュリ ティ意識の向上と優秀なセキュリティ人材の早期発掘と育成という当初の目的に沿って、これまで数多くの将来有望な人材を輩出してきており、セキュ... --- ### 【マイコン日記】78k0R で PWM - Published: 2011-09-08 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/09/microcontroller-diary-78k0r-2/ - カテゴリー: t2sy-note - タグ: マイコン 今回はマイコンのタイマ / カウンタ機能を使ってPWMをやってみる。 スピーカからwav音源を鳴らしてみる(`・ω・)ゞ 用意するもの ・wav音源の用意 (マイコンROM容量を考慮すると, リサンプルした方が良い => バイナリ形式に変換 => データ先頭に0xを追加) ・100均で買ったボイスコイル型スピーカ（回路系非搭載） ・アンプ回路とローパス回路を作製 実験開始 流れとしては, 1. CubeSuiteのハードウェア定義でPWMの使用を宣言し、コード生成 (スピーカ出力はPWMのCN4... --- ### 【マイコン日記】78k0R でエルチカ! - Published: 2011-08-30 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/08/microcontroller-diary-78k0r-1/ - カテゴリー: t2sy-note - タグ: マイコン マイコンを使って何かしよう！として始まった研究室のプロジェクト！ 何か作るにも初心者は基礎が大事ということで, デジタルデザインテクノロジNo8に付属している78kORマイコン基板（16bit）で遊んでみる。 No8付属基板には, 主に以下が搭載されている。 USB-シリアル変換ポート LED ユーザSW GPIO 開発環境はNECのIDE, CubeSuiteを使ってみた。 面倒なハードウェア定義はコード生成機能で楽々できるのだが, これはインストール時にカスタムインストールでチェックボックス... --- ### MacBookAir買ったのでHomebrewをインストールした - Published: 2011-08-22 - Modified: 2011-08-22 - URL: https://fisproject.net/2011/08/macbookair%e8%b2%b7%e3%81%a3%e3%81%9f%e3%81%ae%e3%81%a7homebrew%e3%82%92%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab%e3%81%97%e3%81%9f/ - カテゴリー: junの備忘録 先日，MacBookAir11インチ買いました． 軽いし起動早いし初期状態でアプリも揃っててでちょおまんぞくです． でも 今日日Emacs22なんてつかわねえよ! というわけでパッケージ管理ソフトウェアのHomebrewをインストールしました．目的はEmacsのHEADを入れること． パッケージ管理ソフトウェアといえばMacPortsが有名ですがあれは初回のビルド時間がくっそ長いので，イケてるマカーはHomebrewを使うものだと聞いております． $ /usr/bin/ruby -e "$(cu... --- - [【M-H法】Python で MCMC を書いてみた](https://fisproject.net/2015/12/mcmc-in-python/): この記事は Python Advent ... - [【CentOS / Nginx】Let's Encrypt で SSL/TLS証明書 を発行してみた](https://fisproject.net/2015/12/get-ssl-certificate-by-letsencrypt/): Let’s Encrypt が 2015... - [【Minibatch SGD】Goで確率的勾配降下法を書いてみた](https://fisproject.net/2015/11/mini-batch-sgd-in-go/): 確率的勾配降下法を書こうと思い, 学習の... - [【Stan】Rで iPhone から取得した歩数データ分析](https://fisproject.net/2015/11/steps-data-analysis-in-r/): 昨年 iPhone6を購入してから全く意... - [【glmnet】R で Elastic Net を実践](https://fisproject.net/2015/10/elasticnet-in-r/): 『みんなのR -データ分析と統計解析の新... - [【Golang】Goji + mgo で簡易 API Server をつくる](https://fisproject.net/2015/10/golang-api-server-using-goji/): Gojiとmgoを使って1時間くらいで超... - [【クラスタリング】R と Python で k-means](https://fisproject.net/2015/10/k-means/): 『続・わかりやすいパターン認識―教師なし... - [【SQL】 Apache Drill に ODBC で接続してみた](https://fisproject.net/2015/09/apache-drill-with-odbc/): OSX10. 10. 5 で Apach... - [【SQL】Apache Drill を使ってみた](https://fisproject.net/2015/09/get-started-drill/): Apache Drillを使ってみました... - [【Node.js】Esprima / Escodegen / Estraverseを試してみた](https://fisproject.net/2015/09/esprima-escodegen/): Esprima / Escodegen ... - [【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた](https://fisproject.net/2015/09/statistical-modeling-for-count-data/): 2015-09-04 に行われた, 「統... - [【関数型言語】Elixir の基本文法 (2)](https://fisproject.net/2015/09/intro-elixir-2/): 『Programming Elixir:... - [【tor】Wireshark で HTTP/2 のパケットキャプチャ](https://fisproject.net/2015/08/http2-packets-capture-with-wireshark/): Nghttp2 OSX10. 10. 2... - [【R】傾向スコアマッチングによる因果推論の基礎](https://fisproject.net/2015/08/propensity-score/): 傾向スコアマッチングによる因果推論につい... - [【関数型言語】Elixir の基本文法 (1)](https://fisproject.net/2015/08/intro-elixir/): 『Programming Elixir:... - [【Async / Concurrent】『Haskellによる並列・並行プログラミング』を読了した (2)](https://fisproject.net/2015/08/parallel-and-concurrent-programming-in-haskell-2/): 『Haskellによる並列・並行プログラ... - [【Granger因果】金利と日経平均株価の関係](https://fisproject.net/2015/08/granger-causality-test/): 不動産マーケットに興味があり 『不動産マ... - [【R】中古マンション販売価格と賃貸物件家賃の分析 (3)](https://fisproject.net/2015/08/article-predict-model-summer/): 今回は, 前回収集した春季の中古マンショ... - [【R】『入門 機械学習による異常検知』を読了した](https://fisproject.net/2015/07/anomaly-detection-with-r/): 『入門 機械学習による異常検知―Rによる... - [【Repa】『Haskellによる並列・並行プログラミング』を読了した (1)](https://fisproject.net/2015/07/parallel-and-concurrent-programming-in-haskell/): 『Haskellによる並列・並行プログラ... - [【確率分布】『機械学習のための確率と統計』を読了した](https://fisproject.net/2015/06/machine-learning-books/): 『機械学習のための確率と統計 (機械学習... - [【Lasso】中古マンション販売価格と賃貸物件家賃の分析 (2)](https://fisproject.net/2015/06/article-bayesian-model/): 前回, 収集した中古マンション販売価格と... - [【MCMC】Stan で色々な一般化線形モデル](https://fisproject.net/2015/06/glm-stan/): Stan の私的メモ。Stan のインス... - [【forecast】Rでファイナンスデータの時系列分析](https://fisproject.net/2015/06/quantitative-financial-modelling/): 計量時系列分析について調べたこと, 主に... - [【Boosting】R と Python で XGBoost](https://fisproject.net/2015/05/xgboost/): R と Python で XGBoost... - [【PHP / MySQL】CoreServer から さくらのVPS へ WordPress の移行](https://fisproject.net/2015/05/wordpress/): CoreServer(共用サーバ)上の ... - [【R】Kaggleの始め方](https://fisproject.net/2015/05/getting-started-kaggle/): Kaggleとは “Kaggleは企業や... - [【R / Python】中古マンション販売価格と賃貸物件家賃の分析](https://fisproject.net/2015/05/article-predict-model/): 物件購入や賃貸住宅を探すにあたって, 駅... - [【MCMC】OSX で RStan の導入と簡単な例題](https://fisproject.net/2015/04/rstan/): 引き続き, データ解析のための統計モデリ... - [【Java】ApacheTikaを使ってみた](https://fisproject.net/2015/04/tika/): Apache TikaはJava製のドキ... - [【Haskell】OSX で Yesod を動かしてみる](https://fisproject.net/2015/03/yesod/): トポロジー―基礎と方法 (ちくま学芸文庫... - [【音声認識】Golang で Julius-Client の実装を試みる](https://fisproject.net/2015/03/golang-julius/): 最近, Sirius: An Open ... - [【arules】Rでアソシエーション分析](https://fisproject.net/2015/03/arules/): Rの {arules} でアソシエーショ... - [【JavaScript】gulp.jsを使ってみた](https://fisproject.net/2015/03/gulp/): 今更ですが, タスクランナーgulpのメ... - [【構成管理】Ansible を使ってみた](https://fisproject.net/2015/03/ansible/): 今更ですが構成管理ツールの Ansibl... - [【MLlib / PySpark】OSX で Apache Spark を使ってみる](https://fisproject.net/2015/03/spark/): “Learning Spark”読書会#... - [【検定力分析】R で仮説検定を行う](https://fisproject.net/2015/02/r-testing/): 今回は, 仮説検定の中でも基本的な t検... - [【CentOS / Nginx】Fluentd + Elasticsearch + Kibana 環境構築](https://fisproject.net/2015/02/centos-fluentd-elasticsearch-kibana-nginx/): CentOS6. 6でのFluentd,... - [【Golang】cli と gox でコマンドラインツールを作る](https://fisproject.net/2015/02/cli-gox/): cliとgoxでコマンドラインツールを作... - [【MeCab】BeagleBoneBlack で Open JTalk を使う](https://fisproject.net/2015/02/open-jtalk/): BeagleBoneBlack rev.... - [【Ubuntu / Python】Nginx + uWSGI + Flask + Supervisorの環境構築](https://fisproject.net/2015/01/nginx-uwsgi-flask/): Flask アプリケーションを Ngin... - [【Python】Selenium WebDriver で Webスクレイピング](https://fisproject.net/2015/01/webdriver/): Python で Webスクレイピング ... - [【Go】OSX / Linux / Windowsに peco を導入](https://fisproject.net/2015/01/peco/): pecoは標準入力をインクリメンタルサー... - [【AES】crypto-js と PyCrypto の互換性](https://fisproject.net/2015/01/crypto-js-pycrypto-compatible/): crypto-jsとPyCryptoのA... - [【Book】2014年を振り返る](https://fisproject.net/2015/01/look-back-2014/): 2014年を振り返ります。 記事から20... - [【stemming】文書のベクトル表現とコサイン類似度](https://fisproject.net/2015/01/cosine_similarity/): 文書のベクトル表現と文書間の類似度測定手... - [【JavaScript】Highchartsを使ってみた](https://fisproject.net/2014/12/highcharts/): Highcharts Highchart... - [【JavaScript】Moment.jsを使ってみた](https://fisproject.net/2014/12/moment-js/): jsの日付処理ライブラリ Moment.... - [【Python】Arrowを使ってみた](https://fisproject.net/2014/12/arrow/): Arrow は JavaScript の... - [【kNN】R で k 近傍法](https://fisproject.net/2014/12/knn/): K近傍法 k近傍法 (k-nearest... - [【Reactive】Ractive.jsを使ってみた](https://fisproject.net/2014/12/ractivejs/): Ractive. jsを使ってみました。... - [【Python】pytest でユニットテスト](https://fisproject.net/2014/12/pytest/): pytest でユニットテスト pyte... - [【Node.js】power-assertを使ってみた](https://fisproject.net/2014/12/power-assert/): 開発中のWEBアプリの時間演算モジュール... - [【Book】2014年に読んで良かった17冊](https://fisproject.net/2014/11/best_books/): 端くれエンジニアが2014年に読んだ19... - [【Monads】すごいHaskellたのしく学ぼう!を読んだ (2)](https://fisproject.net/2014/11/haskell_part2/): 前回は, すごいhaskellたのしく学... - [【Functor】すごいHaskellたのしく学ぼう!を読んだ (1)](https://fisproject.net/2014/11/haskell/): 『すごいhaskellたのしく学ぼう! ... - [【Node.js】Koaで HTTPS Server を建てる](https://fisproject.net/2014/10/%e3%80%90nodejs%e3%80%91koa%e3%81%a7https%e3%82%b5%e3%83%bc%e3%83%90%e3%82%92%e5%bb%ba%e3%81%a6%e3%82%8b%e3%80%90ssltls%e3%80%91/): NodejsのKoa(WAF)でHTTP... - [【MessagePack】msgpack-pythonのベンチマーク](https://fisproject.net/2014/10/msgpack-python/): msgpackはJSONより高速で軽量な... - [【Skip-gram / CBOW】Word2vec を使ってみた](https://fisproject.net/2014/10/word2vec/): Word2vec は単語の分散表現を作る... - [【バギング】R で Random Forest](https://fisproject.net/2014/10/r_randomforest/): Rで RandomForest を試して... - [【R】SVMの基礎](https://fisproject.net/2014/09/%e3%80%90caret%e3%80%91r%e3%81%a7svm%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e5%ad%a6%e3%81%b6%e3%80%90grid-search%e3%80%91/): SVM (Support Vector ... - [【機械学習】Jubatusを使ってみた](https://fisproject.net/2014/09/%e3%80%90%e6%a9%9f%e6%a2%b0%e5%ad%a6%e7%bf%92%e3%80%91jubatus%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ubuntu12-04%e3%80%91/): Jubatusは機械学習のフレームワーク... - [【Ubuntu】LLVM/Clang を使ってみた](https://fisproject.net/2014/08/%e3%80%90ubuntu%e3%80%91llvmclang%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90formatter%e3%80%91/): 今の開発現場は未だにC言語のビルド環境が... - [【Fluentd】td-agent に Golang でログ送信してみる](https://fisproject.net/2014/08/%e3%80%90fluentd%e3%80%91td-agent%e3%81%ab-golang%e3%81%a7%e3%83%ad%e3%82%b0%e9%80%81%e4%bf%a1%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90ubuntu%e3%80%91/): fluentdはログ収集ミドルウェアで非... - [【R】線形回帰分析の基礎](https://fisproject.net/2014/08/r-regression/): 今回は, R による線形回帰分析について... - [【Node.js】Koaで multipart/form-data のファイルを保存する](https://fisproject.net/2014/08/%e3%80%90co-busboy%e3%80%91koa%e3%81%a7multipartform-data%e3%81%ae%e3%83%95%e3%82%a1%e3%82%a4%e3%83%ab%e3%82%92%e4%bf%9d%e5%ad%98%e3%81%99%e3%82%8b%e3%80%90nodejs%e3%80%91/): 今回は久しぶりのNodejs関連です。K... - [【はじめての電子工作 (3)】抵抗ってなに？](https://fisproject.net/2014/08/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e6%8a%b5%e6%8a%97%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f%e3%80%90part3%e3%80%91/): 抵抗とは何か 抵抗器は電気を流れにくくす... - [【Linux】Gstreamer の使い方](https://fisproject.net/2014/08/%e3%80%90linux%e3%80%91gstreamer%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90multimedia-fw%e3%80%91/): GStreamer は OSS (LGP... - [【Windows】Cygwinで tmux を使ってみた](https://fisproject.net/2014/07/%e3%80%90windows%e3%80%91cygwin%e3%81%a7tmux%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90multiplexer%e3%80%91/): OSがwindowsで仮想環境禁止, p... - [【Linux】ALSAの使い方](https://fisproject.net/2014/07/%e3%80%90linux%e3%80%91alsa%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90aplay%e3%80%91/): ALSA (Advanced Linux... - [【はじめての電子工作 (2)】トランジスタってなに？](https://fisproject.net/2014/07/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e3%83%88%e3%83%a9%e3%83%b3%e3%82%b8%e3%82%b9%e3%82%bf%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/): トラ技2014/08号がトランジスタ特集... - [【Robotics】Gobotを使ってみた](https://fisproject.net/2014/07/%e3%80%90robotics%e3%80%91gobot%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90golang%e3%80%91/): Gobot は Go で書かれたロボティ... - [【governor】Linuxの電力制御について調べた](https://fisproject.net/2014/07/%e3%80%90cpuidle%e3%80%91linux%e3%81%ae%e9%9b%bb%e5%8a%9b%e5%88%b6%e5%be%a1%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%9f%e3%80%90governor%e3%80%91/): 本題と関係ないですが, telnet で... - [【ClamAV】Linux の SSH 設定を見直す](https://fisproject.net/2014/07/review-ssh-settings/): VPS の SSH 設定をデフォルトのま... - [【SIGALRM】シグナルハンドラで非同期処理](https://fisproject.net/2014/07/asynchronous-processing-in-the-signal-handler/): Apache HTTP Server や... - [【パケット解析】tcpdump の ARM クロスコンパイル](https://fisproject.net/2014/06/tcpdump/): リソース的な都合でCUI環境しかない組み... - [【特殊変数】Shell のメタキャラクタ](https://fisproject.net/2014/06/%e3%80%90shell%e3%80%91%e3%82%b7%e3%82%a7%e3%83%ab%e3%81%ae%e3%83%a1%e3%82%bf%e3%82%ad%e3%83%a3%e3%83%a9%e3%82%af%e3%82%bf%e3%80%90%e7%89%b9%e6%ae%8a%e5%a4%89%e6%95%b0%e3%80%91/): メタキャラクタを制するものはシェルを制す... - [【MakerBot】Replicator 5th Gen で3Dプリントしてみた](https://fisproject.net/2014/06/%e3%80%90makerbot%e3%80%91replicator-5th-gen%e3%81%a7%e3%83%97%e3%83%aa%e3%83%b3%e3%83%88%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90pla%e3%80%91/): 今回はReplicator5thを使って... - [【Gecko / Blink】Webブラウザエンジンについて調べてみた](https://fisproject.net/2014/06/%e3%80%90gecko%e3%80%91web%e3%83%96%e3%83%a9%e3%82%a6%e3%82%b6%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90blink/): WEBブラウザを構成する技術について調べ... - [【電子回路】LTspice IV for Mac OS Xを使ってみた](https://fisproject.net/2014/06/%e3%80%90%e9%9b%bb%e5%ad%90%e5%9b%9e%e8%b7%af%e3%80%91ltspice-iv-for-mac-os-x%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90simulator%e3%80%91/): 作った正負電源回路が動かないので地道にデ... - [【FQDN】DNSの基礎と dig コマンドの使い方](https://fisproject.net/2014/05/basics-of-dns-and-how-to-use-the-dig/): DNSの基礎と dig の使い方を整理し... - [【線形分類器】Goで Perceptron を書いてみた](https://fisproject.net/2014/05/go-perceptron/): 工学系出身のため機械学習に関して初心者で... - [【FDM】 Replicator 5th Genを買ってみた](https://fisproject.net/2014/05/%e3%80%90fdm%e3%80%91-replicator-5th-gen%e3%82%92%e8%b2%b7%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90g-code%e3%80%91/): MakerBot Replicator ... - [【reflect / testing】Golang Study Memo](https://fisproject.net/2014/05/%e3%80%90reflect%e3%80%91golang-study-memo%e3%80%90testing%e3%80%91/): 今年の GWは javascript /... - [【TLS】OpenSSLについて調べてみた](https://fisproject.net/2014/04/%e3%80%90tls%e3%80%91openssl%e3%82%92%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90bio%e3%80%91/): HeartBeatとHeartBleed... - [【Node.js】FFmpegで HLS 配信 をしてみる](https://fisproject.net/2014/04/%e3%80%90node-js%e3%80%91ffmpeg%e3%81%a7hls%e9%85%8d%e4%bf%a1%e3%82%92%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90mp4%e3%80%91/): 今回はメルチメディア系の話です。映像配信... - [【ARM】Go言語のクロスコンパイル](https://fisproject.net/2014/03/%e3%80%90arm%e3%80%91go%e8%a8%80%e8%aa%9e%e3%81%ae%e3%82%af%e3%83%ad%e3%82%b9%e3%82%b3%e3%83%b3%e3%83%91%e3%82%a4%e3%83%ab%e3%80%90debian%e3%80%91/): DebianWheezy上でARMプロセ... - [【Automake】GNU Autotools を使ってみる](https://fisproject.net/2014/03/%e3%80%90configure%e3%80%91gnu-autotools%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90make%e3%80%91/): GNU Autotoolsとは Auto... - [【BWT】Burrows-Wheeler Transform in C](https://fisproject.net/2014/03/%e3%80%90bwt%e3%80%91burrows-wheeler-transform-in-c%e3%80%90mtf%e3%80%91/): 圧縮に関しては素人ですが, 全文検索やデ... - [【SPDY / HPACK】HTTP/2ハッカソンに行ってきた](https://fisproject.net/2014/02/%e3%80%90spdy%e3%80%91http2%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90hpack%e3%80%91/): HTTP/2ハッカソン#1 (2014-... - [【AFNetworking】Ai-Ball + iOS で自宅監視システム](https://fisproject.net/2014/02/%e3%80%90ios%e3%80%91ai-balliphone%e3%81%a7%e8%87%aa%e5%ae%85%e7%9b%a3%e8%a6%96%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0%e3%80%90afnetworking%e3%80%91/): Ai-Ballを使ってみた デバイスハッ... - [【V4L2】BeagleBoneBlack に USB-WiFi / Camera を接続](https://fisproject.net/2014/02/%e3%80%90debian%e3%80%91beagleboneblack%e3%81%abusb-wifi%e3%82%92%e6%8e%a5%e7%b6%9a%e3%80%90wpa_supplicant%e3%80%91/): BeagleBoneBlackからUSB... - [【ARM】BeagleBoneBlack に Debian / Ruby 環境構築](https://fisproject.net/2014/02/%e3%80%90arm%e3%80%91beagleboneblack%e3%81%abdebianruby%e7%92%b0%e5%a2%83%e6%a7%8b%e7%af%89%e3%80%90gnueabi%e3%80%91/): BeagleBoneBlack(以下BB... - [【AFNetworking】iOSの HTTP Client まとめ](https://fisproject.net/2014/02/%e3%80%90afnetworking%e3%80%91ios%e3%81%aehttpclient%e3%81%be%e3%81%a8%e3%82%81%e3%80%90mknetworkkit%e3%80%91/): NSURLSession (NSURLC... - [【SNMP】Net-SNMPで機器監視](https://fisproject.net/2014/02/%e3%80%90snmp%e3%80%91net-snmp%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90%e3%83%8d%e3%83%83%e3%83%88%e3%83%af%e3%83%bc%e3%82%af%e7%9b%a3%e8%a6%96%e3%80%91/): SNMPとは SNMP は機器監視プロト... - [【CPU】Linux のプロセススケジューラの基礎](https://fisproject.net/2014/02/linux-proc-scheduler/): Photo by GAGA 映画『スティ... - [【iOS】XCTest で単体テスト](https://fisproject.net/2014/01/%e3%80%90ios%e3%80%91xctest%e3%81%a7%e5%8d%98%e4%bd%93%e3%83%86%e3%82%b9%e3%83%88%e3%82%92%e8%a1%8c%e3%81%86%e3%80%90xcode5%e3%80%91/): 久しぶりのiOSネタです。XCTest.... - [【GNU coreutils】uname ソースコードリーディング](https://fisproject.net/2014/01/%e3%80%90gnu%e3%80%91uname%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90coreutils%e3%80%91/): uname(1)は, 現在稼働中のカーネ... - [【C言語】ポインタとメモリの話](https://fisproject.net/2014/01/%e3%80%90c%e8%a8%80%e8%aa%9e%e3%80%91%e3%83%9d%e3%82%a4%e3%83%b3%e3%82%bf%e3%81%a8%e3%83%a1%e3%83%a2%e3%83%aa%e3%81%ae%e8%a9%b1%e3%80%90%e3%83%92%e3%83%bc%e3%83%97%e3%80%91/): ポインタ自体はメモリのアドレスを入れてい... - [【CentOS】Apache httpd で gzip / Deflate を有効にする](https://fisproject.net/2014/01/%e3%80%90centos%e3%80%91apache%e3%81%a7gzip%e3%82%92%e6%9c%89%e5%8a%b9%e3%81%ab%e3%81%99%e3%82%8b%e3%80%90%e5%9c%a7%e7%b8%ae%e3%80%91/): Deflateアルゴリズムの中でも有名な... - [【Node.js】Socket.IO@1.0 を読んでみた](https://fisproject.net/2014/01/%e3%80%90node-js%e3%80%91socket-io1-0%e3%82%92%e8%aa%ad%e3%82%93%e3%81%a7%e3%81%bf%e3%81%9f%e3%80%90websocket%e3%80%91/): socket. io@1. 0で大きくア... - [【N-gram】全文検索エンジン Apache Solrを使ってみた](https://fisproject.net/2013/12/%e3%80%90n-gram%e3%80%91%e5%85%a8%e6%96%87%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3-solr%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90apache%e3%80%91/): 2013年に読んだ本が188冊でした。ハ... - [【Node.js】Express + Passport をつかってみた](https://fisproject.net/2013/12/%e3%80%90node-js%e3%80%91passport%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90express%e3%80%91/): PassportはStrategyという... - [【RTP / RTSP】Live555 の使い方と解説](https://fisproject.net/2013/12/%e3%80%90rtp%e3%80%91live555%e3%81%ae%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90rtsp%e3%80%91/): Live555はC++で書かれたRTP/... - [【Wireshark】HTTPの中身をみる](https://fisproject.net/2013/11/%e3%80%90wireshark%e3%80%91http%e3%81%ae%e4%b8%ad%e8%ba%ab%e3%82%92%e3%81%bf%e3%82%8b%e3%80%90hex%e3%80%91/): Wireshark を使って HTTPリ... - [【Linux】ファイルディスクリプタとは何か](https://fisproject.net/2013/11/linux-file-descriptor/): HTTPサーバが複数のクライアントを識別... - [【WebGL】Three.jsをつかってみた (2)](https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f2%e3%80%90blender%e3%80%91-2/): セットアップは前回の記事を参照。 前回B... - [【OpenData】第6回 LODチャレンジデーにいってきた](https://fisproject.net/2013/11/%e3%80%90%e7%ac%ac6%e5%9b%9e%e3%80%91lod%e3%83%81%e3%83%a3%e3%83%ac%e3%83%b3%e3%82%b8%e3%83%87%e3%83%bc%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90opendata%e3%80%91/): 11/24に第6回LODチャレンジデー(... - [【メモリリーク】mtrace の使い方](https://fisproject.net/2013/11/%e3%80%90%e3%83%a1%e3%83%a2%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%af%e3%80%91mtrace%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90glibc%e3%80%91/): メモリリークチェックとしてsedを使って... - [【WebGL】Three.jsをつかってみた (1)](https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f1%e3%80%90blender%e3%80%91/): Three. js は WebGL (O... - [【はじめての電子工作 (1) 】コンデンサってなに？](https://fisproject.net/2013/11/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c-1%e3%80%91%e3%82%b3%e3%83%b3%e3%83%87%e3%83%b3%e3%82%b5%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/): はじめての電子工作 1 はじめてiOSア... - [【Lighttpd】解説 mod_proxy](https://fisproject.net/2013/11/%e3%80%90lighttpd%e3%80%91mod_proxy%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90plugin%e3%80%91/): はじめに 今回の記事はこの記事の続きです... - [【iOS】ハッカソンをやってみた](https://fisproject.net/2013/10/%e3%80%90fp%e3%80%91%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%82%92%e3%82%84%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f-%e6%9d%b1%e4%ba%ac%e4%bb%a3%e3%80%85%e6%9c%a8/): ハッカソンをやってみた ハッカソンに行っ... - [【CoreBluetooth】Fitbitをハックしてみた](https://fisproject.net/2013/10/%e3%80%90corebluetooth%e3%80%91fitbit%e3%82%92%e3%83%8f%e3%83%83%e3%82%af%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ios%e3%80%91/): photo by Fitbit 最近 B... - [【OOM Killer】知っ得！Linux Kernel の Tips](https://fisproject.net/2013/09/%e3%80%90oom-killer%e3%80%91%e7%9f%a5%e3%81%a3%e5%be%97%ef%bc%81linuxkernel%e3%81%aetips%e3%80%90devnull%e3%80%91/): BeagleBoneBlackを買いまし... - [【iOS】FMDBでデータ永続化](https://fisproject.net/2013/09/%e3%80%90ios%e3%80%91fmdb%e3%81%a7%e3%83%87%e3%83%bc%e3%82%bf%e4%bf%9d%e5%ad%98%e3%80%90sqlite%e3%80%91/): Coredataに慣れないので, 最近は... - [【fcgi】解説 Lighttpd プラグイン](https://fisproject.net/2013/09/%e3%80%90fcgi%e3%80%91lighttpd%e3%83%97%e3%83%a9%e3%82%b0%e3%82%a4%e3%83%b3%e8%a9%b3%e8%a7%a3%e3%80%90python%e3%80%91/): Lighttpdのプラグイン開発に苦戦し... - [【netperf】ネット速度を計測する](https://fisproject.net/2013/09/how-to-use-netperf/): サーバのベンチマークテストをする場合、回... - [【libev】Lighttpd ソースコードリーディング](https://fisproject.net/2013/09/%e3%80%90libev%e3%80%91lighttpd%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90socket%e3%80%91/): 今回はLighttpdについて細かく書い... - [【組み込みLinux (3) 】Lighttpd について](https://fisproject.net/2013/08/embedded-linux-lighttpd/): 先日、出張で訪れている札幌市内の丸善にい... - [【Packet Capture】Wiresharkでできること](https://fisproject.net/2013/08/intro-wireshark/): Wiresharkは言わずと知れたパケッ... - [【RDB】Node.js から MySQL を使ってみる](https://fisproject.net/2013/07/nodejs-mysql/): 前に カラム指向DB の Cassand... - [【Linux】Ubuntu Server 12.10 に Git 環境を構築](https://fisproject.net/2013/06/ubuntu-server%e3%81%abgit%e7%92%b0%e5%a2%83%e3%82%92%e6%a7%8b%e7%af%89%e3%81%99%e3%82%8b/): iOSアプリ開発で Twitter, F... - [【Event】W3C Developer MeetUp Tokyoに行ってきた](https://fisproject.net/2013/06/w3c-developer-meeup-tokyo%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f/): W3C Developer Meetup... - [【Python / JavaScript】イテレータとクロージャについて](https://fisproject.net/2013/05/%e3%80%90python%e3%80%91%e3%82%a4%e3%83%86%e3%83%ac%e3%83%bc%e3%82%bf%e3%81%a8%e3%81%8b%e3%81%ae%e3%83%a1%e3%83%a2%e3%80%90javascript%e3%80%91/): 最近気になってるUnityという組み込み... - [【Python】mechanize で Web スクレイピング](https://fisproject.net/2013/05/web-scraping-with-python-mechanize/): Pythonでスクレイピング 開発中のシ... - [【ねこ島】石巻 田代島に行ってきた](https://fisproject.net/2013/05/%e3%80%90%e3%81%ad%e3%81%93%e5%b3%b6%e3%80%91%e7%94%b0%e4%bb%a3%e5%b3%b6%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90%e7%9f%b3%e5%b7%bb%e3%80%91/): ブログを書きたいと思うのとコードを書きた... - [【sleepimage】Mac OS Xのグレー画面からの復旧](https://fisproject.net/2013/04/%e3%80%90privatevar%e3%80%91mac-os-x%e3%81%ae%e3%82%b0%e3%83%ac%e3%83%bc%e7%94%bb%e9%9d%a2%e3%81%8b%e3%82%89%e3%81%ae%e5%be%a9%e6%97%a7%e3%80%90mini%e3%80%91/): 一年前にMac Miniのメモリ増強をし... - [【iOS】便利なオープンソースライブラリ](https://fisproject.net/2013/03/%e3%80%90ios%e3%80%91%e4%be%bf%e5%88%a9%e3%81%aa%e3%82%aa%e3%83%bc%e3%83%97%e3%83%b3%e3%82%bd%e3%83%bc%e3%82%b9%e3%83%a9%e3%82%a4%e3%83%96%e3%83%a9%e3%83%aa%e3%80%90delegate%e3%80%91/): Android も FirefoxOS ... - [【Arduino】ワンチップセンサとシリアルI/O](https://fisproject.net/2013/03/%e3%80%90arduino%e3%80%91%e3%83%af%e3%83%b3%e3%83%81%e3%83%83%e3%83%97%e3%82%bb%e3%83%b3%e3%82%b5%e3%81%a8%e3%82%b7%e3%83%aa%e3%82%a2%e3%83%abio%e3%80%90%e3%81%be%e3%81%a8%e3%82%81%e3%80%91/): 前回の記事でArduinoのセットアップ... - [【AVR】Arduino Pro Mini を使ってみた](https://fisproject.net/2013/02/arduino-on-mba/): ひょんなことからArduinoを手に入れ... - [【組み込みLinux (2)】Device Driver について](https://fisproject.net/2013/02/embedded-linux-device-driver/): 今回はLinuxデバイスドライバ編です。 - [【組み込みLinux (1)】Linux Kernel の機能と周辺技術](https://fisproject.net/2013/02/embedded-linux-kernel/): IT業界でスペシャリストを目指して生きて... - [【JSONP】『ステートフルJavaScript』を読了した](https://fisproject.net/2013/01/javascript/): プログラミング言語とアイデアの実行速度 ... - [【JavaScript】Nodejsの基本と便利なモジュール](https://fisproject.net/2012/12/nodejs%e3%81%a1%e3%82%87%e3%81%93%e3%81%a3%e3%81%a8%e3%83%a1%e3%83%a2/): 今回はNode. jsの基本的な機能と周... - [【Node.js】node-cassandra-clientでアクセス](https://fisproject.net/2012/12/%e3%80%90ec2%e3%80%91%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a2%e3%83%87%e3%83%ab%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6node-cassandra-client%e3%81%a7%e3%82%a2%e3%82%af%e3%82%bb%e3%82%b9%e3%80%90nodejs/): 今回はCLIで簡単なデータモデルを作成し... - [【Node.js】cassandra-nodeを入れてみた](https://fisproject.net/2012/11/%e3%80%90aws%e3%80%91ec2%e3%81%abcassandra-node%e3%82%92%e5%85%a5%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90%e5%88%9d%e3%82%81%e3%81%ae%e4%b8%80%e6%ad%a9%e3%80%91/): 今つくってるiOSアプリであるクラウドに... - [【iOS】TestFlight の使い方](https://fisproject.net/2012/11/%e3%80%90ios%e3%80%91testflight%e3%80%90%e5%bf%98%e5%82%99%e9%8c%b2%e3%80%91/): TestFlightは iOS アプリ開... - [【Flurry】iOSアプリのユーザ解析とYield Optimization(SSP)ツール](https://fisproject.net/2012/10/%e3%80%90flurry%e3%80%91ios%e3%82%a2%e3%83%97%e3%83%aa%e3%81%ae%e3%83%a6%e3%83%bc%e3%82%b6%e8%a7%a3%e6%9e%90%e3%81%a8yield-optimizationssp%e3%83%84%e3%83%bc%e3%83%ab%e3%80%90adstir%e3%80%91/): 趣味などでアプリを個人開発している人はな... - [初心者でもできる! AngularJS+Bootstrapでつくる画像検索Webアプリ](https://fisproject.net/2012/09/%e5%88%9d%e5%bf%83%e8%80%85%e3%81%a7%e3%82%82%e3%81%a7%e3%81%8d%e3%82%8b-angular-jsbootstrap%e3%81%a7%e3%81%a4%e3%81%8f%e3%82%8b%e7%94%bb%e5%83%8f%e6%a4%9c%e7%b4%a2%e3%82%a2%e3%83%97%e3%83%aa/): 今回、作るのは画像検索アプリ。さらにLi... - [【Features編】ねこでもわかるGo言語](https://fisproject.net/2012/08/golang-features/): ねこでもわかるGo言語の第二回目です。 ... - [【Fab】秋月のキットで簡易ポータブルオシロをつくってみた](https://fisproject.net/2012/08/%e3%80%90fab%e3%80%91%e7%a7%8b%e6%9c%88%e3%81%ae%e3%82%ad%e3%83%83%e3%83%88%e3%81%a7%e7%b0%a1%e6%98%93%e3%83%9d%e3%83%bc%e3%82%bf%e3%83%96%e3%83%ab%e3%82%aa%e3%82%b7%e3%83%ad%e3%82%92%e3%81%a4/): 電子工作はソフト開発と違い、部品の調達や... - [【helloworld編】ねこでもわかるGo言語](https://fisproject.net/2012/08/golang-helloworld/): Go言語を勉強し始めたので、まずはIDE... - [Eclipseによる開発を少し快適にするTIPS](https://fisproject.net/2012/08/eclipse-tips/): Eclipseにはコーディングを支援する... - [【ARC】iOSアプリのメモリとデータ管理についてまとめてみる](https://fisproject.net/2012/08/ios%e3%81%a7%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a1%e3%83%a2%e3%83%aa%e7%ae%a1%e7%90%86%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e3%81%84%e3%81%be%e3%81%95%e3%82%89%e3%81%be%e3%81%a8%e3%82%81/): retain,releaseをせかせかと... - [IVSサマーワークショップ](https://fisproject.net/2012/07/ivs-summer-workshop-2012/): 先日「IVSサマーワークショップ」という... - [Reading Hacks !!](https://fisproject.net/2012/07/reading-hacks/): ブログタイトルと同名の本がありますが、テ... - [【Wireshark】ネットワークパケットを読む会に行ってきた](https://fisproject.net/2012/06/reading-network-packet/): 何故、ネットワークパケットかと言うと組み... - [Pixel Monster（ピクセルモンスター）開発記 part.2 - Bluetooth](https://fisproject.net/2012/03/pixel-monster-dev-part-2/): 対戦機能を実現するために、２つのデバイス... - [【OpenNI】Powerpoint Addin With Kinect](https://fisproject.net/2012/03/powerpoint-addin-with-kinect/): Kinectは画像認識/音声認識に優れた... - [【iOS】XCode4 以前のプロジェクトを Git で管理し Bitbucket に移す](https://fisproject.net/2012/02/%e3%80%90ios%e3%80%91xcode4%e4%bb%a5%e5%89%8d%e3%81%ae%e3%83%97%e3%83%ad%e3%82%b8%e3%82%a7%e3%82%af%e3%83%88%e3%82%92git%e3%81%a7%e7%ae%a1%e7%90%86%e3%81%97bitbucket%e3%81%ab%e7%a7%bb%e3%81%99/): 突然ですが海老名SAのタコライスがおいし... - [iOS Developer Library を読もう](https://fisproject.net/2012/01/ios-developer-library-%e3%82%92%e8%aa%ad%e3%82%82%e3%81%86/): @ST63Jun です． このブログに辿... - [Pixel Monster（ピクセルモンスター）開発記 part1](https://fisproject.net/2011/12/pixel-monster-dev-part-1/): 現在、Pixel Monsterの食事、... - [【iOS】Pixel Monster（ピクセルモンスター）](https://fisproject.net/2011/11/pixel-monster-dev/): ドット絵×育成×バトル×スマートフォンゲ... - [【マイコン日記】 78k0R で UART (2)](https://fisproject.net/2011/10/microcontroller-diary-78k0r-uart-2/): 1. センサ値を監視するPCアプリケーシ... - [【マイコン日記】78k0R で UART (1)](https://fisproject.net/2011/09/microcontroller-diary-78k0r-uart/): 今回はマイコン => PCでUART通信... - [セキュリティ&プログラミングキャンプ2011に参加してきました。](https://fisproject.net/2011/09/%e3%82%bb%e3%82%ad%e3%83%a5%e3%83%aa%e3%83%86%e3%82%a3%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0%e3%82%ad%e3%83%a3%e3%83%b3%e3%83%972011%e3%81%ab%e5%8f%82%e5%8a%a0%e3%81%97/): 初投稿になりますが、題名の通りセキュリテ... - [【マイコン日記】78k0R で PWM](https://fisproject.net/2011/09/microcontroller-diary-78k0r-2/): 今回はマイコンのタイマ / カウンタ機能... - [【マイコン日記】78k0R でエルチカ!](https://fisproject.net/2011/08/microcontroller-diary-78k0r-1/): マイコンを使って何かしよう！として始まっ... - [MacBookAir買ったのでHomebrewをインストールした](https://fisproject.net/2011/08/macbookair%e8%b2%b7%e3%81%a3%e3%81%9f%e3%81%ae%e3%81%a7homebrew%e3%82%92%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab%e3%81%97%e3%81%9f/): 先日，MacBookAir11インチ買い... --- # # Detailed Content ## 固定ページ ### books - Published: 2015-11-28 - Modified: 2023-02-10 - URL: https://fisproject.net/book-recommendations/ 紹介したことがある書籍に関する記事への逆引きリンク集です。 プログラミング Scalaスケーラブルプログラミング すごいHaskellたのしく学ぼう! みんなのR R言語徹底解説 Rパッケージ開発入門 Haskellによる並列・並行プログラミング Programming Elixir: Functional, Concurrent, Pragmatic, Fun 高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング Python機械学習プログラミング 達人データサイエンティストによる... --- ## 投稿 ### 【Python】Qdrant による近似最近傍探索 (ANN) - Published: 2023-02-11 - Modified: 2023-02-11 - URL: https://fisproject.net/2023/02/intro-to-the-vector-search-engine-qdrant/ - カテゴリー: t2sy-note - タグ: Docker, Machine Learning, Python 久しぶりの投稿となります。Rust 製の近似最近傍探索エンジン Qdrant (v1. 0. 1) を使ってみたので備忘録を残しておきます。 Amazon Customer Reviews Dataset という Amazon. com の製品レビューデータセットに含まれるレビュー文を Sentence-BERT で埋め込みベクトルに符号化し Qdrant にデータ投入, ベクトル検索を行ってみたという内容です。 実行環境 実行環境は macOS Monterey, Docker (Qdrant), ... --- ### 【Python】Apache Airflow 2.0.0 を Ubuntu 18.04 にインストールする - Published: 2021-01-29 - Modified: 2023-02-11 - URL: https://fisproject.net/2021/01/install-apache-airflow-on-ubuntu-18/ - カテゴリー: t2sy-note - タグ: Linux, Python, Ubuntu 今回は, 検証目的で Ubuntu 18. 04 (VPS) に Apache Airflow 2. 0. 0 をインストールした際の個人的な備忘録です。基本的には公式のインストール手順と同様です。 環境は以下です。 Ubuntu 18. 04 Python 3. 7 (Anaconda) MySQL 5. 7 Apache Airflow はワークフローエンジンで, 以下のコンポーネントで構成される。Airflow のアーキテクチャや各コンポーネントの概念は Basic Airflow architect... --- ### 【Python】AWS Lambda の Container Image Support を使い Selenium を動かす - Published: 2021-01-10 - Modified: 2021-01-14 - URL: https://fisproject.net/2021/01/aws-lambda-container-running-selenium-with-headless-chrome/ - カテゴリー: t2sy-note - タグ: AWS, Docker, Python 2020/12 に AWS Lambda の新機能として Container Image (Docker/OCI) がサポート されました。最大 10 GB のコンテナイメージをデプロイすることができ, AWS Lamdba の可能性がさらに広がりました。ワークロードをサーバレスに移行する流れは加速していきそうです。 今回は, AWS Lambda の Container Image Support を使い Selenium を動かす手順の備忘録です。環境は以下です。 macOS Cat... --- ### 【Book】2020年を振り返る - Published: 2021-01-04 - Modified: 2021-01-04 - URL: https://fisproject.net/2021/01/look-back-2020/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2020年を振り返る記事です。 Blog posts 2020年に投稿した記事は6本だった。投稿数は近年減少傾向となっているので持ち直したい。また, 会社のテックブログには6本投稿した。 Books read 2020年は本を34冊買った。今年も読了した中で印象に残っている本を挙げて振り返ってみる。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』 『データ指向アプリケーションデザイン』 『データ活用のための数理モデリング入門』 『Pyth... --- ### 【CSP】Python で制約充足問題 (レイアウト問題) を解く - Published: 2020-08-04 - Modified: 2020-08-04 - URL: https://fisproject.net/2020/08/solving-constraint-satisfaction-problems-in-python/ - カテゴリー: t2sy-note - タグ: Python 今回は, 『Python計算機科学新教本』3章 制約充足問題 の 3. 6 回路レイアウト を書いてみたので備忘録として残しておきます。本書の原著は『Classic Computer Science Problems in Python』です。 環境は Python 3. 7 です。 3章 制約充足問題 制約充足問題 (Constraint Satisfaction Problem; CSP) は変数の集合 (variables)、変数の取り得る値の集合である領域 (dom... --- ### 【Book】『データ指向アプリケーションデザイン』を読んで分散システムに入門する - Published: 2020-07-19 - Modified: 2020-07-21 - URL: https://fisproject.net/2020/07/read-designing-data-intensive-applications-to-get-an-introduction-to-distributed-systems/ - カテゴリー: t2sy-note - タグ: Hadoop, Linux, Machine Learning, Spark 今回は, 少しずつ読み進めていた『データ指向アプリケーションデザイン』を読了したので備忘録を残しておきます。本書は分散システムの入門書・ガイドとしてオススメです。600 ページを超える書籍のため, 読書メモを整理した備忘録もそれなりの規模になります。 データ分析基盤や機械学習基盤の構築や運用 (MLOps) は大規模データを対象とすることが一般的であり, スケーラビリティの要件から Hadoop/Spark のような OSS, または SaaS の DWH である Redshift や BigQ... --- ### 【Python】iOS アプリ利用データの生存時間解析 - Published: 2020-05-10 - Modified: 2020-05-17 - URL: https://fisproject.net/2020/05/survival-analysis-of-ios-app-usage-data/ - カテゴリー: t2sy-note - タグ: Python, Statistics 今回は生存時間解析の基本的な道具であるカプラン・マイヤー推定量, ログ・ランク検定, Cox 比例ハザードモデルについて Python の lifelines で試してみました。環境は以下です。  Python 3. 7 numpy 1. 17. 2 pandas 0. 25. 3 lifelines 0. 24. 4 matplotlib 3. 0. 3 参考書籍は 『生存時間解析入門 原書第2版』です。本書は主に, 生存時間データの回帰モデリングに焦点が当てられています。この記事では理論的な側面には触れないの... --- ### 【Python】取引シミュレーションの売買タイミング計算の効率化 - Published: 2020-03-18 - Modified: 2020-03-24 - URL: https://fisproject.net/2020/03/computation-efficiency-of-trading-simulation/ - カテゴリー: t2sy-note - タグ: Python 今回は小ネタ記事です。株や為替, または電力・原油など資源の取引市場では価格が刻々と変動します。今回は市場の価格履歴データから売買タイミングをシミュレーションする際の計算効率化についての備忘録です。 用途のひとつとして, 市場のアノマリー検証が考えられます。内容としてはかなり単純化したケースなので実際にシミュレーションを行うときは現実に則した工夫 (e. g. 予算や保持期間の制約や手数料など) が必要だと思います。 取引シミュレーションの売買タイミング計算 各時点の価格... --- ### 【GCP】『スケーラブルデータサイエンス』を読んだ - Published: 2020-03-04 - Modified: 2020-03-07 - URL: https://fisproject.net/2020/03/read-scalable-data-science-on-the-gcp/ - カテゴリー: t2sy-note - タグ: GCP, Machine Learning 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』を読んだので, 概要と GCP のデータ分析を支えるサービスを整理しておきます。 本書は Google Certified Professional - Data Engineer を取得する際にも役立ちました。 『スケーラブルデータサイエンス』の概要 本書の原著は Google の Valliappa Lakshmanan 氏による『Data Science on the Google Cl... --- ### 【GCP】gcloud の便利なフィルタリングとフォーマット化について - Published: 2020-02-01 - Modified: 2020-02-03 - URL: https://fisproject.net/2020/02/filtering-and-formatting-with-gcloud/ - カテゴリー: t2sy-note - タグ: GCP gcloud コマンドラインツールは GCP (Google Cloud Platform) 上のリソースやアプリケーションを管理するための CLI ツールで Google Cloud SDK の一部です。 この記事は,  gcloud コマンドラインツールで出力フォーマットを変更する --format フラグと, 結果のサブセットを選択する --filter フラグについての備忘録です。 これらのフラグを使い, Shell Script や設定ファイル化など用途に合ったフォーマットへの変換やフ... --- ### 【Book】2019年を振り返る - Published: 2019-12-27 - Modified: 2019-12-27 - URL: https://fisproject.net/2019/12/look-back-2019/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2019年を振り返る記事です。 Blog posts 2019年に投稿した記事は13本だった。全体的には Python に関する記事が多かった。また, 会社のテックブログに6本投稿した。 Books read 2019年は本を45冊買った。プログラミング関連では, プログラミングの基礎体力向上のため LeetCode を100 問解いたり, プログラミングコンテストチャレンジブック (通称: 蟻本) を読んだりした。読了した中で印象に残っている本を挙げて振り返ってみる。... --- ### 【Python】ダイクストラのアルゴリズムを書く - Published: 2019-11-22 - Modified: 2019-11-23 - URL: https://fisproject.net/2019/11/dijkstras-algorithm-in-python/ - カテゴリー: t2sy-note - タグ: Python 今回は, 『グラフ・ネットワークアルゴリズムの基礎 数理とCプログラム』の「第7章 最短パス」のダイクストラのアルゴリズムで紹介されている C のプログラムを Python に移植したという話です。実装の目的はコード化することで理解が曖昧な点を極力減らしていくことです。環境は Python 3. 7 です。 グラフ表現のデータ構造 グラフ (graph) はノード (node, vertex) とノードを結ぶエッジ (edge) で構成される数理モデルである。グラフ G ... --- ### 【LightGBM】Optuna に入門する - Published: 2019-10-22 - Modified: 2019-10-23 - URL: https://fisproject.net/2019/10/first-step-with-optuna-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python PyData. Tokyo Meetup #21 LightGBM / Optuna に参加してから1ヶ月程経ってしまいましたが, Optuna に入門しました。 pfnet/optuna 内の LightGBM の example を実行したのでインストールや使い方を備忘録として残しておきます。環境は macOS Mojave (10. 14. 2), Python 3. 7. 4 です。 Install Optuna Optuna はハイパーパラメータの最適化ツールで, その... --- ### 【Python】Profiling Flask - Published: 2019-09-08 - Modified: 2019-09-14 - URL: https://fisproject.net/2019/09/profiling-python-flask/ - カテゴリー: t2sy-note - タグ: Flask, Python 前回は Flask アプリケーションのテストとコードカバレッジの測定を行いました。今回は Flask アプリケーションの CPU とメモリ使用量のプロファイリングを試してみます。内容としてはライブラリやツールの紹介となっています。 前回と同様に Flask の Tutorial で紹介されている Flaskr と呼ばれる blog application を用いています。 CPU Profiling Memory Profiling Flask-DebugToolbar ... --- ### 【Python】Test and Coverage in Flask - Published: 2019-09-02 - Modified: 2019-09-23 - URL: https://fisproject.net/2019/09/test-and-coverage-in-flask/ - カテゴリー: t2sy-note - タグ: Flask, MySQL, Python 今回は, Flask の Tutorial で使われている Flaskr と呼ばれる blog application を用いて Flask のテストとコードカバレッジの測定を試してみたので備忘録を残しておきます。 Flaskr Flaskr は Flask の Tutorial で使われている blog application です。Flask のソースコードを GitHub から clone します。 $ git clone https://github. com/p... --- ### 【異常検知】Deep Anomaly Detection with Deviation Networks を読んだ - Published: 2019-08-12 - Modified: 2019-08-14 - URL: https://fisproject.net/2019/08/deep-anomaly-detection-with-deviation-networks/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics 今回は KDD ’19 に採択された論文 『Deep Anomaly Detection with Deviation Networks』 を読みましたので備忘録を残しておきます。 関連研究と課題 異常検知は以下をはじめとして様々な領域で使われている。 サイバーセキュリティ分野でのネットワーク攻撃の検出ファイナンス分野での不正取引の検出ヘルスケア分野での疾患の検出 これらの領域の異常検知では特徴の複雑な関係を捉える必要があり, 異常検... --- ### 【PySpark】Koalas の紹介 - Published: 2019-05-25 - Modified: 2019-05-26 - URL: https://fisproject.net/2019/05/introduction-to-koalas/ - カテゴリー: t2sy-note - タグ: Python, Spark, Ubuntu Koalas は Apache Spark 上に pandas DataFrame API を実装し, データサイエンティストのビッグデータに対する生産性向上を目的としたプロジェクトです。 pandas (tests, smaller datasets) と Spark (distributed datasets) の両方で動く単一のコードベースとできることを目指しているとあります。 Koalas プロジェクトは β 段階でリリースが早い (weekly release) ため最新の API は... --- ### 【Python/R】Nginx + JupyterLab でサーバ上にデータ分析環境を構築 - Published: 2019-04-05 - Modified: 2020-01-05 - URL: https://fisproject.net/2019/04/install-jupyterlab-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Python, R, Ubuntu VPS (Virtual Private Server) の Ubuntu 上に Nginx + JupyterLab でデータ分析環境 (Python, R) を構築した時のメモです。個人用途のため JupyterLab を選択しましたが, マルチユーザの環境が必要な場合は JupyterHub があります。環境は以下です。 Ubuntu 16. 04. 2 LTSJupyterLab 0. 34. 12Python 3. 5. 5R 3. 5. 3 JupyterLab Anaco... --- ### 【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (後編) - Published: 2019-03-23 - Modified: 2019-08-12 - URL: https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-2/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 前半は 深層異常検知 (Deep Anomaly Detection; DAD) のアーキテクチャの分類や長所・短所の紹介でした。後編は DAD の様々な領域への応用についてですが, 膨大な参考文献のため実質リンク集となっています。文献を徐々に読み進めて内容を追記する予定です。 Deep Anomaly Detection (DAD) の応用領... --- ### 【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (前編) - Published: 2019-03-10 - Modified: 2019-08-12 - URL: https://fisproject.net/2019/03/deep-learning-for-anomaly-detection-1/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, Statistics Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 異常検知の分野では Anomaly Detection : A Survey が有名なサーベイ論文だと思いますが, 深層学習の台頭でアップデートされた部分も多く, 本サーベイ論文は良いガイドラインとなりそうです。References が膨大なため前編/後編に分けます。 導入 異常検知と新規性検知 深層異常検知 (Deep anoma... --- ### 【情報検索】Learning to Rank の基礎 - Published: 2019-02-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/02/introduction-to-learning-to-rank/ - カテゴリー: t2sy-note - タグ: Machine Learning, Statistics Learning to Rank について調べたことを備忘録として残しておきます。初学者のため, 詳細や不明な点は参考文献をご覧下さい。 ランキング問題 ランク学習 ランク学習のアプローチ LETOR ランキング問題 ランク学習の典型的なアプリケーションに文書検索システムがある。 システムは文書集合 D = {d_1, d_2, ... , d_n} を保持している。クエリ集合を Q = {q_1, q_2, ... , q_m} として, クエリ q_i が与えられると,... --- ### 【R】k-Shape による株価の時系列クラスタリング - Published: 2019-01-24 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/01/time-series-clustering-of-stock-price-by-k-shape/ - カテゴリー: t2sy-note - タグ: Machine Learning, R 今回は, 取引関係のある企業の株価変化率の時系列を k-Shape という時系列クラスタリング手法で調べてみます。 企業間取引と株価 k-Shape R で k-Shape 実行環境は以下です。 R: 3. 5. 1 dtwclust: 5. 5. 1 dplyr: 0. 7. 8 企業間取引と株価 総売上に対して10%以上を占める取引先がある場合, 有価証券報告書の「生産、受注及び販売の状況」に開示する義務がある。企業間取引 (BtoB) と株価の関係は, 企業間の取引関係をノ... --- ### 【Python】安定結婚問題と Gale-Shapley アルゴリズム - Published: 2019-01-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2019/01/stable-marriage-problem-and-gale-shapley-algorithm/ - カテゴリー: t2sy-note - タグ: Python 今回は 『その問題、数理モデルが解決します』の第 6 章 アルバイトの配属方法 にでてくる Gale-Shapley アルゴリズムを Python で試してみました。 実行環境は Python 3. 7. 0 です。 安定マッチングと安定結婚問題 参考書籍では, アルバイトの配属を題材に 1:1 マッチングを扱っている。本記事では男性と女性の 1:1 マッチングに置き換える。 男性の集合を M = {a, b, c}, 女性の集合を W = {A, B, C} とする。 男... --- ### 【WordPress】PHP 5.5.x から PHP 7.0.x への移行 - Published: 2019-01-03 - Modified: 2019-01-04 - URL: https://fisproject.net/2019/01/upgrading-from-php-5-5-to-php-7-0/ - カテゴリー: t2sy-note - タグ: Nginx, PHP, WordPress WordPress (5. 0. 2) の PHP を 5. 5. 9 から 7. 0. 33 にアップグレードしたので備忘録を残しておきます。 移行前のバージョンの確認 PHP 7. 0. x のインストール FastCGI / Nginx の設定変更 環境は Ubuntu 14. 04 です。 移行前のバージョン確認 現在インストールされている PHP のバージョンを確認する。 $ which php /usr/bin/php $ ls -l $(which php) lrwxrwx... --- ### 【Book】2018年を振り返る - Published: 2018-12-30 - Modified: 2019-12-27 - URL: https://fisproject.net/2018/12/look-back-2018/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 年末に振り返る記事も5回目となりました。2018年を振り返ってみます。 Blog posts 2018年に投稿した記事は20本だった。 前半は R, 後半は Python について書くことが多かった。また, 会社のテックブログに2本投稿した。 Books read 2018年は本を53冊買った。読了した中で印象に残っている本を挙げて振り返ってみる。 『深層学習』 『ベイズモデリングの世界』 『データマイニングによる異常検知』 『PythonとKerasによるディープラー... --- ### 【async/await】Python のネイティブコルーチン, 非同期イテレータ, 非同期コンテキストマネージャ - Published: 2018-12-28 - Modified: 2018-12-29 - URL: https://fisproject.net/2018/12/coroutines-with-async-and-await/ - カテゴリー: t2sy-note - タグ: Python 前回は yield from (PEP 380) を用いたジェネレータベースのコルーチンを紹介しました。 今回は Python 3. 5 で追加された async/await キーワード を用いたネイティブコルーチンや非同期イテレータ, 非同期コンテキストマネージャについてです。本記事の内容は以下です。 async/await aysnc for aysnc with 実行環境は macOS 10. 13. 6, Python 3. 6. 7, IPython 7. 2. 0 です。 ... --- ### 【yield】Python のジェネレータとコルーチン - Published: 2018-12-22 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/12/python-generators-coroutines/ - カテゴリー: t2sy-note - タグ: Python 今回は Python のジェネレータとコルーチンについて調べたので備忘録として残しておきます。本記事の内容は以下です。 ジェネレータ コルーチン yield from 実行環境は macOS 10. 13. 6, Python 3. 5. 1 です。 ジェネレータ 反復はデータ処理の基本となるが, メモリに収まりきらない規模のデータをスキャンする場合, 要素を怠惰に1つずつ取ってくる方法が必要となる。怠惰な実装では値の生成をギリギリまで引き伸ばすことでメモリを節約できる。これを... --- ### 【tmux】macOS のターミナル周辺のセットアップ - Published: 2018-11-23 - Modified: 2019-01-10 - URL: https://fisproject.net/2018/11/setup-macos-terminal/ - カテゴリー: t2sy-note 新しい macOS 端末を導入する度にターミナル周辺 (brew, bash, iTerm2, tmux) のセットアップ手順を調べて時間がかかってしまうので, 個人的な備忘録として残しておきます。 macOS 10. 13. 6 で確認しています。 Homebrew bsah iTerm2 tmux MacTeX Homebrew Homebrew (brew command) をインストールする。 $ /usr/bin/ruby -e "$(curl -fsSL htt... --- ### 【Keras】S3 + Lambda + EC2 で作る画像認識システム - Published: 2018-11-11 - Modified: 2018-12-02 - URL: https://fisproject.net/2018/11/image-recognition-system-with-aws-and-keras/ - カテゴリー: t2sy-note - タグ: AWS, Linux, Machine Learning, Python 今回は Amazon S3 + AWS Lambda + Amazon EC2 (Keras, Flask) で作る画像認識システムの例について書きます。 AWS構成 今回のAWS構成は以下。画像ファイルの S3 Put イベントをトリガにして Lambda から画像認識 API Server にアクセスし, 推論結果を S3 に保存。 API Gateway (Amazon Cognito) -> Lambda にすることで認証や監視機能を持たせた API サービスに... --- ### 【Linux】Docker / Kubernetes 入門 - Published: 2018-11-05 - Modified: 2019-09-23 - URL: https://fisproject.net/2018/11/introduction-to-docker-and-kubernetes/ - カテゴリー: t2sy-note - タグ: Debian, Golang, Linux Docker/Kubernetes に入門したので備忘録を残しておきます。 Docker Docker Compose Kubernetes 環境は macOS 10. 13. 6, Docker for Mac 18. 06. 1-ce (Compose: 1. 22. 0, Kubernetes: 1. 10. 3)です。 Docker for Mac は内部で FreeBSD の bhyve hypervisor を macOS に移植した xhyve hypervisor を使っています。bhyve は... --- ### 【Linux】KVM 入門 - Published: 2018-10-25 - Modified: 2019-05-02 - URL: https://fisproject.net/2018/10/introduction-to-kvm/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel, Ubuntu KVM を触る機会があったので備忘録を残しておきます。復習として Ubuntu 16. 04 (Host OS) 上に KVM で CentOS7 (Guest OS) を立てます。 KVMと周辺技術 QEMU QEMU は OSS のエミュレータで Type 2 hypervisors に分類される。アプリケーション型 VM で CPU エミュレーションの機能もあるが KVM と組み合わせる場合は主に Virtual I/O の機能を担う。Debian, Ubuntuの... --- ### 【Go】gRPC から REST API Server をつくる - Published: 2018-09-23 - Modified: 2018-12-31 - URL: https://fisproject.net/2018/09/translates-grpc-into-rest-json-api-with-go/ - カテゴリー: t2sy-note - タグ: Golang, gRPC 今回は Go で gRPC から REST API Server をつくる方法の備忘録です。 gRPC Protocol Buffers gRPC-Go grpc-gateway gRPC Client RESTful JSON API Server Swagger Go のバージョンは 1. 11 です。 $ go version go version go1. 11 darwin/amd64 gRPC gRPC (gRPC Remote Procedure Calls)... --- ### 【Python】Keras で VAE 入門 - Published: 2018-09-15 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/09/vae-with-python-keras/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, Statistics NN による生成モデルの主な手法として VAE (variational autoencoder) と GAN (generative adversarial network) の2つが知られています。今回は頭の中を整理する目的で VAE の備忘録を残しておきます。 AE (autoencoder) VAE (variational autoencoder) VAE を Keras で実装 AE 自己符号化器 (autoencoder; AE) は入力を出力にコピーする... --- ### 【Python】scikit-learn Pipeline と前処理の設定ファイル化 - Published: 2018-07-22 - Modified: 2018-10-16 - URL: https://fisproject.net/2018/07/pipeline-using-scikit-learn/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 今回は scikit-learn の Pipeline 内のパラメータに渡す値を実験的に設定ファイル化してみた話です。 sklearn. pipeline. Pipeline sklearn. pipeline. Pipeline を上手く使うとfit, transform, predict を一つの Python オブジェクトにまとめられコードが簡潔になったり, 手続き型的なコードと比較してミスが減りやすくなる利点がある。 前処理に関する変換を scikit-learn ぽい... --- ### 【PySpark】Amazon S3 の JSON を DataFrame で読み込む - Published: 2018-06-24 - Modified: 2019-03-16 - URL: https://fisproject.net/2018/06/reading-json-from-amazon-s3-as-apache-spark-dataframe/ - カテゴリー: t2sy-note - タグ: AWS, Python, Spark 今回は PySpark で Amazon S3 の JSON を DataFrame で読み込む Tips です。環境は macOS 10. 13. 5, Apache Spark 2. 3. 0 です。 S3 の JSON を DataFrame で読み込む Amazon S3 に置いてある以下のような JSON を DataFrame として読み込みたい。 $ ls *. json alice. json bob. json eve. json $ cat *. json {"nam... --- ### 【CUDA】Ubuntu 16.04 (GPU) に Keras/TensorFlow 環境を構築 - Published: 2018-05-28 - Modified: 2018-10-07 - URL: https://fisproject.net/2018/05/install-keras-with-tensorflow-backend-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, Ubuntu 今回は Ubuntu 16. 04 LTS (GPUインスタンス) に Keras/TensorFlow 環境を構築する手順の備忘録です。 NVIDIA Driver CUDA Toolkit NVIDIA cuDNN Python Keras/TensorFlow NVIDIA Driver NVIDIA Driver をインストールする。 $ sudo add-apt-repository ppa:graphics-drivers/ppa -y $ sudo apt-get update $ ... --- ### 【Spark】pyspark.sql.DataFrame クラスのメソッド - Published: 2018-04-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/04/methods-of-the-pyspark-sql-dataframe-class/ - カテゴリー: t2sy-note - タグ: Python, Spark 今回は pyspark. sql. DataFrame クラスの主要なメソッドを備忘録用にまとめてみました。 環境は macOS 10. 13. 3, Apache Spark 2. 3. 0 です。 データ構造の確認 射影・抽出 要約統計量 結合 統合 (連結) グループ化・集約 欠測値の確認・削除・補完 重複値の削除 置換・ソート サンプリング データ形式の変換 日時の変換 PySparkの起動 Spark は Download Apache Spark から DL できる。 ... --- ### 【R / Python】UMAP でアクセスログを可視化してみた - Published: 2018-04-14 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/04/access_log_embedded_via_umap/ - カテゴリー: t2sy-note - タグ: Python, R 今回は UMAP で当ブログのアクセスログ (Nginx) を可視化してみます。実行環境は macOS 10. 13, CPU 1. 6GHz Intel Core i5, メモリ 8GB です。 UMAP 次元削減のアルゴリズムは大きく2つのカテゴリに分類される。 データ内の距離構造を保持する手法 (e. g. PCA, MDS adn Sammon mapping) 大域的な距離の上で局所的な距離を保持する手法 (e. g. t-SNE, Isomap, LargeVis, Laplacian ei... --- ### 【Ubuntu 16.04】RStudio Server のインストール - Published: 2018-04-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/04/installing-rstudio-server-on-ubuntu/ - カテゴリー: t2sy-note - タグ: Linux, R, Ubuntu 今回は Ubuntu 16. 04 に RStudio Server をインストールする備忘録です。 R のインストール RStudio Server のインストール RStudio Server にログイン R のインストール Ubuntu 16. 04 に R をインストールする。 ubuntu@ubuntu /home/ubuntu/tmp]$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16. 04 DISTRIB_CODENA... --- ### 【Python】Selenium WebDriver で Firefox に Geolocation を設定する - Published: 2018-03-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2018/03/geolocation-in-selenium-webdriver-with-firefox/ - カテゴリー: t2sy-note - タグ: Python Selenium WebDriver で Firefox に Geolocation を設定する方法です。Firefox 53. 0, Selenium 3. 4. 1 で動作を確認しています。 Selenium WebDriver で Firefox に Geolocation を設定 Firefox で位置情報に関する設定は about:config にアクセスし geo と入力するとパラメータが絞り込まれ確認できる。 Selenium WebDriver で任意の位置情... --- ### 【devtools】 LINE Notify する R パッケージを作った - Published: 2018-02-19 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/02/send-message-to-line-from-r/ - カテゴリー: t2sy-note - タグ: R LINE Notify を使って R から LINE にメッセージや ggplot object を送信する {lineNotify} パッケージを作りました。 動機は 2018 年は R パッケージ開発に入門したいと思っていて最初に思いついたのが Slack への通知でしたが既に {slackr} パッケージがありましたので LINE Notify にしました。 LINE Notify LINE Notify は様々な Web サービスからの通知を LINE で受信することが出来るサービスです... --- ### 【R】k近傍法による異常検知 - Published: 2018-02-11 - Modified: 2019-08-12 - URL: https://fisproject.net/2018/02/anomaly-detection-using-knn/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, R 今回は『異常検知と変化検知』 (機械学習プロフェッショナルシリーズ) - 4章 近傍法による異常検知 の 4. 1. 2 ラベルつきデータに対するk近傍法による異常検知を R で実装してみました。 k近傍法による異常検知 k近傍法 (k-nearest neighbor algorithm) は, 特徴空間上で最も近い距離にある訓練データ (経験分布) に基づいて分類/回帰を行う手法。 参考書では, ラベルがないデータとあるデータの双方に対するk近傍法による異常検知について紹介されている。 ラベルつ... --- ### 【bnlearn】R でベイジアンネットワーク入門 - Published: 2018-01-28 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/01/bayesian-network-in-r-introduction/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回はベイジアンネットワークについて調べてみました。 グラフィカルモデル ベイジアンネットワーク ベイジアンネットワークの構造学習 ベイジアンネットワークのパラメータ学習 R でベイジアンネットワーク 1. グラフィカルモデル グラフィカルモデルは確率モデルにグラフ構造を与える。グラフィカルモデルには大きく以下の2種類がある。 ベイジアンネットワーク: 確率的な因果関係をモデル化。有向非巡回グラフで表現。 マルコフ確率場: 確率的な相互の依存関係をモデル化。無向グラフで... --- ### 【表現式】Rでメタプログラミングの基礎 - Published: 2018-01-06 - Modified: 2019-03-27 - URL: https://fisproject.net/2018/01/metaprogramming-in-r/ - カテゴリー: t2sy-note - タグ: R 今まで R パッケージユーザでしたが, 2018年は何かしら R パッケージを開発できたらと考えています。開発を行う上でRにおけるメタプログラミングの知識は必要と思い調べてみました。 表現式 表現式の捕捉 関数呼び出しの構築 表現式の評価 stats::lm の仕組み モデルの更新 表現式 Rプログラミング本格入門 から R におけるメタプログラミングについて言及している箇所を引用する。 メタプログラミングによって, 言語そのものに手を加えて, 特定のシナリオで使わ... --- ### 【Book】2017年を振り返る - Published: 2017-12-27 - Modified: 2019-12-27 - URL: https://fisproject.net/2017/12/look-back-2017/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 今年も残り僅かですね。2017年を簡単に振り返ってみます。 Blog posts 2017年に投稿した記事数は 26 だった。 Python, R, Scala, Go について書くことが多かった。 Scala は今年から始めたけど中々良い言語だと思った。JVM上で動くプログラミング言語として初めて触った言語だった。来年も新しいプログラミング言語にチャレンジしたい。 Books read 2017年は本を 72冊 買った。読了した中で印象に残っている本を挙げてみる。 恐... --- ### 【Python】pandas でデータ操作 (後編) - Published: 2017-12-16 - Modified: 2019-05-25 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part3/ - カテゴリー: t2sy-note - タグ: Python pandas でデータ操作する時の Tips (後編) です。今回は時系列データの処理を中心に取り上げます。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 一定頻度の日時の取得 差分系列の取得 前方/後方へのシフト リサンプリング 窓関数の移動 OHLCの計算 1. 一定頻度の日時の取得 pandas. date_range は一定の頻度の DatetimeIndex を返す。DatetimeIndex には 日時の ... --- ### 【Python】pandas でデータ操作 (中編) - Published: 2017-12-13 - Modified: 2019-05-25 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part2/ - カテゴリー: t2sy-note - タグ: Python pandas でデータを操作する時の Tips (前編の続きの中編) です。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 連結 (concat, append) 結合 (merge, join) 適用 (apply) 写像 (map) 集約 (aggregate) グループ化 (groupby) 1. 連結 (concat, append) pandas. concat は pandas オブジェクトを連結する。Da... --- ### 【Python】pandas でデータ操作 (前編) - Published: 2017-12-08 - Modified: 2019-07-09 - URL: https://fisproject.net/2017/12/data-handling-with-pandas-part1/ - カテゴリー: t2sy-note - タグ: Python pandas でデータを操作する時の Tips (前編) です。最近, pandas を使う機会が増えてきたので備忘録を残しておきます。前編は基本的な前処理に関する内容です。 環境は Python 2. 7. 11, pandas 0. 20. 3 です。 今回扱う内容は以下です。 要約統計量 相関・共分散 文字列の分割 ダミー変数化 long と wide の変換 欠測値の削除 欠測値の補完 値でソート インデックスの振り直し 重複値の削除 順序性を持つ質的変数の数値化 値の部分置換 分位数 date... --- ### 【R】時系列データに関する基本的な検定 - Published: 2017-11-12 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/11/statistical-test-on-time-series-data/ - カテゴリー: t2sy-note - タグ: R, Statistics 時系列データに関する基本的な検定について調べてみました。 Granger の因果性検定は 【R】金利と日経平均株価の関係【Granger因果】 で扱ったので今回は省略しました。 環境は macOS 10. 12, R 3. 3. 1 です。 はじめに 架空の日次PVデータを例に以下の検定を行ってみる。 名称 検定内容 ADF検定 単位根検定 PP検定 単位根検定 Engle-Granger検定 共和分検定 Phillips-Ouliaris検定 共和分検定 連検定 非独立性の検定 BDS検定 非独立性... --- ### 【MCMC】Stan で状態空間モデリング - Published: 2017-10-08 - Modified: 2020-02-01 - URL: https://fisproject.net/2017/10/state-space-model-with-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics 前回の {dlm} を用いた状態空間モデルを Stan でも試してみます。 今回も備忘録になります。環境は macOS 10. 12, R 3. 3. 1, rstan 2. 16. 2 です。 はじめに 前回も使った架空の日次PVデータに曜日 (0-6), 広告費, イベント (長期休暇) を表す変数を追加する。 広告費は pv 増加要因, 長期休暇は pv 減少要因の想定とする。 > head(df) X date pv week ad vacation 1 1 2016/9/1 490 0 0... --- ### 【dlm / Kalman Filter】R による状態空間モデリング - Published: 2017-09-24 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/09/state-space-model-with-r/ - カテゴリー: t2sy-note - タグ: R, Statistics {dlm} を用いた状態空間モデリングの個人的な備忘録です。 はじめに 以下の3つの基本的な状態空間モデルを扱う。 環境は macOS 10. 12, R 3. 3. 1, dlm 1. 1-4 ローカルレベルモデル ローカル線型トレンドモデル 季節要素のあるローカル線型トレンドモデル 以下の架空の日次PVデータを用いる。(n=365) ローカルレベルモデル (ランダムウォークプラスノイズモデル) ローカルレベルモデルは以下の観測方程式 (上) と状態方程式 (下) からなる。... --- ### 【Python】t-SNE による Fashion-MNIST の可視化 - Published: 2017-09-09 - Modified: 2019-05-26 - URL: https://fisproject.net/2017/09/visualization-of-fashion-mnist-using-tsne/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 最近公開された Fashion-MNIST データセットに対して t-SNE を試しました。環境は以下です。 macOS 10. 12. 6 CPU Core i5 1. 6 GHz メモリ DDR3 8GB Python 2. 7. 13 t-SNE SNE (Stochastic Neighbor Embedding) は非線形次元削減の手法。サンプル間の類似度を条件付き確率で表現する。例えば, ある点 i から別の点 j との類似性は i を中心とするガウス分布で定... --- ### 【Linux / Go】遅延書き込みと fsync(2) - Published: 2017-08-27 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/08/lazy-write-back-and-fsync2/ - カテゴリー: t2sy-note - タグ: Golang, Linux, Linux-kernel Redis のデータ永続化には スナップショットの RDB (Redis DataBase) と テキストログの AOF (Append-Only File) があります。AOF では fsync(2) によりメモリ上のデータを毎秒などの短い間隔 (always/everysec/no) でディスクに書き出すことで障害時のデータの損失をなるべく最小限にする方法が取られています。 今回は 遅延書き込み (Lazy Write Back) を行う write(2) と明示的にページキャッシュをディス... --- ### 【goroutine】Go で Random Forest を書いてみた - Published: 2017-08-15 - Modified: 2019-05-13 - URL: https://fisproject.net/2017/08/random-forest-implemtation-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning 『アンサンブル法による機械学習: 基礎とアルゴリズム』を読んでいます。原著の Ensemble Methods: Foundations and Algorithms は Web で閲覧できます。 今回は Random Forest を Go で書いてみました。決定木は Python で書いていたのでその拡張でも良かったのですが, Go の goroutine による並行処理はバギングにおける並列処理に向いているのもあり書いてみました。 アンサンブル法 アンサンブル法は... --- ### 【Ubuntu / CentOS】 SysV init と systemd で自作コマンドのサービス化 - Published: 2017-08-01 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/08/how-to-daemonize-sysvinit-and-systemd/ - カテゴリー: t2sy-note - タグ: Linux, Ubuntu 既に多くのLinuxディストリビューションで initシステム は SysV init や Upstart から systemd に移行が済んでおり, Ubuntu 15. 04, CentOS 7, Debian jessie から default となっています。 もはや systemd を積極的に使わない理由はないのかもしれないですが, 最近いくつかの脆弱性 (CVE-2017-1000082, CVE-2017-9445 etc) の発見もあり SysV init のサービス起動スクリプト... --- ### 【Ubuntu】monit によるプロセス監視と Slack 通知 - Published: 2017-07-23 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/07/slack-notification-from-monit/ - カテゴリー: t2sy-note - タグ: Linux, Ubuntu 今回は monit の導入とプロセス再起動時に Slack に通知する方法についてです。 monit monit は手軽にシステムリソースやファイルシステム, プロセスの監視とプロセス停止時に自動起動してくれるツール。ローカルホストだけでなくリモートホストに TCPやUDP, UNIXドメインソケットで接続して監視もできる。 今回はデーモンプロセスの監視に使うが, ファイルシステム監視をサポートしておりタイムスタンプやチェックサムの変更なども検知できる。 環境は Ubuntu 14. 04. 5 L... --- ### 【Spark / Scala】BigDL で回帰モデル - Published: 2017-06-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/06/bigdl-regression-model/ - カテゴリー: t2sy-note - タグ: Machine Learning, Scala, Spark BigDL は Apache Spark 上で動く分散 Deep Learning ライブラリ。Examples にテキスト分類や画像分類の例が含まれています。今回は簡単な回帰モデルを試してみました。 環境は macOS 10. 12. 3, Scala 2. 11. 8, BigDL 0. 2. 0です。 BigDLの入手 Downloads からビルド済の BigDL を DL する。 $ wget https://oss. sonatype. org/content/groups/public/com/i... --- ### 【identical】Rで関数の比較 - Published: 2017-06-05 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/06/compare-functions-in-r/ - カテゴリー: t2sy-note - タグ: R 久しぶりに R を書いてるときに, 2つの関数が等しいか比較したくなる場面に出くわしたので少し調べてみました。 identical 結論としては identical で関数を含めた Rのオブジェクトの比較ができた。以下のように論理値が返る。 > identical(max, max) TRUE > identical(max, min) FALSE 調べるきっかけとなったのは lapply で list の要素に適用する関数に渡す関数によって処理を変えたい場面に出くわしたから。 ... --- ### 【Spark / Eclipse】ScalaTest + spark-testing-base - Published: 2017-05-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/05/unit-test-using-scalatest-and-spark-testing-base/ - カテゴリー: t2sy-note - タグ: Scala, Spark Sparkアプリケーションの開発言語で Scala を選択する利点に Unit Test が書きやすい点があると思います。Python は豊富な機械学習とその周辺ライブラリが使える一方, Spark を使うテストは少々工夫が必要な印象があります。 今回は ScalaTest + spark-testing-base で Sparkアプリケーションのテストを書いてみました。コマンドからのテスト実行と Eclipse でのテスト実行も試してみました。 環境は macOS 10. 12. 3, Scala... --- ### 【match】Scala のパターンマッチ - Published: 2017-05-15 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/05/pattern-matching-in-scala/ - カテゴリー: t2sy-note - タグ: Scala 参考にした本は Scalaスケーラブルプログラミング 第3版 第15章 ケースクラスとパターンマッチ です。 環境は macOS 10. 12. 3, Scala 2. 12 です。 パターンマッチ match 式は `selector match { case pattern => expr }` のように書き, パターンが match するとその後ろの式が評価される。 主なパターンマッチの種類には以下がある。 ワイルドカードパターン 定数パターン 変数パターン コンストラクタパターン シーケンスパ... --- ### 【Seq / Map】Scala のコレクションについて調べてみた - Published: 2017-05-04 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/05/scala-collection/ - カテゴリー: t2sy-note - タグ: Scala Spark アプリケーションを書くために Scala の勉強をしています。Python でも良いのですが Spark 自体が Scala で書かれていることもあって親和性は高いです。 参考にした本は『 Scalaスケーラブルプログラミング』 第3版 第24章 コレクションの探求 で, Scalaコレクション の概要と基本となる Seq, Set, Map について書きます。 環境は macOS 10. 12. 3, Scala 2. 12 です。 Scalaについて Scala がどのような言語かは改... --- ### 【Scala】Spark の DataFrame ハンドリング - Published: 2017-04-30 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/04/spark-dataframe-handling-tips/ - カテゴリー: t2sy-note - タグ: Scala, Spark Spark DataFrame の勉強中です。 今回は, 以下の (1) のような stringify された JSON を Parseし query パラメータ部分を (key, value) に分割, 最終的に (2) の DataFrame を得るのが目的。 # (1) input dataframe +----------------------------------------------------------------------------------------------... --- ### 【sysctl】Linux カーネルパラメータのチューニング - Published: 2017-04-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/04/tuning-kernel-parameters-for-linux/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel HTTP(S)サーバの負荷テストをしている中でネットワーク関連の Linux カーネルパラメータのチューニングについて興味を持ったので調べてみた。 参考文献は 詳解 システム・パフォーマンス の 10章 ネットワーク 10. 8 チューニング 辺り。 環境は Ubuntu 14. 04 ulimit(3) クライアントからの同時接続に対してサーバのファイルディスクリプタ数を上限を変えてみる。ファイルディスクリプタ数 (open files) は 1024 となっていた。 $ ulimit -a co... --- ### 【Go 1.8】net/http の 400 Bad Request の扱いについて - Published: 2017-03-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/03/bad-request-logging-in-go/ - カテゴリー: t2sy-note - タグ: Golang Go の HTTPルータ github. com/julienschmidt/httprouter の Router型 には NotFound http. Handler や MethodNotAllowed http. Handler があり, Handler 内で access. log に残すなどの追加の処理が書ける。 package main import ( "fmt" "github. com/julienschmidt/httprouter" "log" "net/http" ) func ... --- ### 【check digit】 Damm を Go で書いてみた - Published: 2017-03-07 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/03/damm-algorithm-in-go/ - カテゴリー: t2sy-note - タグ: Golang Go の Tips に追記してもよかったのですが, 長くなってきたので独立して書きます。 チェックディジット チェックディジット (Check Digit) は数字列の誤りを検出するための数値。身近な例だと, マイナンバーにも Modulus11 Weight2~7 というチェックデジットが使われている。 ちなみに, bit列などに対して誤りの検出と訂正が行える仕組みを ECC (Error Check and Correct) といいハミング符号が有名。 Damm Dammはラテン方格 （La... --- ### 【Hyperopt】XGBoost で DART を試してみる - Published: 2017-03-04 - Modified: 2019-05-12 - URL: https://fisproject.net/2017/03/dart-of-xgboost-with-hyperopt/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, XGBoost 環境は以下です。 macOS siera Python 2. 7. 13 xgboost==0. 6a2 hyperopt==0. 1 DART DART: Dropouts meet Multiple Additive Regression Trees はMART (多重加法回帰木) におけるアンサンブルのサイズの増加時に現れる特定のインスタンスでの一種の over-fit を起こす問題 (over-specialization) に... --- ### 【R / Linux】sar で収集したデータの可視化 - Published: 2017-02-10 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/02/visualization-of-the-data-collected-by-sar/ - カテゴリー: t2sy-note - タグ: Linux, R sysstat はシステム監視 (system monitoring) のツールです。今回は sar で収集したシステムに関するデータを R で可視化してみます。 環境は Ubuntu14. 04 です。 sar sar (system admin reporter) はシステムの性能測定や負荷テストを行いたいときに便利なコマンド。 $ sar -V sysstat version 10. 2. 0 (C) Sebastien Godard (sysstat orange. fr) Ubuntu では ... --- ### 【JSON】Go の Tips - Published: 2017-01-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2017/01/golang-tips/ - カテゴリー: t2sy-note - タグ: Golang Go の Tips をいくつか書き残しておきます。 json. Marshalで "", "&" をエスケープさせたくない JSON を簡単に扱いたい 日時文字列を TimeStamp に変換したい ファイルの存在確認をしたい 見通しの良いユニットテストを書きたい HTTP Server の Handler のテストを書きたい ハッシュ文字列を数値列に変換したい Auto Build Versioning したい map で function を使いたい 環境は g... --- ### 【KVS】Redis Lua Scripting で簡単な集計 - Published: 2017-01-01 - Modified: 2018-07-27 - URL: https://fisproject.net/2017/01/introduction-of-redis-lua-scripting/ - カテゴリー: t2sy-note - タグ: Lua, Redis 今回は Redis Lua Scripting で簡単な集計をしてみます。Redis はシングルスレッドで動作する高速なインメモリKVSです。 データの準備 key の形式を {timestamp}:{category} としたデータを投入する。 $ redis-cli MSET 1482671169:ctg1 "{\"count\": 10, \"item\": \"AAA\"}" 1482671160:ctg1 "{\"count\": 5, \"item\": \... --- ### 【Book】2016年を振り返る - Published: 2016-12-25 - Modified: 2019-12-27 - URL: https://fisproject.net/2016/12/look-back-2016/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 今年も残り僅かですね。2016年 を簡単に振り返ってみます。 Blog posts 2016年に投稿した記事数は 33 だった。 上半期は R や Python が中心。下半期の後半には OpenCV3, Spark, Redis, Lua など少し手を広げてみた。 Books read 2016年は本を 121冊 買った。読了した中で印象に残っている本を挙げてみる。 Sparkによる実践データ解析――大規模データのための機械学習事例集 ゼロから作るDeep Learn... --- ### 【R】defaultPackages 以外の全てのパッケージを detach する - Published: 2016-12-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/detach-packages-except-defaultpackages/ - カテゴリー: t2sy-note - タグ: R R で getOption("defaultPackages") + {base}パッケージ 以外の全てのパッケージを detach するTip。 Rセッション開始時の sessionInfo は以下。 > sessionInfo R version 3. 3. 1 (2016-06-21) Platform: x86_64-apple-darwin13. 4. 0 (64-bit) Running under: OS X 10. 12. 1 (Sierra) locale... --- ### 【Redis / Nginx】Programming in Lua (first edition) Part I のメモ - Published: 2016-12-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/reading-programming-in-lua/ - カテゴリー: t2sy-note - タグ: Lua この記事は Redis Advent Calendar 2016, 18日目の記事です。 Programming in Lua (first edition) を読んで Luaに入門してみたのでメモを残しておきます。きっかけは Redis の Lua Scripting をやる機会ができたからです。 Part I から IV までありますが長いので 今回は Part I の印象に残ったところを書きます。 ちなみに First Edition は Lua 5. 0 を前提に書かれています。 現在 (... --- ### 【KVS】CentOS 6 に Redis-Cluster を構築する - Published: 2016-12-11 - Modified: 2018-10-30 - URL: https://fisproject.net/2016/12/create-redis-cluster-on-centos6/ - カテゴリー: t2sy-note - タグ: Redis CentOS 6. 8 に Redis-3. 2. 5 をインストールし, Redis-Cluster を構築するメモです。 (2018-10-30: 2018-10-17 にリリースされた Redis 5. 0. 0 ではクラスターの構築方法が変更となったため追記しました) CentOS 6 に Redis インストール Redis-Cluster の構築 Redis-Cluster の Failover 機能を試す Redis-Cluster 構築時の Troubleshooting [quads i... --- ### 【Go / Python】MessagePack の Encode/Decode を複数の言語で試す - Published: 2016-12-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/12/messagepack-of-some-languages/ - カテゴリー: t2sy-note - タグ: Golang, Python, Scala 仕事でバイナリフォーマットを扱う機会がありそうなので MessagePack の Encode/Decode を Go, Python, Scala で試してみました。 macOS: 10. 12. 1 Go: 1. 7 Python: 2. 7. 12 Scala: 2. 12. 0 データの準備 以下の JSON を msgpack-cli で MessagePack にシリアライズする。 $ go get github. com/jakm/msgpack-cli $ cat te... --- ### 【Apache Spark】NMF (ALS) による推薦を試してみた - Published: 2016-11-28 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/spark-ml-recommendation-als/ - カテゴリー: t2sy-note - タグ: Hadoop, Machine Learning, Python, Spark 前回, 構築した Spark on YARN 環境で ml/recommendation/ALS を試してみます。 実行環境は以下です。 macOS: 10. 12. 1 Java: 1. 8. 0_111 Apache Hadoop: 2. 7. 3 Apache Spark: 2. 0. 2 HDFS にデータをロード 今回使う data/mllib/als/sample_movielens_ratings. txt は左から, ユーザID, アイテムID, レイティング, 時間 となっている。 レイティング... --- ### 【Hadoop】macOS に YARN 上の Spark 実行環境を構築 - Published: 2016-11-23 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/11/spark-applications-on-yarn-macos/ - カテゴリー: t2sy-note - タグ: Hadoop, Spark 今回は macOS で Standalone Mode ではない YARN上の Spark 実行環境を構築するメモです。 macOS: 10. 12. 1 Java: 1. 8. 0_111 Apache Hadoop: 2. 7. 3 Apache Spark: 2. 0. 2 Apache Hadoop 2. 7. 3 JDKがなければインストールする。 $ java -version java version "1. 8. 0_111" Java(TM) SE Runtime Envir... --- ### 【Python】OpenCV3で画像処理を学ぶ (2) - Published: 2016-11-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/image-processing-with-opencv3-2/ - カテゴリー: t2sy-note - タグ: OpenCV, Python 前回に引き続き, 画像処理の基礎を OpenCV3 を使って勉強します。参考書籍は,『OpenCVによる画像処理入門』です。 実行環境は前回と同様です。macOS Sierra, Python 2. 7. 12。 In : import cv2 ... : import numpy as np ... : from matplotlib import pyplot as plt 今回は以下の画像処理, 主にフィルタ処理を試してみます。 平滑化フィルタ エッジ検出フィルタ 二値画像処理 画像間演算 ... --- ### 【Python】OpenCV3で画像処理を学ぶ (1) - Published: 2016-11-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/11/image-processing-with-opencv3/ - カテゴリー: t2sy-note - タグ: OpenCV, Python OpenCV3を使って画像処理の基礎を勉強中です。参考書籍は, 『OpenCVによる画像処理入門』です。 まず, 本書の定義を用いて 画像処理 と コンピュータビジョン の定義を分けておく。 画像処理: 与えられた画像に対して, なんらかの処理を行い画像を出力する処理 コンピュータビジョン(CV): 撮影対象を認識/判別したり, 対象の状態をデータで出力する処理 今回は, 基本的な画像処理技術 (特に 色空間変換, 幾何学変換, 濃淡変換) を OpenCV3 で試してみた。 実行環境 環境は ... --- ### 【R】株主優待銘柄の市場アノマリー検証 - Published: 2016-10-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/10/market-anomaly-simulation-using-r/ - カテゴリー: t2sy-note - タグ: R 今回は, 最近読んだ `ロボット運用のプロが分析してわかった 最強の株式投資法` の第5章に出てくる 株主優待銘柄のアノマリーの検証 を R でやってみた。 市場アノマリー アノマリーというと異常検知などの話を思い浮かべたりするが, 金融市場におけるアノマリー (market anomaly) は Wikipedia によると, 効率的市場仮説と矛盾するような金融市場の価格およびリターンのねじれ現象を指すらしい。例えば, Sell in May は米国で有名なアノマリー... --- ### 【Python】Scrapy + Digdag でクローラの定期実行 - Published: 2016-08-27 - Modified: 2019-04-10 - URL: https://fisproject.net/2016/08/web-scraping-using-scrapy-and-digdag/ - カテゴリー: t2sy-note - タグ: Python, Ubuntu Scrapy プロジェクトを Digdag でスケジューリングしてみたので導入の備忘録を残しておきます。 環境は MacBook Air (13-inch, Mid 2013), OSX 10. 11. 6 です。 Scrapy Scrapy は Web Crawling / Scraping Framework で, mechanize や Beautiful Soup といった特定の機能を提供するライブラリと比べると多機能。 基本的な機能に加えて robots. txtポ... --- ### 【Python】回帰木 (決定木) を書いてみる - Published: 2016-07-20 - Modified: 2019-10-27 - URL: https://fisproject.net/2016/07/regression-tree-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 前回は分類問題における決定木, 分類木 (classification tree) を書いてみましたが, 今回は前回のコードを拡張して回帰問題における決定木, 回帰木 (regression tree) に対応させてみます。 回帰木は "Python機械学習プログラミング 達人データサイエンティストによる理論と実践" の 第10章 多項式回帰 で触れられています。 回帰木 目的関数は分類木の場合と同様で以下。 \begin{eqnarray*} IG (... --- ### 【Python】決定木分類器を書いてみる - Published: 2016-07-17 - Modified: 2019-10-27 - URL: https://fisproject.net/2016/07/decision-tree-in-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python 『Python機械学習プログラミング 達人データサイエンティストによる理論と実践』 第3章 分類問題 の 3. 6 決定木学習に関連した内容です。 決定木をサポートしたライブラリは R だと {rpart} パッケージ, Pythonだと scikit-learn を初めとして数多くあります。当初は Go で書いてみようと思ったのだけど, その前にまず Python で書いてみようということで始めたら意外と時間を使ってしまったので Go は次回に回したいと思います。 なので今回の内容は, scik... --- ### 【R / lme4】線形混合効果モデル - Published: 2016-07-06 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/07/linear-mixed-effects-model/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, 『経時データ解析 (統計解析スタンダード)』 に出てくる 線形混合効果モデル についての備忘録です。 線形混合効果モデルは複数の被験者で繰り返し測定する経時データや実験計画における空間的相関のある分割区画実験などで用いられる。 分野によっては, 同じモデルをマルチレベルリニアモデル, 階層線形モデル, 潜在変数モデルと呼ぶこともあるようだ。 経時データ 経時データは, 複数の対象者に対しある反応変数を時間の経過とともに繰り返し測定したデータ。同一対象者内の測定... --- ### 【NumPy / SciPy】Pythonでデータの標準化 - Published: 2016-06-29 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/06/data-standardization-using-python/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python データ分析の前処理などで行う標準化と正規化の違いや, Pythonで標準化する際のいくつかの方法について調べたのでメモります。 標準化と正規化 正規化 (normalization) または最大最小スケーリング (min-max scaling) は となるように下記のような変換をする。min/maxに強く影響される。 \begin{eqnarray*} x_{new}^i = \frac{x^i - x_{min}} {x_{max} - ... --- ### 【SC】試験勉強が続かない人向けの情報セキュリティスペシャリスト対策 - Published: 2016-06-19 - Modified: 2019-01-07 - URL: https://fisproject.net/2016/06/load-to-information-security-specialist/ - カテゴリー: t2sy-note - タグ: Security 2016/04 に受けた情報セキュリティスペシャリスト (SC) 試験の合格発表が先日あり通過していました。 情報セキュリティに興味がありSC試験には受かりたいけど, 試験のための勉強はあまり気が進まない/続かない人向けの試験対策法として僅かでも参考になればと思います。 自分は以下のような状況でした。 情報セキュリティ, 特にセキュアコーディング周辺の興味はある 情報セキュリティに関する実務経験はない 会社のインシデントレスポンスの研修(5日間)に参加した 勉強可能な時間は2h/day程度はある... --- ### 【Swift】久々にiOSアプリを作った時の雑多なメモ - Published: 2016-06-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/06/ios-app-development-using-swift/ - カテゴリー: t2sy-note - タグ: iOS, Swift 4, 5年振りにiOSアプリを作ってみました。iOS開発に関して色々と変わっていたことを中心に, すぐに忘れてしまう自分用にメモを残しておきます。 Swift Swift対応ライブラリ StoryBoard / AutoLayout Firebase CocoaPods Ad-Hoc配布 iTunes-Connect Swift Swiftが出た頃には既にiOSアプリ開発から離れていたので, Swift2になっていたのも知らなかった。Playground以外で Swif... --- ### 【R】実験計画法と分散分析 - Published: 2016-06-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/06/design-of-experiment/ - カテゴリー: t2sy-note - タグ: R, Statistics 実験計画法 実験の検討対象の要因を因子 (factor), 因子に設定する値を水準 (level) として, 因子の水準組み合わせを 処理 という。 実験により得られるデータは、制御できる因子とその水準による処理効果である主効果や交互作用効果と, 制御できない誤差効果の集積として値がバラつく。 主効果: ある因子の結果に対する独立的な効果 交互作用: ある因子の結果に対する効果が, 他の因子の水準によって変わるような複数の因子が互いに独立でない場合の効果 どの因子を制御すれば, 結果がどの程度変... --- ### 【R / mlogit】多項ロジットモデル - Published: 2016-05-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/05/discrete-choice-model-using-r/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は離散選択モデルのひとつ, 多項ロジットモデルについて書きます。 離散選択モデル 複数の選択肢の集合から, 1つを選択する場合の数理モデルを離散選択モデル (discrete choice model) という。 【R】順序ロジットモデルと順序プロビットモデル【比例オッズ】でも触れた, 目的変数が順序尺度でなく選択肢が3つ以上の場合の代表的なモデルとして, ロジスティック分布を使う多項ロジットモデル (multinomial logit model, MNL)と, ... --- ### 【R】差分の差分法 - Published: 2016-05-14 - Modified: 2019-02-24 - URL: https://fisproject.net/2016/05/difference-in-differences-using-r/ - カテゴリー: t2sy-note - タグ: R, Statistics 差分の差分法 (Difference-in-differences, DID, DD) を R で試してみます。 パネルデータ 差分の差分法 並行トレンド Rで差分の差分法 パネルデータ データセットの性質を時間や空間の軸で捉えた場合, 以下に分類できる。 時系列データ (Time series data): 1つの項目について時間の経過と共に集めたデータ (時間) クロスセクションデータ(Cross section data): ある時点において各地点, グループなど... --- ### 【R】順序ロジットモデルと順序プロビットモデル - Published: 2016-05-08 - Modified: 2018-11-07 - URL: https://fisproject.net/2016/05/ordered-probit-model-and-ordered-logit-model/ - カテゴリー: t2sy-note - タグ: R, Statistics Rで順序選択モデル (ordered choice model) , 具体的には MASS::polr で順序ロジットモデル (ordered logit model) と順序プロビットモデル (ordered probit model)を試してみたメモ。 目的変数が質的変数で3択以上の場合の分析 順序ロジットモデル / 順序プロビットモデル 順序ロジットモデル / 順序プロビットモデルの例 目的変数が質的変数で3択以上の場合の分析 目的変数が質的変数 の場... --- ### 【R】欠落変数バイアスをシミュレーションで確認する - Published: 2016-05-04 - Modified: 2019-03-28 - URL: https://fisproject.net/2016/05/omitted-variable-bias/ - カテゴリー: t2sy-note - タグ: R, Statistics 『実証分析入門 データから「因果関係」を読み解く作法』の 10章 バイアス について R でトレースしてみます。 バイアスをシミュレーションで確認する 10章 バイアス では例題として, ある世界の真の状態が以下の式で表せると仮定している。 \begin{eqnarray*} salary = 50 + education \times 2 + ability \times 0. 8 + \epsilon \end{eqnarray*} ... --- ### 【RDB / JSON / S3】R でデータを読み込む方法を整理してみた - Published: 2016-04-05 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/04/reading-data-into-r/ - カテゴリー: t2sy-note - タグ: R, Statistics R で以下のデータソースからデータを読み込む方法を簡単に整理してみました。各パッケージの詳細については触れません。 CSV TSV JSON XLSX MySQL Amazon S3 R Object CSV ファイルサイズの小さい CSV (Comma-Separated Values) であれば, utils::read. csv でも良いと思うが, サイズが大きい場合は {data. table} の fread や {readr} の read_csv が高... --- ### 【k-匿名化 / l-多様性】匿名化技術の基礎について調べてみた - Published: 2016-03-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/anonymizing-data/ - カテゴリー: t2sy-note - タグ: k-anonymity 仕事でデータの2次利用のために匿名化データセットに加工する機会があり, 匿名化技術について簡単に下調べしてみました。 今回, 参考にしたのは 月刊誌「統計」平成27年9月号　特集：ビッグデータ (p8 - ビッグデータの活用と匿名化技術) です。 k-匿名化 まず, 個人情報 と プライバシー の違いに触れておく。 個人情報 : 単体もしくは組み合わせにより個人を特定できる情報 プライバシー : 自分に関する情報の流れを自分でコントロールできる権利 k-匿名化 (... --- ### 【R】株価のボラティリティと VaR を計算する - Published: 2016-03-16 - Modified: 2020-12-21 - URL: https://fisproject.net/2016/03/value-at-risk-in-r/ - カテゴリー: t2sy-note - タグ: R 以前, Rの {forecast}, {quantmod} でトレンドを把握したり, 一期先の株価を大まかに予測しましたが, 今回は金融リスクの指標である VaR を計算してみます。 参考にさせて頂いた書籍は確率・統計でわかる「金融リスク」のからくり (ブルーバックス)で難しい話はあまり出てこないので読みやすく, ブログを書くきっかけとなりました。 ボラリティリティ 金融リスク分析では, 将来の株価の方向は予想できないという立場に立ち, どのくらい上昇・下落のバラつき,... --- ### 【Ubuntu14.04】MySQL5.7 で csv から import する - Published: 2016-03-12 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/mysql5-7-import-from-csv/ - カテゴリー: t2sy-note - タグ: MySQL, Python, Ubuntu MySQL5. 7. 11 で csv から import したい時の私的メモです。OS は Ubuntu 14. 04. 3 です。 MySQL 5. 7 で csv から import デフォルトの設定では, 特定の場所以外の csv を指定して import しようすると下記のように権限関連のエラーとなった。5. 6では上手くいっていた気がする... ERROR 1290 (HY000): The MySQL server is running with the --secu... --- ### 【R】 正規性を仮定した分析のためのBox-Cox変換 - Published: 2016-03-10 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/box-cox-transformation/ - カテゴリー: t2sy-note - タグ: R, Statistics Box-Cox変換について調べたのでメモります。 Box-Cox変換 Box-Cox変換 はデータの分布を正規分布に近くなるように変換する手法で, 正規性を仮定した分析を行う時に役立つ。発表 は 1964年とけっこう歴史が古い手法である。 one-parameter の場合は, 以下で変換する。 \begin{eqnarray*} {y}_{i}^\lambda = \begin{cases} \frac{{y}_{i}^\lambda - 1}... --- ### 【k-means】中古マンション販売価格と賃貸物件家賃の分析 (4) - Published: 2016-03-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/03/article-clustering/ - カテゴリー: t2sy-note - タグ: K-means, R 2015/04 から3か月に1度くらいのペースで不動産・住宅総合情報サイトをスクレイピングしています。今回は4回目なので価格の変化を確認してみます。 結果的には 2016/02 は賃貸物件家賃, 中古マンション販売価格とも僅かながら過去3回よりも平均価格が下がっているようです。 (ただし, 市場全体として下落傾向なのか単なる季節性なのかはわかりません。情報サイトに集まる物件が母集団を代表しているかもわかりません。) 賃貸物件の家賃動向 1回目から取集しているのは習志野市... --- ### 【Python】TensorFlowで回帰モデル - Published: 2016-02-11 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/02/tensorflow-regression/ - カテゴリー: t2sy-note - タグ: Machine Learning, Python, TensorFlow 回帰問題で TensorFlow を使いたかったので自分用にメモを残しておきます。 ちなみに 分類問題での TensorFlow の使い方は, 公式のtutorials が充実しています。 環境構築 環境は OSX 10. 11. 3, CPU 1. 3 GHz Intel Core i5, メモリ 4 GB DDR3 で, tensorflow をインストールする。 $ sudo pip install --upgrade virtualenv $ virtualenv -... --- ### 【ADVI】Stan で変分ベイズ - Published: 2016-01-29 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/advi-in-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics ADVI in Stan は既に多くの方が試されているのですが, まずは触って理解したいのもあり試してみました。 ちなみに今まで Stan Code をインラインで書いていましたが, ATOM の language-stan を使ったら Stan の syntax highlight がいい感じだったので別ファイルから読み込むようにしました。 ADVIとは 2015年に発表 された ADVI (Automatic Differentiation Variatio... --- ### 【カーネル法】R でカーネルPCAとカーネルCCAを実践 - Published: 2016-01-24 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/kernel-method/ - カテゴリー: t2sy-note - タグ: Machine Learning, R SVMで有名なカーネル法ですが, 今回はカーネル法を用いた カーネルPCA, カーネルCCA を R で実践してみました。参考にさせて頂いた書籍はカーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)で, 内容は 1章 カーネル法への招待, 3章 カーネル法の実際 についてですが, 数学的な話には触れないので本書をご覧ください。 カーネル法 カーネル法はデータの高次モーメントを有効に抽出しつつ計算を効率化する非線形変換の方法論で, データ分析の前処理やノイズ除去など... --- ### 【オンライン機械学習】 Go で PA, CW, AROW, SCW を書いてみた - Published: 2016-01-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2016/01/online-machine-learning-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning Perceptron (Rosenblatt, 1958) を1年半前に書いてから, だいぶ時間が経ってしまいましたが, 今回はその続きで Go で PA, PA-I, PA-II, CW, AROW, SCW-I, SCW-II を書いてみたのでメモリます。 PA, CW, AROW, SCWの総まとめ的な論文 Exact Soft Confidence-Weighted Learning にアルゴリズムがまとまっています。 PA (Passive-Aggressiv... --- ### 【R】尺度の組み合わせ別の類似度を求める - Published: 2016-01-03 - Modified: 2018-07-27 - URL: https://fisproject.net/2016/01/various-correlation/ - カテゴリー: t2sy-note - タグ: R, Statistics 尺度 の組み合わせ別の類似度分析の手法をまとめてみました。MIC, HSIC など比較的 新しい相関係数については触れていません。 また, 調査不足による抜けもあるかと思います... 手法正規性尺度の組み合わせ Pearson’s Correlation要量的変数 x 量的変数 Cramer's V不要名義尺度 x 名義尺度 (2×2より大きい) Goodman-Kruskal Gamma不要順序尺度 x 順序尺度 (2×2より大きい) Spearman’s Rank-Order Corr... --- ### 【Book】2015年を振り返る - Published: 2016-01-02 - Modified: 2019-12-27 - URL: https://fisproject.net/2016/01/look-back-2015/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 既に 2016年 ですが 2015年 を振り返っておきます。 Blog posts 2015年の記事は 47 だった。その中でも印象に残っている投稿。 (順不同) 【M-H法】Python で MCMC を書いてみた 【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる 【glmnet】R で Elastic Net を実践 【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた 【関数型言語】Elixir の基本... --- ### 【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる - Published: 2015-12-29 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/12/mini-batch-sgd-in-go-with-goroutine/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning, SGD 前に書いた【MSGD】Goで確率的勾配降下法を書いてみた【gonum/matrix】 の続きで goroutine で MSGD (Mini-batch Stochastic Gradient Descent)を並行処理化してみました。 参考にさせて頂いた書籍は, オンライン機械学習 (機械学習プロフェッショナルシリーズ)です。 確率的勾配降下法の並列化 前回は Minibatch に分割して Minibatch単位で パラメータを更新する MSGD を書いた。 確率的勾配降下法 (に限らずオン... --- ### 【Cerevo】Hackey のLED通知API で遊んでみた - Published: 2015-12-21 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/12/get-started-hackey/ - カテゴリー: t2sy-note - タグ: Python この記事は おうちハック Advent Calendar 2015 22日目の記事です。 12月上旬に Hackey を注文してから1週間ほどで届いたのですが, 放置したまま Advent Calendar 投稿日まで 残り1日となってしまい, 慌てて使ってみました。 Hackeyとは何か Hackey は Cerevo が発売したWebサービスをコントロールできるキースイッチです。値段は公式オンラインストアで 9,980円でした。 hackey. cerevo. comを見ると 用途としては, I... --- ### 【M-H法】Python で MCMC を書いてみた - Published: 2015-12-13 - Modified: 2020-02-11 - URL: https://fisproject.net/2015/12/mcmc-in-python/ - カテゴリー: t2sy-note - タグ: MCMC, Python この記事は Python Advent Calendar 2015 19日目の記事です。 MC法 (Monte Carlo Method) からスタートして, MCMC (Markov Chain Monte Carlo) を Python で書いてみます。 MC法による円周率の近似計算 MC法 (Monte Carlo Method)は乱数を利用した計算アルゴリズム。 MC法の hello world 的な例題として, 円周率の近似値を計算する。 import numpy as np impo... --- ### 【CentOS / Nginx】Let's Encrypt で SSL/TLS証明書 を発行してみた - Published: 2015-12-05 - Modified: 2019-10-27 - URL: https://fisproject.net/2015/12/get-ssl-certificate-by-letsencrypt/ - カテゴリー: t2sy-note - タグ: Linux, Nginx, SSL/TLS Let's Encrypt が 2015-12-03より Public Beta になったので, 自分が趣味で運用しているWebサービス (CentOS 6. 6 / Nginx 1. 0. 15) で試してみたのでメモ。 Let's Encryptで SSL/TLS証明書を発行する Closed Betaの時は, Let's Encrypt Closed Beta Invite にドメインとメールアドレスを登録して, 承認メールが来るのを待っていたが, Public Bet... --- ### 【Minibatch SGD】Goで確率的勾配降下法を書いてみた - Published: 2015-11-18 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/11/mini-batch-sgd-in-go/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning, SGD 確率的勾配降下法を書こうと思い, 学習の参考となる実装を Webで探してみると Python実装が多く, 中でも NumPy, Matplotlibを使っている例が多かった。 せっかくなので Go (1. 4. 1)で書いてみようと思い Goで NumPyにあたる行列計算パッケージと Matplotlibにあたるプロット系のパッケージを探していたところ, gonum/matrix と gonum/plotが, 良さそうで触ってみた。 gonum/matrix gonu... --- ### 【Stan】Rで iPhone から取得した歩数データ分析 - Published: 2015-11-07 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/11/steps-data-analysis-in-r/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 昨年 iPhone6を購入してから全く意識してなかったのですが, 最近になって iOSが歩数をカウントしていたことに気づいたのでデータを取り出して分析してみました。データを iTunes にバックアップする場合, 2015/11時点だと「バックアップを暗号化」しないとヘルスケアデータはバックアップされないので注意が必要です。例えば, 暗号化せずにバックアップし復元で同期した場合に過去のヘルスケアデータは消失してしまいます。 iPhoneから歩数データの取得 QS Acc... --- ### 【glmnet】R で Elastic Net を実践 - Published: 2015-10-25 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/10/elasticnet-in-r/ - カテゴリー: t2sy-note - タグ: ElasticNet, Lasso, Machine Learning, R 『みんなのR -データ分析と統計解析の新しい教科書-』を読了しました。 第19章 正則化と縮小 に関する私的メモを残しておきます。 ロジスティック回帰のモデル選択法の中で, Rでは Stepwise選択法 stats::step や Elastic Net {glmnet} など様々あります。今回はこの2つを試します。共通して使う DataSet は本書にも登場する American Community Survey (ACS)です。 ACSの FamilyIncodeが $15,000以上の ... --- ### 【Golang】Goji + mgo で簡易 API Server をつくる - Published: 2015-10-13 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/10/golang-api-server-using-goji/ - カテゴリー: t2sy-note - タグ: Golang, MongoDB Gojiとmgoを使って1時間くらいで超簡易API Serverを作ったのでメモ。 動機はGolangを最近書いてなかったので書きたくなった... くらいしかないです。 環境は Ubuntu 14. 04で Golang 1. 4を入れました。 $ wget https://storage. googleapis. com/golang/go1. 4. linux-amd64. tar. gz $ sudo tar zxvf ~/go1. 4. linux-amd64. tar. gz -C /usr/local $ v... --- ### 【クラスタリング】R と Python で k-means - Published: 2015-10-03 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/10/k-means/ - カテゴリー: t2sy-note - タグ: K-means, Machine Learning, Python, R 『続・わかりやすいパターン認識―教師なし学習入門―』を読んでいます。今回は第10章 クラスタリングの中の k-means についてです。 クラスタリング クラスタリングはデータをいくつかのグループに分ける手法で教師なし学習に分類される。類似する文書をグループ化し整理するテキストクラスタリングや DTW 距離を用いた時系列クラスタリングなどがある。 代表的なクラスタリング手法として以下がある。 K-Means Clustering Mean-Shift Clustering Density-Bas... --- ### 【SQL】 Apache Drill に ODBC で接続してみた - Published: 2015-09-25 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/apache-drill-with-odbc/ - カテゴリー: t2sy-note - タグ: Apache Drill, ODBC, SQL OSX10. 10. 5 で Apache Drill (v1. 0. 0)に ODBC (Open Database Connectivity)でアクセスしてみました。基本的には, 公式チュートリアルに沿って設定できると思いますが個人的なメモとして残しておきます。 ODBC環境の設定 Drillへ接続するための Interfaceは下記が用意されている。 Drill shell Drill Web Console ODBC/JDBC C++ API まず, iODBCを... --- ### 【SQL】Apache Drill を使ってみた - Published: 2015-09-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/get-started-drill/ - カテゴリー: t2sy-note - タグ: Apache Drill, MongoDB, Nginx, SQL Apache Drillを使ってみました。Apache Drillは JSON, CSV, TSVのようなファイルや, Hive, HBase, MongoDBのようなデータソースに対して接続して, SQLクエリを投げることができます。1. 0時点ではLTSVはサポートしていないようです。 1. 2から ANSI SQLのサポートを開始するようです。 試したことは下記3点です。 MovieLens (CSV) の集計 NginxのLog (LTSV => JSON) 集計 DrillからMongoD... --- ### 【Node.js】Esprima / Escodegen / Estraverseを試してみた - Published: 2015-09-14 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/09/esprima-escodegen/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs Esprima / Escodegen / Estraverse を用いて, javascript code -> AST (esprima) -> javascript code (escodegen) を試してみます。環境は OSX 10. 10 / Node. js v4. 0. 0です。 Esprima Esprimaは JavaScript Parserで AST (Abstract Syntax Tree) という抽象構文木を取得できる。 MozillaのSpide... --- ### 【R / Stan】「カウントデータの統計モデリング入門」をトレースしてみた - Published: 2015-09-12 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/09/statistical-modeling-for-count-data/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics 2015-09-04 に行われた, 「統計的言語研究の現在」で, 久保先生のご講演「カウントデータの統計モデリング入門」を拝聴したので, Rでトレースしてみました。間違いを見つけたらご指摘頂ければと思います。 はじめに カウントデータ (count data) は非負の離散値のデータ。 2つのコーパス X0と X1において, 単語の品詞カテゴリ {A, B, C... I} の出現頻度が記録された架空のデータにおいて, コーパス間の各品詞カテゴリの出現頻度に差があるのかを分析する。たぶん単語の出現... --- ### 【関数型言語】Elixir の基本文法 (2) - Published: 2015-09-09 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/09/intro-elixir-2/ - カテゴリー: t2sy-note - タグ: Elixir, Erlang 『Programming Elixir: Functional, Concurrent, Pragmatic, Fun』を読んでいます。前回の続きでI-6章からI-13章までです。 環境は OSX, Elixir 1. 0. 2です。 本投稿における間違いは私の理解不足に依るものなので, 本書の内容の正確性とは一切関係ありません。また, 英語が苦手なので誤訳もあるかと思います。 6. Modules and Named Functions Timesモジュールに, 引数の値を2倍して返す doubl... --- ### 【tor】Wireshark で HTTP/2 のパケットキャプチャ - Published: 2015-08-31 - Modified: 2023-06-06 - URL: https://fisproject.net/2015/08/http2-packets-capture-with-wireshark/ - カテゴリー: t2sy-note - タグ: HTTP/2, SSL/TLS, Tor, Wireshark Nghttp2 OSX10. 10. 2に brewで Nghttp2をインストールする。 $ brew install nghttp2 適当に index. htmlを作って置く。 $ cat /var/www/index. html Hello, World まずは TLS を無効にして Server を起動する。 $ nghttpd -v --no-tls -d "/var/www" 8080 ... --- ### 【R】傾向スコアマッチングによる因果推論の基礎 - Published: 2015-08-30 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/propensity-score/ - カテゴリー: t2sy-note - タグ: R, Statistics 傾向スコアマッチングによる因果推論について調べたので備忘録を残しておきます。 研究デザイン ルービンの因果モデル 無作為割り当て可能な場合の因果効果 傾向スコア 傾向スコアマッチング IPWE 研究デザイン 参考書籍の『調査観察データの統計科学―因果推論・選択バイアス・データ融合』では研究デザインを大きく2つに分類・定義している。 実験研究 (experimental study) : 原因となる変数を研究者が操作し, 結果となる変数がどのように変化するかを調査 観察研究 (observatio... --- ### 【関数型言語】Elixir の基本文法 (1) - Published: 2015-08-25 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/intro-elixir/ - カテゴリー: t2sy-note - タグ: Elixir, Erlang 『Programming Elixir: Functional, Concurrent, Pragmatic, Fun』を読んでいます。 Elixirは ErlangVM (BEAM) 上で動作する関数型言語である。ErlangはEricssonで開発された言語で, WhatsApp, LINEなどで採用された実績があり, 特にネットワークサーバを書くのに向いている言語である。 Elixirのインストールから基本文法の理解を目指す。今回はI-5章まで。 本投稿における間違いは私の理解不足に依るも... --- ### 【Async / Concurrent】『Haskellによる並列・並行プログラミング』を読了した (2) - Published: 2015-08-23 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/08/parallel-and-concurrent-programming-in-haskell-2/ - カテゴリー: t2sy-note - タグ: Haskell 『Haskellによる並列・並行プログラミング』を読了した。前回の続きでII部は並行プログラミング/分散プログラミングについて。前半同様に難しかった印象しかないが雰囲気は掴めた感じ。内容は完全に備忘録である。 本書によるとHaskellの哲学では, 単純だが汎用的な機構を提供し, より高水準の機能を構築できるような仕組みを目指している。 Haskellは並行性に対して便利な抽象化であるという立場を取っており, 下記の並行プログラミングモデルについて, ひとつに依存せずどれもサポートしている。 ア... --- ### 【Granger因果】金利と日経平均株価の関係 - Published: 2015-08-10 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/08/granger-causality-test/ - カテゴリー: t2sy-note - タグ: Granger Causality, R 不動産マーケットに興味があり 『不動産マーケットの明日を読む』という本を読んでいます。 I部4章の 2. 金利が下がったから株価が上昇した？ での Granger因果について興味が湧いたので R で試してみました。不動産の話はでてきません。 VARモデルと変数間の動学的な関係性の分析 VAR (Vector Autoregressive) モデルは ARモデル の多変量に拡張された時系列モデルで R では {vars} パッケージで利用できる。 VARモデルは以下の3つの... --- ### 【R】中古マンション販売価格と賃貸物件家賃の分析 (3) - Published: 2015-08-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/08/article-predict-model-summer/ - カテゴリー: t2sy-note - タグ: R 今回は, 前回収集した春季の中古マンション販売価格と賃貸物件家賃のデータを今回収集した夏季のデータと比較して, どの程度傾向に変化があるかを分析してみます。 賃貸物件家賃の分析 今回は, 4,259件 (豊島区 1,565件, 川口市 2,193件, 習志野市 501件)でした。サンプルサイズは前回と同程度です。 データの傾向確認 ggpairsで傾向の確認です。川口市の例です。 家賃 (price)の分布が前回より正規分布に近づいています。 重回帰モデル 家賃が10万円以下の物件に絞り込んで,... --- ### 【R】『入門 機械学習による異常検知』を読了した - Published: 2015-07-19 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/07/anomaly-detection-with-r/ - カテゴリー: t2sy-note - タグ: Anomaly Detection, Machine Learning, R 『入門 機械学習による異常検知―Rによる実践ガイド』を読了したので簡単なメモ。グラフが中心ですが Codeは GitHub にあります。 Rというかプログラミング知識に関しては, ほとんど必要しないと思いますが, 本書に掲載されている Codeは(紙面的な制約だと思いますが)部分的であるので少し注意が必要です。 私は初学者のため本記事の内容に間違いもあると思われます。見つけたら, ご指摘ください。 1. 異常検知の基本的な考え方 1. 1 例題：健康診断 1. 2 計算機に... --- ### 【Repa】『Haskellによる並列・並行プログラミング』を読了した (1) - Published: 2015-07-14 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/07/parallel-and-concurrent-programming-in-haskell/ - カテゴリー: t2sy-note - タグ: Haskell, Repa 『Haskellによる並列・並行プログラミング』(原著名: Parallel and Concurrent Programming in Haskell) を読了した。O'Reilly 本は電子書籍に限っては英語版がオススメである。半額割引コードが使えたり, 2冊買うと1冊無料というサービスがあるからである。電子書籍の価格に日米でここまで差があるのは商習慣の違いが大きいと思っている。日本語版の利点としては appendix が追加されることがある点がある。 今回はI部までのCodeをトレースした... --- ### 【確率分布】『機械学習のための確率と統計』を読了した - Published: 2015-06-23 - Modified: 2020-03-01 - URL: https://fisproject.net/2015/06/machine-learning-books/ - カテゴリー: t2sy-note - タグ: Machine Learning, Statistics 『機械学習のための確率と統計 (機械学習プロフェッショナルシリーズ)』を読了しましたので各章の感想を残しておきます。 第1章　確率変数と確率分布 標本空間から確率分布に関する特性, モーメント, 特性関数までまとめられている。 特性関数は確率密度関数のフーリエ変換に対応している。特性関数と積率母関数は似た概念である。 大学時代にフーリエ解析の勉強をした時に, モーメントの話がでてきて唐突と感じたがここで話がつながった感じがした。 第2章　離散型確率分布の例 2. 1 離散... --- ### 【Lasso】中古マンション販売価格と賃貸物件家賃の分析 (2) - Published: 2015-06-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/06/article-bayesian-model/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 前回, 収集した中古マンション販売価格と賃貸物件家賃のデータを使って, Lasso回帰と Stan によるベイジアンモデリングを行ってみます。 Lasso回帰モデル 賃貸住宅家賃と中古マンション販売価格について Lasso で変数選択, モデル選択を行ってみます。 賃貸住宅家賃 3市区の家賃価格分布は下記となります。 習志野市で選択された変数と回帰係数は下記です。 > coef(acs. cv1, s='lambda. 1se') 47 x 1 sparse Matrix of class "dgC... --- ### 【MCMC】Stan で色々な一般化線形モデル - Published: 2015-06-14 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/06/glm-stan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan, Statistics Stan の私的メモ。Stan のインストールはこちら。 今回は一般化線形モデルを glm と Stan によるベイジアンモデリングで対比させる形で書きました。 一般線形モデル 一般線形モデル(General linear model), 又は単に線形モデル(linear model)は線形予測子が正規分布, リンク関数が恒等リンク関数の場合の回帰モデルです。 以下の架空のデータを使います。 d --- ### 【forecast】Rでファイナンスデータの時系列分析 - Published: 2015-06-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2015/06/quantitative-financial-modelling/ - カテゴリー: t2sy-note - タグ: R, Statistics 計量時系列分析について調べたこと, 主に AR, ARMA, ARIMA モデルについてメモを残します。 ファイナンスデータの準備 今回は Yahoo! ファイナンス から日産自動車 のデータを取得しました。 分析の前に csv の文字コードを Shift_JIS から utf-8 に変更しておきます。OS X の場合 nkf コマンドを使います。 $ brew install nkf $ nkf -w --overwrite . /data/7201. T. csv まずは, {quan... --- ### 【Boosting】R と Python で XGBoost - Published: 2015-05-24 - Modified: 2019-05-12 - URL: https://fisproject.net/2015/05/xgboost/ - カテゴリー: t2sy-note - タグ: Boosting, Python, R, XGBoost R と Python で XGBoost (eXtreme Gradient Boosting) を試してみたのでメモ。 Boosting バギング (Bootstrap aggregating; bagging) が弱学習器を独立的に学習していくのに対して, ブースティング (Boosting) は弱学習器の学習を逐次的に行います。 各ステップごとに前の弱学習器の結果を参考にしながら新たな弱学習器の重みを変化させ間違ったものをうまく識別できるように損失関数を最小化します。学習速度はバギングに比... --- ### 【PHP / MySQL】CoreServer から さくらのVPS へ WordPress の移行 - Published: 2015-05-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/wordpress/ - カテゴリー: t2sy-note - タグ: DNS, MySQL, PHP, WordPress CoreServer(共用サーバ)上の WordPress が遅いのは気になっていたけど放置していた。 年に一度の契約更新が近づいてきたので重い腰を上げて, さくらのVPS(Ubuntu14. 04)に移行したのでメモ。 CoreServerでMySQLDumpを取得する CoreServer の管理画面から MySQLDump を取得してダウンロードする。160MB程。 Ubuntu14. 04に PHP + Nginx + MariaDB(MySQL) インストール さくらのVPSで動かしている... --- ### 【R】Kaggleの始め方 - Published: 2015-05-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/getting-started-kaggle/ - カテゴリー: t2sy-note - タグ: Kaggle, R Kaggleとは "Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である" (ja. Wikipedia) アカウント作成からコンペ参加までの流れ Sign Upから登録を行います。SNS連携はYahoo, Facebook, Google+を選択できます。 TOPページで, competitionsを選択すると公開されているコンペ課題が表示されます。 個々のコンペを選択すると, C... --- ### 【R / Python】中古マンション販売価格と賃貸物件家賃の分析 - Published: 2015-05-05 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/05/article-predict-model/ - カテゴリー: t2sy-note - タグ: Python, R 物件購入や賃貸住宅を探すにあたって, 駅から近い&広い&安い物件を探すのは困難です。 限られた予算の中で外せない要素を決めたり, 一方である要素を諦めることが現実的ではないでしょうか。 今回はPythonとRを用いて東京都豊島区, 埼玉県川口市, 千葉県習志野市の各地域における"中古マンション販売価格"と"賃貸住宅の家賃"の分析を行ってみました。 分析の目的として, 「築年数が経過している物件を安く購入してリフォームして貸したい」, 「駅近なら部屋の広さを犠牲にして予算内に抑えたい」といったケー... --- ### 【MCMC】OSX で RStan の導入と簡単な例題 - Published: 2015-04-09 - Modified: 2020-02-01 - URL: https://fisproject.net/2015/04/rstan/ - カテゴリー: t2sy-note - タグ: R, rstan, Stan 引き続き, データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) (通称: みどり本)で勉強中です。 MCMC MCMC (Markov chain Monte Carlo methods)については, 詳しい情報が書籍 や Webに溢れていますので, そちらを参照ください。 MCMCは事後分布からのランダムサンプリングを得るための道具ですが, パラメータ推定にも使うことができます。 ベイズ統計では, 普通の統計のようにパラメータをただ... --- ### 【Java】ApacheTikaを使ってみた - Published: 2015-04-05 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/04/tika/ - カテゴリー: t2sy-note - タグ: Java, Tika Apache TikaはJava製のドキュメント分析およびメタデータ抽出ツールです。 Apache Tikaを使ってみる 環境はOSX 10. 10. 2, Javaは1. 7です。 Downloadからjarをダウンロードします。 使い方はGetting Startedを参照。 $ java -version java version "1. 7. 0_45" Java(TM) SE Runtime Environment (build 1. 7. 0_45-b18) Java HotSpot(TM) 64... --- ### 【Haskell】OSX で Yesod を動かしてみる - Published: 2015-03-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/03/yesod/ - カテゴリー: t2sy-note - タグ: Haskell, Topology, Yesod トポロジー―基礎と方法 (ちくま学芸文庫)を読んでいますが, わかりやすいので関数型言語を学びたい人にオススメです。 本書の合成写像の説明を少しだけ紹介します。 関数という概念は数には限らず, 集合に対しても定めることができ, これを写像または変換といいます。ここでは写像を, 写像: 定義域 -> 値域 のように書くことにします。 以下の2つの写像 f, g において, f: X -> Y g: Y -> Z fの値域と gの定義域が一致する場合に2つの写像は合成可能 (composable)で... --- ### 【音声認識】Golang で Julius-Client の実装を試みる - Published: 2015-03-28 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/golang-julius/ - カテゴリー: t2sy-note - タグ: Golang, Julius 最近, Sirius: An Open Intelligent Personal Assistantが話題を集めていますが, 手軽に音声認識を行えるJuliusに関する話。 JuliusをGolangで扱う場合, 他の言語と同様2つのアプローチがあります。 ・JuliusLibを組み込む。Golangの場合cgoパッケージを用いる。 ・サーバモードで起動しTCP/IPで結果を取得する。 結論を言うと, JuliusLibを組み込む方は上手くいっていません。 環境はOSX 10. 10. 2です。 G... --- ### 【arules】Rでアソシエーション分析 - Published: 2015-03-25 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/arules/ - カテゴリー: t2sy-note - タグ: R Rの {arules} でアソシエーション分析を試してみました。 わかりやすい記事はすでに複数ありますので先に以下を参照することをオススメします。 Ｒのアソシエーション分析結果をGephiでネットワーク描画（２) R {arules} によるアソシエーション分析をちょっと詳しく Rによるアソシエーション分析 フリーソフトによるデータ解析・マイニング第40回 アソシエーション分析 アソシエーション分析 (associations analysis)は, PO... --- ### 【JavaScript】gulp.jsを使ってみた - Published: 2015-03-16 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/gulp/ - カテゴリー: t2sy-note - タグ: gulp, JavaScript, Nodejs 今更ですが, タスクランナーgulpのメモです。初心者的な使い方しかしていません。 gulpのインストール getting-startedをそのまま。 $ nvm use 0. 12. 0 Now using node v0. 12. 0 $ npm install --global gulp $ vim gulpfile. js var gulp = require('gulp'); gulp. task('default', function { // place code for your def... --- ### 【構成管理】Ansible を使ってみた - Published: 2015-03-09 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/ansible/ - カテゴリー: t2sy-note - タグ: Ansible, Linux, Ubuntu 今更ですが構成管理ツールの Ansible を使ってみたのでメモります。 環境は OSX10. 10. 2, ターゲットホストは Ubuntu14. 04。 Ansibleのインストール 対象ホストへには ssh で接続するので `~/. ssh/config` に必要なssh設定を記述します。 $ cat ~/. ssh/config Host "Ubuntu14. 04's-IP" HostName "Ubuntu14. 04" User ubuntu Port 22 IdentityFile ~/. ss... --- ### 【MLlib / PySpark】OSX で Apache Spark を使ってみる - Published: 2015-03-02 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/03/spark/ - カテゴリー: t2sy-note - タグ: Machine Learning, MLlib, Python, Spark “Learning Spark”読書会#1 に参加しました。 今回は Apache Spark インストールから MLlib の Statistics, LinearRegressionWithSGD を使ってみるまでのメモです。 Apache Spark インストール 環境は OSX 10. 10. 2 です。 $ curl -O https://www. apache. org/dyn/closer. cgi/spark/spark-1. 2. 1/spark-1. 2. 1-bin-hadoop2. 4. tg... --- ### 【検定力分析】R で仮説検定を行う - Published: 2015-02-23 - Modified: 2019-08-27 - URL: https://fisproject.net/2015/02/r-testing/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, 仮説検定の中でも基本的な t検定 と カイ二乗検定 , 加えて 検定力分析 について書きました。 仮説検定 一般的に仮説検定 (hypothesis testing) では, 主張したい仮説である対立仮説 H1 の逆の仮説を帰無仮説 H0 として, 標本から H0 を棄却できるかを検証するアプローチを取ります。仮説検定には様々な種類があり, 検定の目的と母集団の仮定により使い分ける必要があります。ここで挙げている以外にも多くの検定手法があります。 2群に関する... --- ### 【CentOS / Nginx】Fluentd + Elasticsearch + Kibana 環境構築 - Published: 2015-02-20 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/centos-fluentd-elasticsearch-kibana-nginx/ - カテゴリー: t2sy-note - タグ: CentOS, Elasticsearch, fluentd, Kibana, Linux, Nginx CentOS6. 6でのFluentd, Elasticsearch, Kibana環境構築メモ。 複雑な設定とかはしないので, 初心者向けの話。 Elasticsearchのインストール $ cat /etc/redhat-release CentOS release 6. 6 (Final) Elasticsearch 1. 4. 3のインストール。 $ yum install wget java-1. 8. 0-openjdk-devel $ rpm --import https://packages... --- ### 【Golang】cli と gox でコマンドラインツールを作る - Published: 2015-02-08 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/cli-gox/ - カテゴリー: t2sy-note - タグ: Golang cliとgoxでコマンドラインツールを作ってみたら, 予想以上に開発が捗ったので備忘録を残しておきます。 環境はOSX10. 10. 1(Darwin 14. 0. 0)です。 cli cli-packageはコマンドラインツールを作るためのutilityです。 $ go get github. com/codegangsta/cli Exampleそのまま。 package main import ( "github. com/codegangsta/cli" "os" ) func main { a... --- ### 【MeCab】BeagleBoneBlack で Open JTalk を使う - Published: 2015-02-04 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/02/open-jtalk/ - カテゴリー: t2sy-note - タグ: BeagleBoneBlack, MeCab, OpenJTalk BeagleBoneBlack rev. cでOpen JTalkの環境を構築するメモです。 OSはdebianで, BeagleBoneBlack上でbuildを行います。 Open JTalk 音声情報を指定するmオプションは1. 06以降でサポートしているので最新の1. 08を入れようとしたらbuildが失敗したので, 1. 07にしました。 まずはdictionary, voice をsourceforgeからダウンロードします。展開後は. /conf以下に配置しておきます。 $ wget htt... --- ### 【Ubuntu / Python】Nginx + uWSGI + Flask + Supervisorの環境構築 - Published: 2015-01-31 - Modified: 2019-09-14 - URL: https://fisproject.net/2015/01/nginx-uwsgi-flask/ - カテゴリー: t2sy-note - タグ: Flask, Nginx, Python, Supervisor Flask アプリケーションを Nginx でデプロイする時のメモです。 Flask: 軽量WAF (Web Application Framework) uWSGI: WSGI （Web Server Gateway Interface） Nginx: リバースプロキシ (Reverse Proxy) Supervisor: プロセス監視 uWSGI 環境は Ubuntu14. 04(LTS) ですが, 基本的には CentOS の yum でも提供されているかと思います。詳しくは Instal... --- ### 【Python】Selenium WebDriver で Webスクレイピング - Published: 2015-01-28 - Modified: 2018-07-27 - URL: https://fisproject.net/2015/01/webdriver/ - カテゴリー: t2sy-note - タグ: Python, Selenium, WebDriver Python で Webスクレイピング する場合, これまで mechanize や Beautiful Soup を使う事が多かったのですが Selenium WebDriver を試してみました。 Webクローリング&スクレイピング Webクローリング&スクレイピングには, 以下のような機能が必要です。 ドメインからHTMLデータを取り出す HTMLを Parseし必要な情報を取り出す 情報を格納する ページ遷移してこのプロセスを繰り返す クローリングは, 複数のWebサイトの複数のページに... --- ### 【Go】OSX / Linux / Windowsに peco を導入 - Published: 2015-01-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/peco/ - カテゴリー: t2sy-note - タグ: Golang, Linux, peco, Ubuntu pecoは標準入力をインクリメンタルサーチ可能にして選択した結果を標準出力に返すコマンドです。 OSX10. 10. 1, CentOS6. 6, Ubuntu14. 04, Windows8にpecoを入れてみました。 OSX 10. 10. 1 brewでインストールできます。 $ brew tap peco/peco $ brew install peco $ which peco /usr/local/bin/peco 使ってみます。 $ ls -l | peco $ ps aux | peco C... --- ### 【AES】crypto-js と PyCrypto の互換性 - Published: 2015-01-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/crypto-js-pycrypto-compatible/ - カテゴリー: t2sy-note - タグ: AES, JavaScript, Python crypto-jsとPyCryptoのAES暗号(CFBモード)の互換性のための拡張について書きます。 ブロック暗号のモードは, ECB, CBC, CFB, OFBなどがあり, ECBについては暗号の危殆化により使用が非推奨になっています。 基本アイデアはこちらを参考にしました。 crypto-js crypto-jsをインストールする。今回の例はバックエンドですが, フロントエンドでもほぼ同様です。 $ npm install crypto-js -g CryptoJSに MODE_CFB ... --- ### 【Book】2014年を振り返る - Published: 2015-01-03 - Modified: 2019-12-27 - URL: https://fisproject.net/2015/01/look-back-2014/ - カテゴリー: t2sy-note - タグ: Book, look-back-year 2014年を振り返ります。 記事から2014年を振り返る 2014年に書いた記事は54本。tag の上位。 u'linux': 10, u'python': 6, u'golang': 6, u'c': 5, u'javascript': 5, u'nodejs': 5, u'linux_kernel': 4, u'beagleboneblack': 4, u'machine-learning': 4, u'debian': 4, u'r': 4, u'ubuntu':... --- ### 【stemming】文書のベクトル表現とコサイン類似度 - Published: 2015-01-02 - Modified: 2018-07-26 - URL: https://fisproject.net/2015/01/cosine_similarity/ - カテゴリー: t2sy-note - タグ: Machine Learning 文書のベクトル表現と文書間の類似度測定手段としてのコサイン類似度 (cosine similarity) についての備忘録です。 bag-of-words 出現頻度をを表すが, 語順の情報を持たない文書のベクトル表現を bag-of-wordsと言います。 言語表現を数学の世界に持って行きベクトルで表すことでコサイン類似度など数学的処理で測ることができます。 bag-of-bigrams bag-of-bigrams もベクトル表現ですが, bag-of-wordsと違... --- ### 【JavaScript】Highchartsを使ってみた - Published: 2014-12-31 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/highcharts/ - カテゴリー: t2sy-note - タグ: Highcharts, JavaScript Highcharts Highchartsはデータのビジュアライズライブラリです。 棒グラフ、線グラフ、円グラフ、散布図、箱ひげ図、レーダー図などに対応しており、見た目も記述方法もシンプルなのが特徴です。 loadの方法は基本的にはCDNだと思いますが,複数あります。 &l... --- ### 【JavaScript】Moment.jsを使ってみた - Published: 2014-12-27 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/moment-js/ - カテゴリー: t2sy-note - タグ: JavaScript, Moment.js jsの日付処理ライブラリ Moment. jsを使ってみました。 Moment. jsを使ってみた フロントエンドの場合は CDN から読み込める。Nodeで使う場合はnpmです。 $ npm install moment --save 現在時刻の取得。粒度はmillisecondsまで。 // moment-2. 8. 4 var moment = require('moment'); var m = moment console. log(m. format("YYYY-MM-DD HH:mm"))... --- ### 【Python】Arrowを使ってみた - Published: 2014-12-27 - Modified: 2018-08-13 - URL: https://fisproject.net/2014/12/arrow/ - カテゴリー: t2sy-note - タグ: arrow, Python Arrow は JavaScript の Moment. js ぽく使える日付・時間ライブラリです。 Install $ pip install arrow $ pip show arrow | grep Version Version: 0. 4. 4 Usage utcnow で UTC時刻 を取得できます。 to で timezone を設定できます。 replace で単位ごとに任意を値を設定したり加算/減算ができます。 import arrow arrow. __version__... --- ### 【kNN】R で k 近傍法 - Published: 2014-12-23 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/12/knn/ - カテゴリー: t2sy-note - タグ: Machine Learning, R K近傍法 k近傍法 (k-nearest neighbor algorithm) は, 特徴空間上で最も近い距離にある訓練データに基づいて分類/回帰を行う手法であり, 直感的にもわかりやすいパターン認識手法です。 最短近傍法は与えられた未知データに対して一番近い訓練データのクラスに属しているだろうというのが基本的な考えで, 特徴空間で距離が近い順から k 個選択し多数決でクラスを推定するのが kNN法 です。一般的にはユークリッド距離が使われます。 一方, 訓練データにノイズが多かったり k を... --- ### 【Reactive】Ractive.jsを使ってみた - Published: 2014-12-22 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/ractivejs/ - カテゴリー: t2sy-note - タグ: JavaScript, Ractive.js, Reactive programming Ractive. jsを使ってみました。 Reactive Programming The Reactive Manifesto (v2. 0)によるとキーワードは以下のようです。 ・Responsive : 高応答性 ・Resilient : 耐障害性 ・Elastic : スケーラビリティー ・Message Driven : メッセージ駆動 * 日本語版(2013/09)はこちら Reactive Programmingではイベントに反応したモデルデータの流れと変更を自動的に伝搬する仕組みをど... --- ### 【Python】pytest でユニットテスト - Published: 2014-12-09 - Modified: 2018-09-14 - URL: https://fisproject.net/2014/12/pytest/ - カテゴリー: t2sy-note - タグ: Python pytest でユニットテスト pytestをインストールします。 $ uname -v Darwin Kernel Version 14. 0. 0: Fri Sep 19 00:26:44 PDT 2014; root:xnu-2782. 1. 97~2/RELEASE_X86_64 $ python --version Python 2. 7. 11 :: Anaconda custom (x86_64) $ pip install pytest テスト対象のコードを書きます。例として, 時刻を表す文... --- ### 【Node.js】power-assertを使ってみた - Published: 2014-12-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/12/power-assert/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs, power-assert 開発中のWEBアプリの時間演算モジュールで, ユニットテストに power-assert を使ったのでメモっておきます。 power-assertの環境構築 インストールはGitHubに記載の通り。 $ npm install --save-dev mocha power-assert intelli-espower-loader $ mocha --version 2. 0. 1 power-assertを使ってみる BMIを返す関数です。 module. exports. bmi = functio... --- ### 【Book】2014年に読んで良かった17冊 - Published: 2014-11-22 - Modified: 2019-03-28 - URL: https://fisproject.net/2014/11/best_books/ - カテゴリー: t2sy-note - タグ: Book 端くれエンジニアが2014年に読んだ197冊(2014-11-24時点)の中から特に為になった17冊をテクノロジー, デザイン, ビジネス系に分類して紹介します。 忙しくなる師走の前に書いておこうと思いましたが, 12月末には17冊より増えている可能性があります。 テクノロジー系 『暗号解読上/下』 著者のサイモンシンは世界的に有名なサイエンスライターである。古代ギリシャの時代から情報を故意に隠すことを目的に使われている暗号について時代背景を交えながらわかりやすく解説した本。 WW1は化学者の戦... --- ### 【Monads】すごいHaskellたのしく学ぼう!を読んだ (2) - Published: 2014-11-16 - Modified: 2018-12-22 - URL: https://fisproject.net/2014/11/haskell_part2/ - カテゴリー: t2sy-note - タグ: Haskell 前回は, すごいhaskellたのしく学ぼう! の9章までを紹介しました。引き続き10-15章を紹介します。 第10章 関数型問題解決法 10. 1 逆ポーランド記法電卓 10. 2 ヒースロー空港からロンドンへ 10章ではこれまでのテクニックを踏まえて、逆ポーランド記法、最短経路問題を解きます。 最短経路問題は遅延評価が生きてくる問題です。 $ runghc optimal_path. hs < paths. txt (,) [(B,10),(C,30),(... --- ### 【Functor】すごいHaskellたのしく学ぼう!を読んだ (1) - Published: 2014-11-03 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/11/haskell/ - カテゴリー: t2sy-note - タグ: Haskell 『すごいhaskellたのしく学ぼう! 』 (原著名: Learn You a Haskell for Great Good) を読了したので, メモを残しておきます。 内容も濃く長いので, 今回は開発環境構築の話と9章までの内容です。 開発環境構築 処理系は GHC (Glasgow Haskell Compilation)が有名です。環境はOSX10. 10です。 $ wget https://www. haskell. org/ghc/dist/7. 8. 2/ghc-7. 8. 2-x86_64-app... --- ### 【Node.js】Koaで HTTPS Server を建てる - Published: 2014-10-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/%e3%80%90nodejs%e3%80%91koa%e3%81%a7https%e3%82%b5%e3%83%bc%e3%83%90%e3%82%92%e5%bb%ba%e3%81%a6%e3%82%8b%e3%80%90ssltls%e3%80%91/ - カテゴリー: t2sy-note - タグ: Nodejs, OpenSSL, SSL/TLS NodejsのKoa(WAF)でHTTPSサーバを建てる方法です。 OpenSSLでRSA鍵の生成 まず秘密鍵とデジタル証明書を OpenSSL で生成します。 openssl rsa で秘密鍵のパスフレーズを解除しています。 $ mkdir keys;cd keys $ openssl version OpenSSL 1. 0. 1g 7 Apr 2014 $ openssl genrsa -aes128 1024 > server. key $ openssl req -new -key serv... --- ### 【MessagePack】msgpack-pythonのベンチマーク - Published: 2014-10-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/msgpack-python/ - カテゴリー: t2sy-note - タグ: JSON, MessagePack, Python msgpackはJSONより高速で軽量なシリアライゼーションフォーマットです。 今回はmsgpack-pythonのベンチマークを測定してみました。 MessagePackの特徴 serialize, deserializeが高速 serializeされたデータサイズが軽量 ストリーム処理が可能 ライバルはMongoDB等で使われている BSON でしょうか。 msgpack-python vs simplejson msgpackの高速性と軽量性について JSON encoder/decode... --- ### 【Skip-gram / CBOW】Word2vec を使ってみた - Published: 2014-10-11 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/10/word2vec/ - カテゴリー: t2sy-note - タグ: MeCab, NLP, Python, word2vec Word2vec は単語の分散表現を作ることができます。分散表現とは単語を固定長の実数ベクトルで表現することです。one-hot encoding は語彙数と等しい次元数の大きさの疎な表現になりますが, 分散表現は密な表現が得られます。 word2vec Word2vec には CBOW, Skip-gram の2つのアーキテクチャがあります。 CBOW CBOW (Continuous Bag-of-Words) は単語周辺の文脈から中心の単語を推定します。 着目して... --- ### 【バギング】R で Random Forest - Published: 2014-10-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/10/r_randomforest/ - カテゴリー: t2sy-note - タグ: Machine Learning, R Rで RandomForest を試してみたのでメモ。 参考書籍は, はじめてのパターン認識です。 決定木 決定木は木構造の有向グラフです。目的変数が量的データの場合は回帰木となり, 質的データの場合は分類木となります。 Rでは {rpart} で決定木を構築できます。 アンサンブル法 アンサンブル法は, 複数の弱分類器から高性能な強学習器を生成する仕組みで集団学習とも言います。 アンサンブル法はブースティングとバギングの2つの枠組みがよく知られています。 バギング バギング (Bootstra... --- ### 【R】SVMの基礎 - Published: 2014-09-15 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/09/%e3%80%90caret%e3%80%91r%e3%81%a7svm%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e5%ad%a6%e3%81%b6%e3%80%90grid-search%e3%80%91/ - カテゴリー: t2sy-note - タグ: Machine Learning, R, SVM SVM (Support Vector Machine) はマージン最大化を特徴とした教師あり学習手法です。 線形SVM 非線形SVM 正則化 RでSVM 交差検証 パラメータチューニング OCSVM RでOCSVM 線形SVM SVMでは2つのクラスを分ける分離超平面を求めます。 ω を重みベクトル, γ を切片として各サンプルに対するマージンを正にする ω と γ が存在するとき線形分離可能であるといいます。 \begin{eqnarray*} f_\omega_\gamma... --- ### 【機械学習】Jubatusを使ってみた - Published: 2014-09-12 - Modified: 2023-06-06 - URL: https://fisproject.net/2014/09/%e3%80%90%e6%a9%9f%e6%a2%b0%e5%ad%a6%e7%bf%92%e3%80%91jubatus%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ubuntu12-04%e3%80%91/ - カテゴリー: t2sy-note - タグ: Jubatus, Machine Learning, Ubuntu Jubatusは機械学習のフレームワークです。 photo by jubat. us Features Jubatusは 2014/09/07 時点でバージョンは 0. 62 です。 特徴は大きく以下の3つのようです。 リアルタイム処理 バッチ型機械学習並の学習精度 分散処理 早速インストールしてみます。 Install 環境は Ubuntu12. 04 (32bit)です。shellのインストーラは上手く行きませんでした。 $ . /install. sh $ . /install_python. sh 3... --- ### 【Ubuntu】LLVM/Clang を使ってみた - Published: 2014-08-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/08/%e3%80%90ubuntu%e3%80%91llvmclang%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90formatter%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Golang, LLVM, Ubuntu 今の開発現場は未だにC言語のビルド環境がGCCですが,今回はLLVM/Clangを使ってみました。 また, clang-format を WEBサービス (go-clang-formatter)にしてみました。 シンプルなので実験として Golang で書いています。 LLVM/Clang 特徴 最新の規格への対応が早い(C++11対応) GCCとの互換性が高い エラーメッセージが最小限かつ分かり易い プラグインによる拡張 BSD License（厳密には異なる） LLVM/Clang 構成 フ... --- ### 【Fluentd】td-agent に Golang でログ送信してみる - Published: 2014-08-24 - Modified: 2023-06-06 - URL: https://fisproject.net/2014/08/%e3%80%90fluentd%e3%80%91td-agent%e3%81%ab-golang%e3%81%a7%e3%83%ad%e3%82%b0%e9%80%81%e4%bf%a1%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90ubuntu%e3%80%91/ - カテゴリー: t2sy-note - タグ: fluentd, Golang, Ubuntu fluentdはログ収集ミドルウェアで非同期通信/データストリームでログを収集します。 input/filter/outputというシンプルな構造となっていてrsyslogなど既存のログツールと協調姿勢を取っているのが良いなと思います。 基本的にRubyで書かれていて、性能が要求されるイベントループ部分はcool. io、シリアライズ実装はmsgpackを使っています。 photo by fluentd. org また,fluentdをRubyからgolangに移植するプロジェクトがあるようです。 ... --- ### 【R】線形回帰分析の基礎 - Published: 2014-08-17 - Modified: 2023-06-07 - URL: https://fisproject.net/2014/08/r-regression/ - カテゴリー: t2sy-note - タグ: R, Statistics 今回は, R による線形回帰分析について書きます。 1. 線形回帰分析 1-1. 最尤推定 1-2. 単回帰分析 1-3. 重回帰分析 1-4. 重回帰モデルの可視化 2. 非線形最小二乗法 環境は OSX 10. 9. 4で R version 3. 1. 1 (2014-07-10) です。 1. 線形回帰分析 説明変数を用いて連続量の目的変数を説明する分析を回帰分析と言います。説明変数と目的変数の関係が線形的に示されるモデルを線形モデル, 非線形で示されるモデルを非線形モ... --- ### 【Node.js】Koaで multipart/form-data のファイルを保存する - Published: 2014-08-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/08/%e3%80%90co-busboy%e3%80%91koa%e3%81%a7multipartform-data%e3%81%ae%e3%83%95%e3%82%a1%e3%82%a4%e3%83%ab%e3%82%92%e4%bf%9d%e5%ad%98%e3%81%99%e3%82%8b%e3%80%90nodejs%e3%80%91/ - カテゴリー: t2sy-note - タグ: co-busboy, Koa, Nodejs, stream 今回は久しぶりのNodejs関連です。Koa(WAF)でmultipart/form-dataのファイルを保存する方法について。 co-busboyを使ってmultipart/form-dataのハンドリングを行い, Uploadされた画像を保存します。 Environment ES6で追加された同期処理っぽい処理ができる yield を使うためには, v0. 11. xx以降が必要です。 Koa + co-busboy をインストールします。busboyはHTMLフォームデータのための Strea... --- ### 【はじめての電子工作 (3)】抵抗ってなに？ - Published: 2014-08-10 - Modified: 2018-12-22 - URL: https://fisproject.net/2014/08/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e6%8a%b5%e6%8a%97%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f%e3%80%90part3%e3%80%91/ - カテゴリー: はじめての電子工作 - タグ: 電子工作 抵抗とは何か 抵抗器は電気を流れにくくする電子部品です。 流れる電気の量を制御して, 電子回路を正常に動作させる役割をもつ素子です。 抵抗の種類 抵抗器には抵抗体の材料や構造によっていろんな種類があります。 ここでは電子工作でよく使われるものを紹介します。 カーボン皮膜抵抗器 炭素(カーボン)の皮膜が抵抗体となり, らせん状の切り込みで抵抗値が調整されています。 安価で電子工作でも多用されます。抵抗値はカラーコードで判別します。 金属皮膜抵抗器 ニッケルクロム合金などの金属を使用しており, 温度... --- ### 【Linux】Gstreamer の使い方 - Published: 2014-08-08 - Modified: 2018-11-07 - URL: https://fisproject.net/2014/08/%e3%80%90linux%e3%80%91gstreamer%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90multimedia-fw%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Gstreamer, Linux, Python GStreamer は OSS (LGPL）の各種コーデックを搭載したマルチメディアフレームワークです。前回は ALSA の紹介をしましたが GStreamer でも alsa-library や alsa-core といった ALSA の機能を利用しています。 GStreamerのインストール GStreamerの基本機能 GStreamerを使ってみる GStreamerのインストール コマンドラインでコーデック機能, ファイルIO, 加工処理がプラグインによって行... --- ### 【Windows】Cygwinで tmux を使ってみた - Published: 2014-07-31 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90windows%e3%80%91cygwin%e3%81%a7tmux%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90multiplexer%e3%80%91/ - カテゴリー: t2sy-note - タグ: Cygwin, tmux OSがwindowsで仮想環境禁止, proxy制約の環境でどうしてもUNIX環境が欲しかったのでCygwinを入れてみましたが、画面分割がしたいということでGNU screen入れたけど微妙だったのでtmuxにしてみた。 tmuxは terminal-multiplexer で複数のプログラムを簡単にひとつのターミナル上で切替可能で, またそのターミナルからプログラム群を切り離し(detach)、別のターミナルに繋ぎ直す(attach)ことができる。リモートマシンの操作にも便利。 apt-cy... --- ### 【Linux】ALSAの使い方 - Published: 2014-07-30 - Modified: 2018-11-07 - URL: https://fisproject.net/2014/07/%e3%80%90linux%e3%80%91alsa%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90aplay%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: ALSA, Linux, Linux-kernel ALSA (Advanced Linux Sound Architecture) は Linux でオーディオの入出力をするときに使う定番のライブラリ群です ALSA構成 ALSAは従来の Open Sound System (OSS) を置き換えるために開発されたLinuxカーネルコンポーネントです。OSSがサポートしていなかったいくつかの機能をもつよう設計されています。特徴を Wikipedia から引用します。 ハードウェアベースのMIDI演奏 複数チャンネルのハードウェアによるミキシング... --- ### 【はじめての電子工作 (2)】トランジスタってなに？ - Published: 2014-07-21 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c%e3%80%91%e3%83%88%e3%83%a9%e3%83%b3%e3%82%b8%e3%82%b9%e3%82%bf%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/ - カテゴリー: t2sy-note, はじめての電子工作 - タグ: トランジスタ, 電子工作 トラ技2014/08号がトランジスタ特集でした。 トランジスタとは何か トランジスタは、電気信号を制御するための素子です。 例えば,コンデンサマイクは音波で振動板が動く事によって電圧が変わる原理を応用していますが,微弱な信号のためそれをスピーカに入力しても鳴る音が非常に小さくなってしまいます。 そこでトランジスタを使う事で電流を増幅し大音量で鳴らすことができます。 トランジスタの特性 トランジスタは「ベース」に流れる電流を制御することで「コレクタ」、「エミッタ」間を流れ... --- ### 【Robotics】Gobotを使ってみた - Published: 2014-07-13 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90robotics%e3%80%91gobot%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90golang%e3%80%91/ - カテゴリー: t2sy-note - タグ: BeagleBoneBlack, Gobot, Golang Gobot は Go で書かれたロボティクスのためのフレームワークです。 Arduino, ARDrone, BeagleBoneBlackなど10を超えるH/Wに対応しています。 Photo Gobotをインストールする 環境はOSX 10. 9. 3です。Goがインストールされていることを確認します。 $ go version go version go1. 2. 1 darwin/amd64 環境変数を設定します。GOPATHは任意のディレクトリにします。 export GOPATH=~/. gol... --- ### 【governor】Linuxの電力制御について調べた - Published: 2014-07-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/%e3%80%90cpuidle%e3%80%91linux%e3%81%ae%e9%9b%bb%e5%8a%9b%e5%88%b6%e5%be%a1%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%9f%e3%80%90governor%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel 本題と関係ないですが, telnet で StarWars が見れます。感動した。 $ telnet towel. blinkenlights. nl Linuxの電力制御 (PowerManagement, PM)について書いてみた。 電力制御とは 基本的な考えとしてコンピュータの消費電力は, 電力 = 電圧 x 電流 であるので, 消費電流を抑えたい。 CPUを例に挙げると, 電流はCPUクロックに比例するので,CPUに不要な動作をさせない,又はCPUクロックを下げることが必要になります。 クロ... --- ### 【ClamAV】Linux の SSH 設定を見直す - Published: 2014-07-06 - Modified: 2018-08-11 - URL: https://fisproject.net/2014/07/review-ssh-settings/ - カテゴリー: t2sy-note - タグ: Linux, SSH VPS の SSH 設定をデフォルトのまま放置しておくとログから不正なアクセスがあることを確認できます。SSH ログの場所は OS によって異なります。今回の OS は CentOS 6. 5 です。 Linux共通: /var/log/syslog CentOS: /var/log/secure Ubuntu: /var/log/auth. log OSX: /var/log/system. log Failed / invalid の件数を確認します。 $ grep -c Failed /var/... --- ### 【SIGALRM】シグナルハンドラで非同期処理 - Published: 2014-07-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/07/asynchronous-processing-in-the-signal-handler/ - カテゴリー: t2sy-note - タグ: Linux, Linux-kernel Apache HTTP Server や Nginx など多くの HTTPサーバでは UNIXシグナル を送信して設定ファイルや各種ログファイルを開き直したりできます。例えば Nginx のマスタープロセスは以下のシグナルをサポートしています。 シグナル 動作 SIGINT, SIGTERM シャットダウン SIGHUP 設定ファイルの再読み込み SIGQUIT Gracefully shutdown SIGUSR1 ログファイルの再読み込み SIGUSR2 実行ファイルの更新 SIGWINCH... --- ### 【パケット解析】tcpdump の ARM クロスコンパイル - Published: 2014-06-20 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/tcpdump/ - カテゴリー: t2sy-note - タグ: tcpdump, Wireshark リソース的な都合でCUI環境しかない組み込みデバイス開発, ループバックアドレス内で通信していて Wireshark ではパケットダンプできないケースに tcpdump は役立ちます。 ただしディストリビューション環境であれば, クロスコンパイルよりパッケージマネージャでのインストールの方が楽です。また, wiresahrkのCUI版の tshark という選択肢もあります。 # RHEL $ yum install wireshark # Debian $ sudo apt-get insta... --- ### 【特殊変数】Shell のメタキャラクタ - Published: 2014-06-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90shell%e3%80%91%e3%82%b7%e3%82%a7%e3%83%ab%e3%81%ae%e3%83%a1%e3%82%bf%e3%82%ad%e3%83%a3%e3%83%a9%e3%82%af%e3%82%bf%e3%80%90%e7%89%b9%e6%ae%8a%e5%a4%89%e6%95%b0%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, Shell メタキャラクタを制するものはシェルを制すかはわかりませんが Shell の基本を知っておくと何かと役立ちます。 メタキャラクタについて bash のメタキャラクタ一覧です。 文字 内容 & ampersand & はコマンドをバックグラウンド実行する. && は最初のコマンドの戻り値が 0 (成功) の場合に続くコマンドを実行する ; semicolon ; は同じラインでコマンドを連続実行する ` backquote ` は sub-s... --- ### 【MakerBot】Replicator 5th Gen で3Dプリントしてみた - Published: 2014-06-06 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90makerbot%e3%80%91replicator-5th-gen%e3%81%a7%e3%83%97%e3%83%aa%e3%83%b3%e3%83%88%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90pla%e3%80%91/ - カテゴリー: t2sy-note - タグ: 3D-Printer, Replicator, STL 今回はReplicator5thを使ってみた話です。購入の話はこちらです。 セッティング まず,内容物を確認して電源を入れます。 ブルーシートをBuildPlate(印刷台)に貼ります。(5枚付属) BuildPlateのキャリブレーションです。 Menu > Utilities > BuildPlate を選択します。 レベリングノブはFrontとLightがあります。画面の指示に従って調整します。 続いて,付属フィラメントのスプールをセットします。 Extruderの予熱を開始します。 余熱... --- ### 【Gecko / Blink】Webブラウザエンジンについて調べてみた - Published: 2014-06-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90gecko%e3%80%91web%e3%83%96%e3%83%a9%e3%82%a6%e3%82%b6%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90blink/ - カテゴリー: t2sy-note WEBブラウザを構成する技術について調べてみました。 Web Browser Engine WEBブラウザの機能を大きく3つに分けます。 Networking HTML Rendering Engine JavaScript Engine 今回はHTML Rendering Engine, JavaScript Engineについて。 HTML Rendering Engine HTML Rendering Engineのフローです。 HTMLを解析 - レキサー : ... --- ### 【電子回路】LTspice IV for Mac OS Xを使ってみた - Published: 2014-06-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/06/%e3%80%90%e9%9b%bb%e5%ad%90%e5%9b%9e%e8%b7%af%e3%80%91ltspice-iv-for-mac-os-x%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90simulator%e3%80%91/ - カテゴリー: t2sy-note, はじめての電子工作 - タグ: LTspice, SPICE, 電子工作 作った正負電源回路が動かないので地道にデバッグ中... LTspice IV for Mac OS Xを使ってみたのでメモります。 LTspice IV インストール ダウンロードはこちらから。 $ mv LTspice. app /Applications 起動後, File > NEW > NEW SCHEMATIC で新規作成します。 既存ファイルを開く場合は, File > Open > 回路図ファイル（*. asc）です。 部品を追加するには, 画面上で右クリック > Drafts > C... --- ### 【FQDN】DNSの基礎と dig コマンドの使い方 - Published: 2014-05-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/basics-of-dns-and-how-to-use-the-dig/ - カテゴリー: t2sy-note - タグ: DNS DNSの基礎と dig の使い方を整理します。 名前解決の歴史 元々, ARPANET時代には hostsファイルに IPアドレス ドメイン名 を書いていた。 しかし, ホストが増えると各ホストがhostsファイルの更新時に同期するコストが膨大になるためDNSの仕組みが生まれた。 DNSは分散DBで,必要な時に必要な分(差分)だけ更新することが可能になり効率的になった。 2011年には gTLD（Generic Top Level Domain） の自由化が始まった。 ドメイン名前空間 すべての... --- ### 【線形分類器】Goで Perceptron を書いてみた - Published: 2014-05-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/go-perceptron/ - カテゴリー: t2sy-note - タグ: Golang, Machine Learning 工学系出身のため機械学習に関して初心者ですが, 乏しい線形代数の知識をなんとか使って勉強したのでまとめます。今回実装したオンライン学習手法である Perceptronに関しては原理も単純なので機械学習初心者にオススメです。 Photo by wikipedia(en) オンライン線形分類器 オンライン学習はデータを逐次的にひとつずつ処理し, その度に重みベクトルを更新していく学習法です。 バッチ学習する場合と比較してリアルタイムに更新できる点が特徴です。オンライン線形分類器は, オンライン学習に... --- ### 【FDM】 Replicator 5th Genを買ってみた - Published: 2014-05-14 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/%e3%80%90fdm%e3%80%91-replicator-5th-gen%e3%82%92%e8%b2%b7%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90g-code%e3%80%91/ - カテゴリー: t2sy-note - タグ: 3D-Printer, Replicator, STL MakerBot Replicator 5thを買いました。$3,000でした。 輸送料金入れると今の為替レートで考えて33万くらいです。 今回は使う前に3Dプリンタの基本的な事について調べた内容を書きます。 ただしメモ書きなので,詳しくはトランジスタ技術6月号 3Dプリンタでまるごと電子工作 を見てください。 3Dプリンタの特徴 ・手加工より複雑な形状を作り易い ・切削加工よりゴミが少ない ・機構部品を同じ寸法でいくらでも作れる 副次的に3次元でものを捉える思考が身に付くという学習的なメリット... --- ### 【reflect / testing】Golang Study Memo - Published: 2014-05-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/05/%e3%80%90reflect%e3%80%91golang-study-memo%e3%80%90testing%e3%80%91/ - カテゴリー: t2sy-note - タグ: Golang 今年の GWは javascript / golang / objective-c を書いています。まだまだ初心者ですが Golangを勉強した備忘録です。内容は以下です。 標準パッケージを使ってみた感じ (os/exec, reflect, net/http) 自作パッケージを作ってテストしてみた感じ go version 1. 2. 1です。 Package os/exec Goプログラムからのシェルコマンドの実行, C言語でいう systemとか execの機能を提供します。 下記例で... --- ### 【TLS】OpenSSLについて調べてみた - Published: 2014-04-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/04/%e3%80%90tls%e3%80%91openssl%e3%82%92%e8%aa%bf%e3%81%b9%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90bio%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: OpenSSL, SSL/TLS HeartBeatとHeartBleed-Bug OpenSSL 1. 0. 1~1. 0. 1f のHeartBeat実装には, 重大な脆弱性 (HeartBleed-Bug) が存在しました。 $ openssl version HeartBeat拡張機能 (RFC6520) は 鼓動/生存確認 という意味からその名前がついています。 TLSハンドシェイク中に, まず ClientHello で HeartBeat拡張 を使うことを伝えます。サーバから ServerHello が応答され, クライア... --- ### 【Node.js】FFmpegで HLS 配信 をしてみる - Published: 2014-04-02 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/04/%e3%80%90node-js%e3%80%91ffmpeg%e3%81%a7hls%e9%85%8d%e4%bf%a1%e3%82%92%e3%81%97%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90mp4%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: CentOS, Debian, ffmpeg, HLS, Nodejs 今回はメルチメディア系の話です。映像配信で良く使われる RTP/RTSP サーバではなく FFmpeg と Node. js で, MP4配信 / HLS( HTTP Live Streaming )配信 / ffserverを試してみました。 環境は CentOS6. 4 (Final)ですが, ビルドは Debian7. 4 でも確認しています。 FFmpegインストール h264S/Wコーデックのx264を使う場合,まずyasm(アセンブラ)をインストールした方がパフォーマンスが上がります。 #... --- ### 【ARM】Go言語のクロスコンパイル - Published: 2014-03-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/03/%e3%80%90arm%e3%80%91go%e8%a8%80%e8%aa%9e%e3%81%ae%e3%82%af%e3%83%ad%e3%82%b9%e3%82%b3%e3%83%b3%e3%83%91%e3%82%a4%e3%83%ab%e3%80%90debian%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Golang DebianWheezy上でARMプロセッサ向けにクロスコンパイルする方法です。 BeagleBoneBlack(以下BBB)で動作確認まで行います。 写真は九龍から眺めた香港の夜景。 Go開発環境の構築 環境はdebian Wheezyです。まずは失敗事例から。 apt-getでGoをインストールします。 # debian $ sudo apt-get install golang $ which go /usr/bin/go # centos $ yum install golang $ g... --- ### 【Automake】GNU Autotools を使ってみる - Published: 2014-03-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/03/%e3%80%90configure%e3%80%91gnu-autotools%e3%82%92%e4%bd%bf%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b%e3%80%90make%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: Autotools, libtool, Linux GNU Autotoolsとは AutotoolsはUNIX系OSのソフトウェアパッケージ製作ツールです。 Autoconf, Automake, Libtoolの3つが主要な機能でパッケージ開発はもちろんソースコードからインストールする時のデバッグにも役立つ知識です。 上記図中の各ファイルを生成するために, Autotoolsのコマンドを用います。 コマンド群の簡単な説明です。 autoscan configure. acの雛形configure. scanを生成します。renameしてconfi... --- ### 【BWT】Burrows-Wheeler Transform in C - Published: 2014-03-08 - Modified: 2019-03-27 - URL: https://fisproject.net/2014/03/%e3%80%90bwt%e3%80%91burrows-wheeler-transform-in-c%e3%80%90mtf%e3%80%91/ - カテゴリー: t2sy-note - タグ: BWT, C 圧縮に関しては素人ですが, 全文検索やデータ圧縮など様々な場面で使われる BWT/MTF や関連技術に興味があったので調べてみました。 Burrows-Wheeler Transform BWT (Burrows-Wheeler Transform)はBlock Sortingとも呼ばれます。主にデータ圧縮の前処理として用いられます。 BWTでは, 接尾辞ではなく巡回シフトで得られた巡回行列を prefixで辞書順ソートしていきます。 ソート後の行列の最終列を取り出してます。 BWT後はデータの... --- ### 【SPDY / HPACK】HTTP/2ハッカソンに行ってきた - Published: 2014-02-28 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90spdy%e3%80%91http2%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90hpack%e3%80%91/ - カテゴリー: t2sy-note - タグ: HTTP, HTTP/2, SPDY HTTP/2ハッカソン#1 (2014-02-23)に行ってきました。(当日資料) HTTP/2関連情報はhttp2. infoでわかるので,改めて書くこともないですが,自分用のメモとして整理しておきます。 HTTP/1. 1おさらい HTTP 1. 1は1997年にRFCが発行され現在まで15年以上経過しています。 HTTP 1. 1リクエストはtextベースで記述し行指定で処理していきます。 GETの場合,以下のように リクエストライン + HTTPヘッダ で構成されます。 GET /default... --- ### 【AFNetworking】Ai-Ball + iOS で自宅監視システム - Published: 2014-02-21 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90ios%e3%80%91ai-balliphone%e3%81%a7%e8%87%aa%e5%ae%85%e7%9b%a3%e8%a6%96%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0%e3%80%90afnetworking%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AFNetworking, iOS Ai-Ballを使ってみた デバイスハッカソンをきっかけとしたTREK 2000 Ai-Ballを使った企画でコンテストに出るためにiOSアプリを作りました。 Ai-Ballの特徴は以下の通りです。 30万画素 (AF機能) Motion JPEG マイク Wi-Fiユニット 筐体込みで22g CRボタン電池 or USB供給駆動 これで使わなくなった iPhone + AiBall で自宅監視ができる! ツッコミは無視! ただし, AiBallの発熱がヤバいので気をつけてください。 JPEG画像... --- ### 【V4L2】BeagleBoneBlack に USB-WiFi / Camera を接続 - Published: 2014-02-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90debian%e3%80%91beagleboneblack%e3%81%abusb-wifi%e3%82%92%e6%8e%a5%e7%b6%9a%e3%80%90wpa_supplicant%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Linux BeagleBoneBlackからUSB-WiFi経由でインターネットに接続,USB-Camで映像を取得する実験をしました。 環境はDebianWheezy(7. 3),繋ぐ先はAtermです。Angstromでは確認できていません。 USB-WiFiはI-O DATA IEEE802. 11n/g/b準拠 300Mbps(規格値) 無線LANアダプター WN-G300UAです。 LinuxのUSBデバイスの仕組みはこちらに書いています。 まず、認識されているUSBデバイスを取得します。 $ lsu... --- ### 【ARM】BeagleBoneBlack に Debian / Ruby 環境構築 - Published: 2014-02-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90arm%e3%80%91beagleboneblack%e3%81%abdebianruby%e7%92%b0%e5%a2%83%e6%a7%8b%e7%af%89%e3%80%90gnueabi%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Debian, Linux, Ruby BeagleBoneBlack(以下BBB)に DebianWheezy, Ruby2. 1環境を構築する方法です。 BeagleBoneBlack ARM CortexA-8(ARMv7)を搭載したAM3358BZCZ(TI製, 1GHz)が搭載されています。 メモリは DDR3L, ストレージは eMMC(embedded MultiMediaCard, NAND)です。 BBB搭載のCortexA-8の進化版であるCortexA-9はRevision4まで進んでおり、CortexA-15より... --- ### 【AFNetworking】iOSの HTTP Client まとめ - Published: 2014-02-09 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90afnetworking%e3%80%91ios%e3%81%aehttpclient%e3%81%be%e3%81%a8%e3%82%81%e3%80%90mknetworkkit%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AFNetworking, iOS NSURLSession (NSURLConnection) NSURLSession(NSURLConnection)はFoundation. Frameworkのクラスです。 NSURLRequestはリクエストオブジェクトを作成しNSURLConnectionでhttp通信を行い, delegateしたクラス内でNSData, NSURLResponseでデータを受け取ります。タイムアウトやキャッシュ, 認証方法などの設定もNSURLRequestで行ったり自前クラスを書くケースが多くありま... --- ### 【SNMP】Net-SNMPで機器監視 - Published: 2014-02-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/%e3%80%90snmp%e3%80%91net-snmp%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90%e3%83%8d%e3%83%83%e3%83%88%e3%83%af%e3%83%bc%e3%82%af%e7%9b%a3%e8%a6%96%e3%80%91/ - カテゴリー: t2sy-note - タグ: Linux, SNMP SNMPとは SNMP は機器監視プロトコルで UDP（161, 162 port） のサービスです。 現在, 多くのソフトウェアは SNMP v3 をサポートしています。 SNMP で取得できる情報は、接続機器上で動いているプロセス、システムリソース（CPU,メモリ）、ネットワークトラフィック、システムログに記録される特定のメッセージ等です。 SNMP用語 SNMP用語の中には独特の表現があります。よく使う用語は以下です。 マネージャ クライアントに近い役割。エージェントに情報を要求。 エージ... --- ### 【CPU】Linux のプロセススケジューラの基礎 - Published: 2014-02-01 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/02/linux-proc-scheduler/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel Photo by GAGA 映画『スティーブ・ジョブズ』の感想 製品に関するエピソードはmacintoshまでで, CEO復帰後のiMac, iPod, iPhoneの話はでてこないので, 期待していたシーンがなかったという人もでてくるかもしれないですが, 個人的には90'sまでの話が厚くて良かったです。 独裁とも言われるリーダーシップがいつも正しいとは限らない(特に平時の時)と思いますが, 一貫した美学とコンセプトは意思を持って従わせるには充分だったと思います。 印象に残ったのは, フロッピー... --- ### 【iOS】XCTest で単体テスト - Published: 2014-01-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90ios%e3%80%91xctest%e3%81%a7%e5%8d%98%e4%bd%93%e3%83%86%e3%82%b9%e3%83%88%e3%82%92%e8%a1%8c%e3%81%86%e3%80%90xcode5%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: iOS, Objective-C, XCTest 久しぶりのiOSネタです。XCTest. frameworkはDocumentが少ないですが割と手軽に単体テストが行えます。使えるテスト用メソッドはこちらのスライドで確認できます。 環境は OS X 10. 9. 1, XCode 5. 0. 2 です。 テスト対象のクラスを作成 以下のようなクイズの出題数と正解数を管理するクラスを作りました。 // Get Method -(unsigned int)getQuestionCount{ return self. questionCount; } -(uns... --- ### 【GNU coreutils】uname ソースコードリーディング - Published: 2014-01-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90gnu%e3%80%91uname%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90coreutils%e3%80%91/ - カテゴリー: t2sy-note - タグ: C uname(1)は, 現在稼働中のカーネルについての名前と情報を得ることができるコマンドです。 $ uname -a Darwin MacBook-Air. local 13. 0. 0 Darwin Kernel Version 13. 0. 0: Thu Sep 19 22:22:27 PDT 2013; root:xnu-2422. 1. 72~6/RELEASE_X86_64 x86_64 GNU Core Utilitiesの中でもソースが分かり易いコマンドなので今回, 取り上げてみました。 コマン... --- ### 【C言語】ポインタとメモリの話 - Published: 2014-01-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90c%e8%a8%80%e8%aa%9e%e3%80%91%e3%83%9d%e3%82%a4%e3%83%b3%e3%82%bf%e3%81%a8%e3%83%a1%e3%83%a2%e3%83%aa%e3%81%ae%e8%a9%b1%e3%80%90%e3%83%92%e3%83%bc%e3%83%97%e3%80%91/ - カテゴリー: t2sy-note - タグ: C ポインタ自体はメモリのアドレスを入れている変数ですが、単純かつ奥が深い機能です。 他の言語では意識しないことまで気を使わないといけません。単純なミスとして, strcpyを使わないで, loop内で繰り返しポインタへの代入を行うと代入元のアドレスが置き換わってしまって... ということがあります。 ポインタの動作にはC言語のメモリ管理構造 (特にスタックとヒープの構造)がイメージできるかがポイントと思います。 関数とポインタ 1. データをポインタで関数に渡す ポインタを使った簡単な方法のひとつで... --- ### 【CentOS】Apache httpd で gzip / Deflate を有効にする - Published: 2014-01-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90centos%e3%80%91apache%e3%81%a7gzip%e3%82%92%e6%9c%89%e5%8a%b9%e3%81%ab%e3%81%99%e3%82%8b%e3%80%90%e5%9c%a7%e7%b8%ae%e3%80%91/ - カテゴリー: t2sy-note - タグ: Apache, gzip Deflateアルゴリズムの中でも有名な方式がgzip(Deflate+Header/Footer)です。 gzip(GNUZIP)は、LZ77とハフマン符号を組み合わせた圧縮方式です。 gzip転送で速くなるかは環境次第でネットワークがボトルネックの場合は効果が大きいですが、gzipの展開時間との兼ね合いにもよります。 gzipは圧縮/展開とも比較的高速なことから様々なケースで使われます。 環境はこちらです。debian系とは設定関連の場所が異なります。 $ httpd -v Server v... --- ### 【Node.js】Socket.IO@1.0 を読んでみた - Published: 2014-01-03 - Modified: 2018-07-26 - URL: https://fisproject.net/2014/01/%e3%80%90node-js%e3%80%91socket-io1-0%e3%82%92%e8%aa%ad%e3%82%93%e3%81%a7%e3%81%bf%e3%81%9f%e3%80%90websocket%e3%80%91/ - カテゴリー: t2sy-note - タグ: Engine.io, JavaScript, Nodejs, Socket.io socket. io@1. 0で大きくアーキテクチャが変わるみたいなので調べてみました。 binaryをサポートしたことで, 例えば node-canvas でサーバ側で rendering した canvasをbinary で効率良く送信もできるとの事。 socket. io@0. 9の構成が以下です。 /lib$ tree . ├── logger. js ├── manager. js ├── namespace. js ├── parser. js ├── socket. io. js ├── socket... --- ### 【N-gram】全文検索エンジン Apache Solrを使ってみた - Published: 2013-12-22 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90n-gram%e3%80%91%e5%85%a8%e6%96%87%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3-solr%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90apache%e3%80%91/ - カテゴリー: t2sy-note - タグ: Java, N-gram, Solr 2013年に読んだ本が188冊でした。ハードカバー以外の本は全て裁断してスキャナでPDF化する所謂、自炊をしています。 来年の目標のひとつはOCR化して全文検索エンジンでこれらをIndexingしてキーワードで全文検索できるようにすること。 D社が開発している世界最速の非破壊ブックスキャナだけど、高速カメラによる判定と歪んだ画像の補正はできる気がするけど一枚一枚を高速でメクる制御とその精度がとても大変そう。 ちなみにiOS7のメモ帳は全文検索できて便利! UIは前の方が好きだけど。 Apache... --- ### 【Node.js】Express + Passport をつかってみた - Published: 2013-12-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90node-js%e3%80%91passport%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90express%e3%80%91/ - カテゴリー: t2sy-note - タグ: Express, Nodejs, passport PassportはStrategyというオブジェクトを切り替えることで140以上の認証方法に対応したNode. jsのモジュールです。 今回はtwitter、facebookで認証の練習をしました。 Passportを使うための準備 環境は以下。カーネルが意外と古いです。 $ uname -a Linux 2. 6. 32-358. 11. 1. el6. x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux $ c... --- ### 【RTP / RTSP】Live555 の使い方と解説 - Published: 2013-12-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/12/%e3%80%90rtp%e3%80%91live555%e3%81%ae%e3%82%bd%e3%83%bc%e3%82%b9%e3%82%b3%e3%83%bc%e3%83%89%e3%83%aa%e3%83%bc%e3%83%87%e3%82%a3%e3%83%b3%e3%82%b0%e3%80%90rtsp%e3%80%91/ - カテゴリー: t2sy-note - タグ: Live555, RTSP Live555はC++で書かれたRTP/RTCP, RTSP, SIPでメディアをマルチストリーミングするためのライブラリです。 3rdPartyのソフトには VLC, GoodPlayer, MPlayer, OpneRTSP などがあります。 Linuxではカーネル2. 6以降で動作します。iOS実装でも実績があります。 * OSSのRTP/RTSPサーバでは同様の機能を持つgstreamerも有名です。gstreamerはC言語で書いたオブジェクト指向ライブラリで勉強になると思います。 Li... --- ### 【Wireshark】HTTPの中身をみる - Published: 2013-11-30 - Modified: 2019-02-28 - URL: https://fisproject.net/2013/11/%e3%80%90wireshark%e3%80%91http%e3%81%ae%e4%b8%ad%e8%ba%ab%e3%82%92%e3%81%bf%e3%82%8b%e3%80%90hex%e3%80%91/ - カテゴリー: t2sy-note - タグ: Wireshark Wireshark を使って HTTPリクエスト/レスポンス の中身を確認してみます。 HTTPリクエスト Chrome や Firefox などの Web ブラウザや curl コマンドといった HTTP クライアントから google. com にリクエストを投げます。一部加工していますが Wireshark で tcp. port == 80 でフィルタリングすると以下のように確認できます。パケットを選択し 右クリック -> copy -> byte で HEX をコピーできます。 GET /... --- ### 【Linux】ファイルディスクリプタとは何か - Published: 2013-11-27 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/11/linux-file-descriptor/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Linux, Linux-kernel HTTPサーバが複数のクライアントを識別できる背景にはファイルディスクリプタの存在があります。ファイルディスクリプタが存在しないと, サーバは誰にレスポンスを返して良いかわからなくなってしまいます。 今回はファイルディスクリプタの基礎について。 Stream ファイルディスクリプタを理解するには Stream が何かを知る必要があります。 下図のようにプロセスからファイルにアクセスするときに, 通り道となるのが Stream です。バイト列が流れることから byte-stream とも呼ば... --- ### 【WebGL】Three.jsをつかってみた (2) - Published: 2013-11-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f2%e3%80%90blender%e3%80%91-2/ - カテゴリー: t2sy-note - タグ: Blender, Three.js, WebGL セットアップは前回の記事を参照。 前回BlenderでつくったモデルをThree. jsでレンダリングしてみます。 内容 ・Cubeにテクスチャを貼付けて動かす。 ・BlenderでつくったモデルをThree. jsで動かす。 ・Three. jsで10000個のparticleを動かす。 ・WebGLRendererでクリックイベントを検出する。 ・CSS3DRendererを使う。 Cubeにテクスチャを貼付けて動かす 今回は以下を使います。 . /mrdoob-three... --- ### 【OpenData】第6回 LODチャレンジデーにいってきた - Published: 2013-11-24 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e7%ac%ac6%e5%9b%9e%e3%80%91lod%e3%83%81%e3%83%a3%e3%83%ac%e3%83%b3%e3%82%b8%e3%83%87%e3%83%bc%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90opendata%e3%80%91/ - カテゴリー: t2sy-note - タグ: Hackathon 11/24に第6回LODチャレンジデー(mixi@渋谷)にいってきました。 今年の応募締め切りは2014/1/6なので自分も応募したいと思います。 LODとは Linked Open Data（リンクト・オープン・データ、略名: LOD）は、ウェブ上でコンピュータ処理に適したデータを公開・共有するための技術の総称。LODチャレンジデーは全国で開催されているようです。 昨年アプリ部門を受賞したどこでもPinQA(NTTレゾナントの提供する PinQA に登録されている情報を地図に表示するアプリ)の... --- ### 【メモリリーク】mtrace の使い方 - Published: 2013-11-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e3%83%a1%e3%83%a2%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%af%e3%80%91mtrace%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9%e3%80%90glibc%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, mtrace メモリリークチェックとしてsedを使って /proc/meminfo を整形するシェルスクリプトを書いていましたが, もっと細かく調べたく mtrace という便利ツールを使ったので書きます。 mtraceとは mtrace は malloc, free などのメモリ操作関数からメモリリークを追跡してくれるツールです。glibc-utilsに含まれます。 また組み込みLinuxで使う場合には, ホストOSでクロスコンパイルすれば組み込み側で mtraceコマンド がなくてもメモリリークを調査でき... --- ### 【WebGL】Three.jsをつかってみた (1) - Published: 2013-11-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90webgl%e3%80%91three-js%e3%82%92%e3%81%a4%e3%81%8b%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f1%e3%80%90blender%e3%80%91/ - カテゴリー: t2sy-note - タグ: Blender, OpenGL, Three.js, WebGL Three. js は WebGL (OpenGL ES をブラウザから使う技術) を簡単に使うための有名なラッパーライブラリです。 OpenGL ES (OpenGL for Embedded Systems) 2. 0をサポートするプラットフォーム上で、ブラウザのプラグインなしでH/Wアクセラレートされた3D描画を可能にします。 OpenGL ES は3. 0 が 2012年に発表されましたが2. 0 との後方互換性ありなので、WEB GLはiPhone/Androidで今後も動作すると思います。 ... --- ### 【はじめての電子工作 (1) 】コンデンサってなに？ - Published: 2013-11-12 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/11/%e3%80%90%e3%81%af%e3%81%98%e3%82%81%e3%81%a6%e3%81%ae%e9%9b%bb%e5%ad%90%e5%b7%a5%e4%bd%9c-1%e3%80%91%e3%82%b3%e3%83%b3%e3%83%87%e3%83%b3%e3%82%b5%e3%81%a3%e3%81%a6%e3%81%aa%e3%81%ab%ef%bc%9f/ - カテゴリー: はじめての電子工作 - タグ: 電子工作 はじめての電子工作 1 はじめてiOSアプリを作りたいときXcodeをインストールしてからHello,worldを表示するまで、10分もかかりません。 これが電子工作となると、基本的な部品特性を理解しないとLEDチカチカさえ難しく感じてしまいます。 そういう意味で、MakerFaire2013でも展示された磁石で回路をつなげて直感的に電気回路を覚えるLittleBitsがすばらしいです。 シリーズで電気電子回路でよく使う部品について、できるだけ分かりやすくを目標に書きました。 コンデンサとは何か... --- ### 【Lighttpd】解説 mod_proxy - Published: 2013-11-08 - Modified: 2018-12-23 - URL: https://fisproject.net/2013/11/%e3%80%90lighttpd%e3%80%91mod_proxy%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90plugin%e3%80%91/ - カテゴリー: t2sy-note - タグ: Lighttpd はじめに 今回の記事はこの記事の続きです。 mod_proxyのソースコードリーディングをしてみます。mod_proxyはリクエストを振り分けるリバースプロキシだけでなく、フォワードプロキシとしても動かすことができます。 全体の流れ lighttpd-x. x -> src -> mod_xxxとあるのがプラグイン群です。 まず,mod_proxyのイベントハンドラから見てみます。ハンドラはどのプラグインでも必須になります。 int mod_proxy_plugin_init(plugin *p)... --- ### 【iOS】ハッカソンをやってみた - Published: 2013-10-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/10/%e3%80%90fp%e3%80%91%e3%83%8f%e3%83%83%e3%82%ab%e3%82%bd%e3%83%b3%e3%82%92%e3%82%84%e3%81%a3%e3%81%a6%e3%81%bf%e3%81%9f-%e6%9d%b1%e4%ba%ac%e4%bb%a3%e3%80%85%e6%9c%a8/ - カテゴリー: FiS Project Info - タグ: Hackathon, PhoneGap ハッカソンをやってみた ハッカソンに行ったこともない人がハッカソン(10/14)を主催してみました。 ハッカソンとは何でしょうか。Wikipedia先生に聞いてみましょう。 ハッカソン("hackathon")という言葉はハック(hack)とマラソン(marathon)を合わせた混成語である。この言葉はOpenBSDの開発者やサン・マイクロシステムズのマーケティングチームによってそれぞれ自主的に考えだされたと思われ、1999年から使われ始めたと言われている。 なるほど。... --- ### 【CoreBluetooth】Fitbitをハックしてみた - Published: 2013-10-19 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/10/%e3%80%90corebluetooth%e3%80%91fitbit%e3%82%92%e3%83%8f%e3%83%83%e3%82%af%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90ios%e3%80%91/ - カテゴリー: iOS App - タグ: CoreBluetooth, Fitbit, iOS, Objective-C photo by Fitbit 最近 Bluetooth 4. 0 対応デバイスがけっこう世にでてきましたね。 今回買ったのは Fitbit Zip です。機能は限定されますが Fitbit One の約半額で買えます。 基本的なセットアップはこちらを参考にしてください。 H/W構成は分解してないので分かりませんが画面にタッチするとSleep状態からWakeするようです、タッチセンサなのでしょうか。歩数計機能は加速度センサだと思われます。 iOSアプリでデータを受信してみ... --- ### 【OOM Killer】知っ得！Linux Kernel の Tips - Published: 2013-09-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90oom-killer%e3%80%91%e7%9f%a5%e3%81%a3%e5%be%97%ef%bc%81linuxkernel%e3%81%aetips%e3%80%90devnull%e3%80%91/ - カテゴリー: Linux Docs, t2sy-note - タグ: BeagleBoneBlack, Linux-kernel, OOM Killer BeagleBoneBlackを買いました。手のひらサイズでUbuntuが動くのはすごいですね。 今回は主にlinuxサーバ管理とかで知っておくと役に立つかもしれない, Linux KernelのTIPSです。 便利！疑似デバイス デバイスファイルには基本的には, H/Wが対で存在しますが Linux(Unix系)にはH/Wがない疑似デバイスが存在します。 これらを効果的に使うことで, システム管理が簡単になるかもしれません。 /dev/null はデータサイズ 0(EOF)を返す, 特殊デバイ... --- ### 【iOS】FMDBでデータ永続化 - Published: 2013-09-17 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90ios%e3%80%91fmdb%e3%81%a7%e3%83%87%e3%83%bc%e3%82%bf%e4%bf%9d%e5%ad%98%e3%80%90sqlite%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: FMDB, iOS, SQL, sqlite3 Coredataに慣れないので, 最近はFMDBを使っています。 FMDBを使ってみる GitHubからソースをDLします。FMDBはMITライセンスです。 fmdb. m以外のsrcをプロジェクトに追加します。 それから,libsqlite3. 0. dylibをリンクさせます。 #import "FMDatabase. h" - (FMDatabase *)getConnection { if( self. dbPath == nil ) { self. dbPath = [self getDbFile... --- ### 【fcgi】解説 Lighttpd プラグイン - Published: 2013-09-10 - Modified: 2018-12-23 - URL: https://fisproject.net/2013/09/%e3%80%90fcgi%e3%80%91lighttpd%e3%83%97%e3%83%a9%e3%82%b0%e3%82%a4%e3%83%b3%e8%a9%b3%e8%a7%a3%e3%80%90python%e3%80%91/ - カテゴリー: t2sy-note - タグ: Lighttpd, Python Lighttpdのプラグイン開発に苦戦しています。 低レイヤプログラミングになる程, 特にメモリに注意しないといけない システムコールの戻り値に気をつかう（エラーハンドリング） 様々なコンテキストに対応する必要がある I/O多重化の時の挙動をもっと理解しないといけないなと思ってます。 システムプログラミングという領域は, OSを理解することなしでは成り立たないですね。 息抜きということでLighttpdのインストールとLighttpd上で動くアプリについて書きます。 OSXにLighttpdをイ... --- ### 【netperf】ネット速度を計測する - Published: 2013-09-08 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/09/how-to-use-netperf/ - カテゴリー: Linux Docs, t2sy-note - タグ: iperf, netperf サーバのベンチマークテストをする場合、回線速度も測定しておきましょう。 Portのスキャン lsof -i: でも調べられますが、使用している全ての PORT(STATE, SERVICE) を調べる場合 nmap を使うと良いと思います。 yum install nmap $ nmap localhost Nmap scan report for localhost (127. 0. 0. 1) Host is up (0. 00044s latency). Not shown: 993 ... --- ### 【libev】Lighttpd ソースコードリーディング - Published: 2013-09-03 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/09/%e3%80%90libev%e3%80%91lighttpd%e3%81%ae%e8%a7%a3%e8%aa%ac%e3%80%90socket%e3%80%91/ - カテゴリー: t2sy-note - タグ: C, libev, Lighttpd 今回はLighttpdについて細かく書いている日本語サイトがないので書いてみました。 CONTENTS LighttpdはApacheやnginxと比較すると知名度が低く全体の1%も使われていないようですが,省メモリで高速なHTTPサーバとして定評があります。 まず公式サイトからLighttpdをダウンロードしましょう。Lighttpd-1. 4. 33/src 以下でmodのprefixがついているのがプラグインモジュール郡です。 複数のフックエントリが用意されており,用途にあわせて簡単にプラグイ... --- ### 【組み込みLinux (3) 】Lighttpd について - Published: 2013-08-24 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/08/embedded-linux-lighttpd/ - カテゴリー: Linux Docs, t2sy-note - タグ: C, Lighttpd 先日、出張で訪れている札幌市内の丸善にいってきた。 3階のコンピュータ関係の本棚で「猫語の教科書」という本を発見して反射的に買ってしまった。 コンピュータと猫語という一見何の脈絡も感じない２つの言葉。 これをコンピュータ関係の本棚に並べた理由は並べた人に聞いてみないとわからない。 自分なりに思いつく理由としては ・コンピュータ好きにはネコ好きが多いから。正確にはデスクワークとペットというのは相性が良いため。 ・コンピュー... --- ### 【Packet Capture】Wiresharkでできること - Published: 2013-08-21 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/08/intro-wireshark/ - カテゴリー: t2sy-note - タグ: Wireshark Wiresharkは言わずと知れたパケット解析ツールです。 以前は Etherealと呼ばれていたようです。2006年にWiresharkに名前が変わり, v1. 0が2008年にリリースされています。 最近, 世間を騒がせたIMEが自動で入力データを送信するということも Wiresharkならわかります。 また, ストリーミング配信機能を開発する場合などパケットレベルでのデバッグに重宝します。 どのように Wiresharkがパケットをキャプチャしているかという所からみていきます。 NICの仕組... --- ### 【RDB】Node.js から MySQL を使ってみる - Published: 2013-07-07 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/07/nodejs-mysql/ - カテゴリー: t2sy-note - タグ: memcached, MySQL, Nodejs, SQL 前に カラム指向DB の Cassandra について書いたので, 今回はRDBの MySQLとの連携について書きます。 Node. jsから MySQL に接続する node-mysqlを試します。 サーバの準備 Red-hat系では yum を使って mysql-serverをインストールします。 $ sudo yum install mysql-server Node. js (v0. 10. 12)をnodejs. orgから入手します。 Node. jsのパッケージ管理ツールの nvmをインストー... --- ### 【Linux】Ubuntu Server 12.10 に Git 環境を構築 - Published: 2013-06-30 - Modified: 2023-06-06 - URL: https://fisproject.net/2013/06/ubuntu-server%e3%81%abgit%e7%92%b0%e5%a2%83%e3%82%92%e6%a7%8b%e7%af%89%e3%81%99%e3%82%8b/ - カテゴリー: t2sy-note - タグ: Git, Ubuntu iOSアプリ開発で Twitter, Facebook, Flickr などのSNSと連携する場合、Sharekitというフレームワークという選択肢があるけど、試した感じだとシンプルな投稿という使い方をするのであれば純正のSocial. frameworkの方がいいと思う。 Ubuntu Serverに Git Remote リポジトリ Ubuntu server12. 10にgitリモートリポジトリを構築してリモートにpushするまでの流れです。 適当にまとめたので、わからない場合は細かい解説して... --- ### 【Event】W3C Developer MeetUp Tokyoに行ってきた - Published: 2013-06-15 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/06/w3c-developer-meeup-tokyo%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f/ - カテゴリー: t2sy-note - タグ: W3C W3C Developer Meetup -Tokyo W3C Developer Meetup - Tokyoに行ってきました。写真中央のディスプレイにはリアルタイムでgoogleTranslateされた文字が表示されています。 彼らがカッコいいのはWebが好きでそのWebをもっと良くしようと思っていて、本気で世界を変えられると考えていて実際に変えているところだ。 短い時間の中でビジョンを語る姿から意思の強さが伝わってくる。 やりたい事で飯を食える人たちは凄いと思いを抱きつつ、それを実現してい... --- ### 【Python / JavaScript】イテレータとクロージャについて - Published: 2013-05-20 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/05/%e3%80%90python%e3%80%91%e3%82%a4%e3%83%86%e3%83%ac%e3%83%bc%e3%82%bf%e3%81%a8%e3%81%8b%e3%81%ae%e3%83%a1%e3%83%a2%e3%80%90javascript%e3%80%91/ - カテゴリー: t2sy-note - タグ: JavaScript, Python 最近気になってるUnityという組み込みC向けのテストフレームワーク。組み込みはハードウェア依存があるからTDDしにくいと思ってたけど、凡ミスでもmakeが通ってしまい組み込んでからミスに気づいてたら当たり前だけど開発サイクルは良くない。これはCIツールと組み合わせて使いたい。 今回は Python/JavaScript(ECMAScript) のイテレータとクロージャの基礎について。 Iterator イテレータ(Iterator)はデータの各要素にアクセスを抽象化した仕組みです。 Pytho... --- ### 【Python】mechanize で Web スクレイピング - Published: 2013-05-07 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/05/web-scraping-with-python-mechanize/ - カテゴリー: t2sy-note - タグ: Python Pythonでスクレイピング 開発中のシステムでWEBスクレイピングの必要性があったので、Pythonを勉強中です。 Perl でも Ruby でも良かったのですが機械学習系ライブラリの豊富さと NumPy, Pandas なども揃っているので決めました。 BeautifulSoup BeautifulSoupはHTML/XMLパーサーです。 セッション管理していないWEBサイトはこれだけで充分使えます。 環境は MacOS X 10. 8. 2 です。 公式からtar. gzをゲット後展開してインス... --- ### 【ねこ島】石巻 田代島に行ってきた - Published: 2013-05-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/05/%e3%80%90%e3%81%ad%e3%81%93%e5%b3%b6%e3%80%91%e7%94%b0%e4%bb%a3%e5%b3%b6%e3%81%ab%e8%a1%8c%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%9f%e3%80%90%e7%9f%b3%e5%b7%bb%e3%80%91/ - カテゴリー: t2sy-note - タグ: Cat, Trip ブログを書きたいと思うのとコードを書きたいと思うのはだいたい似たような衝動からである。 コンパイラによってコードの解釈が違うように、文章を読みデコードした結果も人によって異なるのは”言語”としての共通特性なのかな、いや数字は違うか。 "009"は数字でなく知ってるひとには通じる言語かもね。そういえばIKEAの組み立て説明書は数字と絵だけってことは世界共通の説明書なのかな。 ネコ島の探検 島民よりネコの多い島、宮城県石巻市田代島に行ってきました。 仙台駅からのアクセスは以下を参考に。 行き先手段所... --- ### 【sleepimage】Mac OS Xのグレー画面からの復旧 - Published: 2013-04-11 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/04/%e3%80%90privatevar%e3%80%91mac-os-x%e3%81%ae%e3%82%b0%e3%83%ac%e3%83%bc%e7%94%bb%e9%9d%a2%e3%81%8b%e3%82%89%e3%81%ae%e5%be%a9%e6%97%a7%e3%80%90mini%e3%80%91/ - カテゴリー: t2sy-note - タグ: Mac OS X 一年前にMac Miniのメモリ増強をしてから約一年。 I/0が効かなくなり再起動してもグレー画面でアイコンも表示されないという状態になりました。 去年のメモリ増強の話 MacMini 2009Late メモリ交換 話の発端は一年前です。 Mac Mini 2009Lateモデルのデフォルトメモリは2GBと、iTunes,XCode,ブラウザの立ち上げだけでもクルクル状態でした。 ということで、サムスンのDDR3　SODIMM　1066（PC3-8500）4GB×2に交換です。 スクレーパーでア... --- ### 【iOS】便利なオープンソースライブラリ - Published: 2013-03-30 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/03/%e3%80%90ios%e3%80%91%e4%be%bf%e5%88%a9%e3%81%aa%e3%82%aa%e3%83%bc%e3%83%97%e3%83%b3%e3%82%bd%e3%83%bc%e3%82%b9%e3%83%a9%e3%82%a4%e3%83%96%e3%83%a9%e3%83%aa%e3%80%90delegate%e3%80%91/ - カテゴリー: iOS App - タグ: Objective-C Android も FirefoxOS も TizenOS も UbuntuTouch も Linux そんな時代なんですね。 今回はiOS開発で使った事のある OSSライブラリ の紹介です。また Objectice-C のデリゲートの基本的な使い方を書きます。 便利なオープンソースライブラリ facebook風なサイドビュー facebookのような人気アプリと似たUIはユーザに受け入れられやすいので使いやすいです。 JWNavigationController 折り... --- ### 【Arduino】ワンチップセンサとシリアルI/O - Published: 2013-03-04 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/03/%e3%80%90arduino%e3%80%91%e3%83%af%e3%83%b3%e3%83%81%e3%83%83%e3%83%97%e3%82%bb%e3%83%b3%e3%82%b5%e3%81%a8%e3%82%b7%e3%83%aa%e3%82%a2%e3%83%abio%e3%80%90%e3%81%be%e3%81%a8%e3%82%81%e3%80%91/ - カテゴリー: Arduino, t2sy-note - タグ: Arduino, C, RaspberryPi 前回の記事でArduinoのセットアップをしました。 今回は具体的な使用方法として手軽なワンチップセンサをArduinoにつなげることを想定し, 簡単なワンチップセンサリストを作りました。 先にシリアルI/Oのおさらいをします。この辺はArduinoを触っていたら意識しないところですが知っておいても損はないです。 シリアルI/O方式 まずは, I2C (inter-Integrated Circuit)です。 I2Cはフィリップス社が開発したクロック信号(SCL)とデー... --- ### 【AVR】Arduino Pro Mini を使ってみた - Published: 2013-02-18 - Modified: 2018-07-26 - URL: https://fisproject.net/2013/02/arduino-on-mba/ - カテゴリー: Arduino, t2sy-note - タグ: Arduino ひょんなことからArduinoを手に入れたのでとりあえずMacBookAirでの開発環境構築のメモを書いておきます。 デスクワーク等で座っている時間が一日に11時間を超えると, 3年以内に死亡する確率は11時間以下の人と比較すると40%上昇することという記事をみてからビビってます... ということで, 少しでも体に負荷をかけないために エンジョイ（ENJOY-H）ハイブリッドを買いました。 ダンボールの中です。 右のイスが新しいイスです。 完成まで30分弱です。確実にゴミ処理の方が時間がかかります。 本題ですが, ラッキーなことに半値でArduinoを手に入れたので, とりあえずMacB... --- ### 【組み込みLinux (2)】Device Driver について - Published: 2013-02-09 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/02/embedded-linux-device-driver/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel 今回はLinuxデバイスドライバ編です。 今回はLinuxデバイスドライバ編です。 Linuxデバイスドライバ基礎 デバイスドライバを組み込む方法は2種類あります。 静的にカーネルに組み込む (カーネル展開時に読み込む) モジュールとして組み込んで動的に読み込む Linuxではデバイスをファイルとして扱います。 /dev/*　にデバイスに対して一意のメジャー番号が割り振りられます。 同一デバイスが複数つながれた場合はマイナー番号が付与されます。 静的に組み込んだ場合はカーネル展開にinit_moduleが呼ばれます。 モジュールとし... --- ### 【組み込みLinux (1)】Linux Kernel の機能と周辺技術 - Published: 2013-02-04 - Modified: 2023-06-26 - URL: https://fisproject.net/2013/02/embedded-linux-kernel/ - カテゴリー: Linux Docs, t2sy-note - タグ: Linux, Linux-kernel IT業界でスペシャリストを目指して生きていくのは厳しい時代になってきたのかもしれません。 この技術に詳しければ一生食えるというのはないですし, 10年いや5年でさえわかりません。例えるならゲリラ地帯です。槍の使い方を必死に覚えても, 銃で攻撃されてしまったら勝てません。 スペシャリストから分野を限定せずに, 何でも吸収できるゼネラリストでスペシャリストを目指していかないといけないのかもしれません。 マスコットキャラのペンギンはTuxと言うらしいです。 そもそも組み込み用途でLinuxは必要か 現... --- ### 【JSONP】『ステートフルJavaScript』を読了した - Published: 2013-01-28 - Modified: 2020-03-01 - URL: https://fisproject.net/2013/01/javascript/ - カテゴリー: t2sy-note - タグ: JavaScript プログラミング言語とアイデアの実行速度 プログラミング言語を学ぶこと自体は、多くの人にとってアイデアを実現するための手段であると思います。 フロントエンド、バックエンド、OS以下のレイヤの各レイヤでひとつずつ得意な言語があると、アイデアを素早く実現できるようになると思います。 特に実現ハードルをおおまかに見積もることができるのが良いですが、今は難しいことが大体APIで代替できるのでそれさえも意義として薄れてきているのかもしれないです。 それでも、実際はAPIを叩いて問題が全て解決することは少なく... --- ### 【JavaScript】Nodejsの基本と便利なモジュール - Published: 2012-12-26 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/12/nodejs%e3%81%a1%e3%82%87%e3%81%93%e3%81%a3%e3%81%a8%e3%83%a1%e3%83%a2/ - カテゴリー: t2sy-note - タグ: JavaScript, Nodejs 今回はNode. jsの基本的な機能と周辺ライブラリを簡単に紹介します。 Let's npm install -g tips ! 組み込みNodejsの可能性 物理サーバを管理していた時代からスケーラブルなクラウドに移行するなかで、小型デバイスがサーバ機能を持つという逆転の発想もいいんじゃないかなと思います。 組み込み機器にnodeをNFSでマウントしてみた人もいるみたいですし、ネットワーク機能があれば複数センサと組み合わせて色々できると思う。 センシングありきではシーズ指向になってしまいますが、... --- ### 【Node.js】node-cassandra-clientでアクセス - Published: 2012-12-16 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/12/%e3%80%90ec2%e3%80%91%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a2%e3%83%87%e3%83%ab%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6node-cassandra-client%e3%81%a7%e3%82%a2%e3%82%af%e3%82%bb%e3%82%b9%e3%80%90nodejs/ - カテゴリー: iOS App, t2sy-note - タグ: AWS, Cassandra, JavaScript, Nodejs, Objective-C 今回はCLIで簡単なデータモデルを作成しiOSクライアント側のコードを書いて、Nodejsからnode-cassandra-clientでデータを取得するまでです。 photo by Apache 4年間頑張ってくれた自作機の Windows XP を Windows 8 でクリーンインストールしました。 今回は CLI で簡単なデータモデルを作成し iOS クライアント側のコードを書いて, Node. jsから node-cassandra-client でデータを取得するまでです。 データモデルを作るまで データモデルの構造はクラスタが一番外枠です。大きな単位から見ていくと以下のようになります。 Key Space ： 最も大きな... --- ### 【Node.js】cassandra-nodeを入れてみた - Published: 2012-11-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/11/%e3%80%90aws%e3%80%91ec2%e3%81%abcassandra-node%e3%82%92%e5%85%a5%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%90%e5%88%9d%e3%82%81%e3%81%ae%e4%b8%80%e6%ad%a9%e3%80%91/ - カテゴリー: t2sy-note - タグ: AWS, Cassandra, EC2, JavaScript, JDK, Nodejs 今つくってるiOSアプリであるクラウドにデータを貯めたいと思い, AWS EC2を始めました。 とりあえずやってみたのでメモっときます。Nodejsはいいとして, 何故Cassandraなのか? それは単なる興味です。 Node. js でサンプル動かして, cassandra-node をインストールするまでの内容です。 インフラに慣れてる人は役にたてない初歩的な記事ですのであしからず(´▽｀)ﾉ Cassandra 構成は, Linux (AMI), Node. js 0. 8. 14, Cassa... --- ### 【iOS】TestFlight の使い方 - Published: 2012-11-23 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/11/%e3%80%90ios%e3%80%91testflight%e3%80%90%e5%bf%98%e5%82%99%e9%8c%b2%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: iOS, TestFlight TestFlightは iOS アプリ開発の実機確認時に都度 Mac に接続しインストールという不便さを解消できるツールです。 遠距離にいる人にも楽に配布できるツールです。リリース前にターゲットユーザに試してもらうのにとても便利だと思います。 私は頻繁に使うツールではなくいつも忘れてしまうのでメモります。 TestFlightの準備 1. TestFlight でユーザ登録 2. DashBoard > Invite Testers でTester（使って欲しい人）のE... --- ### 【Flurry】iOSアプリのユーザ解析とYield Optimization(SSP)ツール - Published: 2012-10-25 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/10/%e3%80%90flurry%e3%80%91ios%e3%82%a2%e3%83%97%e3%83%aa%e3%81%ae%e3%83%a6%e3%83%bc%e3%82%b6%e8%a7%a3%e6%9e%90%e3%81%a8yield-optimizationssp%e3%83%84%e3%83%bc%e3%83%ab%e3%80%90adstir%e3%80%91/ - カテゴリー: iOS App, t2sy-note - タグ: AdMob, FlurryAnalytics, iOS, XCode 趣味などでアプリを個人開発している人はなかなかアクセス解析/Adの最適化配信etcに関してまで時間を割きたくない人もいると思います。 しかし最近はユーティリティツールが充実してきたおかげで、わずかな苦労でも大きなメリットを受けられるようになりました。 iOSアプリ"お手軽SPI"で使っているユーティリティツールを紹介します!! 趣味などでアプリを個人開発している人はなかなかアクセス解析/Adの最適化配信etcに関してまで時間を割きたくない人もいると思います。 しかし最近はユーティリティツールが充実してきたおかげで、わずかな苦労でも大きなメリットを受けられるようになりました。 iOSアプリ"お手軽SPI"で使っているユーティリティツールを紹介します! ! iOSアプリ"お手軽SPI"のDLはこちらから。 --- ### 初心者でもできる! AngularJS+Bootstrapでつくる画像検索Webアプリ - Published: 2012-09-10 - Modified: 2014-12-31 - URL: https://fisproject.net/2012/09/%e5%88%9d%e5%bf%83%e8%80%85%e3%81%a7%e3%82%82%e3%81%a7%e3%81%8d%e3%82%8b-angular-jsbootstrap%e3%81%a7%e3%81%a4%e3%81%8f%e3%82%8b%e7%94%bb%e5%83%8f%e6%a4%9c%e7%b4%a2%e3%82%a2%e3%83%97%e3%83%aa/ - カテゴリー: t2sy-note - タグ: Angularjs, CSS3, jQuery, MVC 今回、作るのは画像検索アプリ。さらにLikeボタンを置いたり、URLを保存したりおまけ機能がいくつかあります。 デフォルトで検索キーワードが「ねこ」なのは猫が好きだからです。つまり、ブラウザを立ち上げたら、毎回違う猫画像がでてくるという俺得なアプリなのです！ 先月、Googleの人のAngularJSライブコーディングを見て「簡単でおもしろそう! やってみよう! 」と思ってから数週間。自分プロジェクトには期限がないので一向に進みません。 つくるもの 今回、作るのは画像検索アプリ。さらにLikeボタンを置いたり、URLを保存したりおまけ機能がいくつかあります。 * 著作権のため画像自体の保存はしていません。 MVCフレームワークはAngularJSをつかいます。多少学習コストがかかります。 画像はajaxで取得し,Localsto... --- ### 【Features編】ねこでもわかるGo言語 - Published: 2012-08-31 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/08/golang-features/ - カテゴリー: t2sy-note - タグ: Golang ねこでもわかるGo言語の第二回目です。 タイトルにもあるように私はねこ好きなんですが、住まいの都合でペットは飼えないので、最近はねこ画像を集めて癒されています。 日課になりつつあるのでこれは自動化したい！ということで、GoogleのAPIでつくりはじめました。双方向データバインドがしたいためだけにAngular.jsつかってMVCの練習も兼ねたいです。しかーし、スクリプト言語がまだよくわかっていない... ねこでもわかる Go言語 の第2回目です。 タイトルにもあるように私はねこ好きなんですが, 住まいの都合でペットは飼えないので, 最近はねこ画像を集めて癒されています。 日課になりつつあるのでこれは自動化したい！ということで Google APIでつくりはじめました。双方向データバインドがしたいためだけに Angular. js を使って MVC の練習も兼ねます。 Go言語の特徴 Goには特徴的な機能が多くあります。一方でジェネリクスがないとか、クラスの継承がないとか、型宣言が逆とか現在の主流言... --- ### 【Fab】秋月のキットで簡易ポータブルオシロをつくってみた - Published: 2012-08-23 - Modified: 2012-08-23 - URL: https://fisproject.net/2012/08/%e3%80%90fab%e3%80%91%e7%a7%8b%e6%9c%88%e3%81%ae%e3%82%ad%e3%83%83%e3%83%88%e3%81%a7%e7%b0%a1%e6%98%93%e3%83%9d%e3%83%bc%e3%82%bf%e3%83%96%e3%83%ab%e3%82%aa%e3%82%b7%e3%83%ad%e3%82%92%e3%81%a4/ - カテゴリー: t2sy-note - タグ: オシロスコープ, 秋月電子, 電子工作 電子工作はソフト開発と違い、部品の調達や環境構築が取り組む上のハードルになることが多いと思います。 最近、部品を買うより組み立て品を買う方が安くなっていると思います。今は100円ショップで光センサー搭載のライトが売ってたりします。個人が少量の部品を買うより、確実に安いですね。 電子工作も分解してリユースする時代になるかもしれません。 電子工作はソフト開発と違い、部品の調達や環境構築が取り組む上のハードルになることが多いと思います。 また最近は部品を買うより組み立て品を買う方が安くなっていると思います。例えば、100円ショップで光センサー搭載のライトが売ってたりします。個人が少量の部品を買うより、確実に安いですね。 電子工作も分解してリユースする時代になるかもしれません。 では、本題です。 小型オシロという選択 テスターは動的な変化がわかりずらいですが、高性能/高機能なオシロとなると大型で高価なので個... --- ### 【helloworld編】ねこでもわかるGo言語 - Published: 2012-08-19 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/08/golang-helloworld/ - カテゴリー: t2sy-note - タグ: Golang, Python Go言語を勉強し始めたので、まずはIDEのインストールからコンソールとブラウザにご作法通りhelloworldを表示するまでをやります。UNIXにはうといけどこれからGo言語を学びたい人向けの話です。 Photo by google Go言語を勉強し始めたので、コンソールとブラウザ(GAE利用)に作法通り helloworld を表示するまでをやります。 Go言語とは何？ Go言語は Google が開発しているシステムプログラミング言語です。 2009年の発表された GO言語 ですが、C言語が登場したのが1972年ですからまだ新生児みたいな言語です。 組み込み系やインフラシステムなどは C/C++言語 で書かれていますが、Cのマルチスレッドプログラミングはメモリ管理のしづらさがあります。現在... --- ### Eclipseによる開発を少し快適にするTIPS - Published: 2012-08-17 - Modified: 2016-04-16 - URL: https://fisproject.net/2012/08/eclipse-tips/ - カテゴリー: Others Eclipseにはコーディングを支援する様々な機能を備えています。 中でも最近便利に感じたものを解説を交えて紹介していきたいと思います。 最後に編集した箇所へジャンプ コーディング中に他のソースを見回ってから戻る際に真価を発揮する。編集行までカーソルを持ってきてくれるため、検索の後に編集箇所に戻るといった使い方も。 ※直前に「元に戻す」を使用した場合、Undoを無視した最後の編集行へジャンプするので注意。 入力補完 入力途中で ... --- ### 【ARC】iOSアプリのメモリとデータ管理についてまとめてみる - Published: 2012-08-08 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/08/ios%e3%81%a7%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%83%a1%e3%83%a2%e3%83%aa%e7%ae%a1%e7%90%86%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e3%81%84%e3%81%be%e3%81%95%e3%82%89%e3%81%be%e3%81%a8%e3%82%81/ - カテゴリー: iOS App, t2sy-note - タグ: ARC, CoreData, iOS, SQL retain,releaseをせかせかとやっていたのも過去の話。 今ではARC(Automatic Reference Counting)というコンパイラが参照カウンタ方式でメモリ管理をやってくれる仕組みがあります。 iOSのメモリ管理 retain, releaseをせかせかとやっていたのも過去の話。 今では ARC(Automatic Reference Counting) というコンパイラが参照カウンタ方式でメモリ管理をやってくれる仕組みがあります。 Cに慣れた開発者であれば自分で管理しないことに逆に不安を覚えたかもしれません。 実際, ARCが登場した頃は, 以前のプロジェクトをARCに変換する際の不具合もあったみたいで, ドキドキした覚えがあります。 ARCはガベージコレク... --- ### IVSサマーワークショップ - Published: 2012-07-17 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/07/ivs-summer-workshop-2012/ - カテゴリー: Others 先日「IVSサマーワークショップ」というイベントに参加してまいりました はじめまして はせべと申します 本プロジェクトでは主にデザインを担当しております 先日「IVSサマーワークショップ」というイベントに参加してまいりました IVS　本来の趣旨はイベントを「無限の可能性をもつベンチャー企業を生み出す場・集まる場」 インターネット,モバイル、ソフトウエアなどＩＴ業界の国内外の経営者・経営幹部を対象とした年2回の招待制のオフサイト・カンファレンス としています 年に数回　経営者向けのイベントを学生向けに提供しているものが本イベントです 会場とイベントが恐ろしく豪華でひと... --- ### Reading Hacks !! - Published: 2012-07-05 - Modified: 2014-03-09 - URL: https://fisproject.net/2012/07/reading-hacks/ - カテゴリー: t2sy-note ブログタイトルと同名の本がありますが、テーマは本の読み方というよりは本を安く買ったり読んだ後の取り扱いについてです。 ブログタイトルと同名の本がありますが、テーマは本の読み方というよりは本を安く買ったり読んだ後の取り扱いについてです。 どこで買うか？ 最近、丸善やジュンク堂、オンラインストアでHontoというポイントサービスが始まりました。 今までの丸善ポイントカードは和書についてはポイントが付与されなかったので、ようやく実用レベルになったかなと思います。 還元率は1%（7/31までのキャンペーン中は3%）私はある割引10%も入れて、最大13%OFFになるのでだいぶお買い得です！ 書店の仕入れ価格は販売価格の８... --- ### 【Wireshark】ネットワークパケットを読む会に行ってきた - Published: 2012-06-13 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/06/reading-network-packet/ - カテゴリー: t2sy-note - タグ: iOS, TCP/IP 何故、ネットワークパケットかと言うと組み込みLinux関係でRTPを飛ばしていることもあって。 5月に有楽町でネットワークパケットを読む会に行ってきた。何故、ネットワークパケットかと言うと普段、組み込みLinux関係でRTPを飛ばしていることもあって。 WireSharkはネットワークトラフィックをキャプチャしパケットのバイナリ → ASCII化やプロトコルのフィルタリングなどができるツール。 TCP/UDP/ARP/ICMPなどプロトコル別に区別されていて、選択すると詳しくパケットが見れる。 プロトコルやパケットフォーマットを知ることは、セキュリティ面に関わることでもあるのでネットワーク... --- ### Pixel Monster（ピクセルモンスター）開発記 part.2 - Bluetooth - Published: 2012-03-31 - Modified: 2023-06-25 - URL: https://fisproject.net/2012/03/pixel-monster-dev-part-2/ - カテゴリー: oironの日記 対戦機能を実現するために、２つのデバイス間でモンスター情報を交換する必要があります。 そのために、Bluetooth通信を利用します。 ●対戦機能を実現するために、２つのデバイス間でモンスター情報を交換する必要があります。 そのために、Bluetooth通信を利用します。 ・GameKitフレームワークを用いて、Bluetoothでpeer-to-peer通信を行う。 ・独自クラスをNSData型に変換するために、NSCodingプロトコルを実装する。 まず、Bluetoothを使うにはGameKitフレームワークを追加します。GameKitフレームワークについては、Apple公式のドキュメントがありますので、そちらをどうぞ。G... --- ### 【OpenNI】Powerpoint Addin With Kinect - Published: 2012-03-10 - Modified: 2018-12-22 - URL: https://fisproject.net/2012/03/powerpoint-addin-with-kinect/ - カテゴリー: t2sy-note - タグ: Kinect, OpenNI Kinectは画像認識/音声認識に優れたセンサーデバイスです。 現在、Kinectを用いたアプリケーション開発は以下の２つの方法があります。 Kinectは画像認識/音声認識に優れたセンサーデバイスです。 現在、Kinectを用いたアプリケーション開発は以下の２つの方法があります。 ・オープンソース環境(GPL)のOpenNI+NITE ・マイクロソフト公式のWindows SDK オープンソースのOpenNI+NITEはジャスチャ―認識（HandsのWave等)を用意していることや、オープンソースライブラリが早くから公開された事で開発者が多く活発なコミュニティが多いです。 一方で、Windows SDKはジャスチャ―認識の実装は自分... --- ### 【iOS】XCode4 以前のプロジェクトを Git で管理し Bitbucket に移す - Published: 2012-02-29 - Modified: 2018-07-26 - URL: https://fisproject.net/2012/02/%e3%80%90ios%e3%80%91xcode4%e4%bb%a5%e5%89%8d%e3%81%ae%e3%83%97%e3%83%ad%e3%82%b8%e3%82%a7%e3%82%af%e3%83%88%e3%82%92git%e3%81%a7%e7%ae%a1%e7%90%86%e3%81%97bitbucket%e3%81%ab%e7%a7%bb%e3%81%99/ - カテゴリー: iOS App, t2sy-note - タグ: Git, iOS 突然ですが海老名SAのタコライスがおいしかったです。 最近のSAは内装が整っていてユナイテッドアローズがあったりとおしゃれですね。 どんなところにビジネスチャンスがあるかわからないもんです。 突然ですが海老名SAのタコライスがおいしかったです。 本題ですが XCode4 ではプロジェクト作成時に Git を使うか選択できるようになっています。 また、昨年から Bitbucket で Git プライベートリポジトリを無料で利用できるようになりました。 これは便利。そこで、今回は XCode4 以前のプロジェクトに Gitリポジトリ を作り、Bitbucketに移すまでの流れを書きます。 Gitのインストール Gitのインストール方法はいろいろある。 $ bre... --- ### iOS Developer Library を読もう - Published: 2012-01-15 - Modified: 2012-01-15 - URL: https://fisproject.net/2012/01/ios-developer-library-%e3%82%92%e8%aa%ad%e3%82%82%e3%81%86/ - カテゴリー: junの備忘録 @ST63Jun です． このブログに辿りつく方はiOSアプリ開発者の人も多いのではないでしょうか． 既にバリバリ開発している人には釈迦に説法ですが，これからiOSアプリを開発しようとする人，あるいは始めたばかりでどこから手をつけていいかわからない人にお勧めしたいのは，Apple公式のドキュメント https://developer. apple. com/jp/devcenter/ios/library/japanese. html を読むことです． せっかくDeveloper Program費をA... --- ### Pixel Monster（ピクセルモンスター）開発記 part1 - Published: 2011-12-04 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/12/pixel-monster-dev-part-1/ - カテゴリー: oironの日記 現在、Pixel Monsterの食事、トレーニング、バトルなどのアニメーションのだいたいの実装が終わりました。 今回はトレーニングについて紹介したいと思います！！ トレーニングはタッチ操作でできるシンプルなものにしました。 左右に動くバーをゲージの真ん中で止めるように、画面をタッチします！！ バーを真ん中でピタリととめると．．．なんか火吐きます！！！！そして．．． 強烈な攻撃で、見事サンドバッグを破壊しました！！！こんな感じでモンスターを鍛えていきます！！！ 今のところ、タッチ操作のみのシンプ... --- ### 【iOS】Pixel Monster（ピクセルモンスター） - Published: 2011-11-03 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/11/pixel-monster-dev/ - カテゴリー: FiS Project Info ドット絵×育成×バトル×スマートフォンゲーム - Pixel Monster（ピクセルモンスター）がiOSに登場 モンスターを育てて友達とバトル！GameCenterで一位を目指せ！！ ・懐かしのドット形式育成画面 ・いつでもiPhoneに通知 ・友達と育てたモンスターでBluetooth対戦 ・GameCenter/Achivementでトップを目指せ ・全15体のモンスター図鑑を完成させよう 修論発表前の1月頃にはリリースできるよう開発しています！ 開発中のスクリーンショットやブログも順次U... --- ### 【マイコン日記】 78k0R で UART (2) - Published: 2011-10-23 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/10/microcontroller-diary-78k0r-uart-2/ - カテゴリー: t2sy-note - タグ: マイコン, 電子工作 1. センサ値を監視するPCアプリケーションをつくる 今回は, Visual C♯ Express 2010で Windows formアプリケーションをつくった。 グラフの描画 ： NPlotというライブラリを使う。縦軸はセンサからADCを通った後の値, 横軸は時間 (受信データ数)とした。 エクセルへのエクスポート ： Microsoft. Office. Interop. Excelでサポートされている マイコンとのUART通信 ： . NET Framework 2. 0のシリアルポートクラスを使... --- ### 【マイコン日記】78k0R で UART (1) - Published: 2011-09-26 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/09/microcontroller-diary-78k0r-uart/ - カテゴリー: t2sy-note - タグ: マイコン 今回はマイコン => PCでUART通信をしてみる。 1. 基盤をいじる デザインテクノロジNo8の付属基盤には, RS232Cコネクタがついていないため, 別途78K0R-BASE基板を購入しRS232Cコネクタを利用した。 注意が必要なのは用途によってBASE基板でショートさせる個所が異なること。センサなどアナログ入力を使うときは以下の２箇所をショートさせよう。 RXD0　ACL_DO（加速度センサ、照度センサ接続）　JP6　CN6コネクタ TXD0　ACL_DI（加速度センサ、照度センサ接... --- ### セキュリティ&プログラミングキャンプ2011に参加してきました。 - Published: 2011-09-19 - Modified: 2012-07-11 - URL: https://fisproject.net/2011/09/%e3%82%bb%e3%82%ad%e3%83%a5%e3%83%aa%e3%83%86%e3%82%a3%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0%e3%82%ad%e3%83%a3%e3%83%b3%e3%83%972011%e3%81%ab%e5%8f%82%e5%8a%a0%e3%81%97/ - カテゴリー: Lotus Note 初投稿になりますが、題名の通りセキュリティ&プログラミングキャンプ2011に参加して参りました。 まずは、そのセキュリティ&プログラミングキャンプ2011についての概要をお話します。 公式HPはこちら。 2004年度より毎年開催している「セキュリティキャンプ（2008年度よりセキュリティ＆プログラミングキャンプとして実施）」は、若年層のセキュリ ティ意識の向上と優秀なセキュリティ人材の早期発掘と育成という当初の目的に沿って、これまで数多くの将来有望な人材を輩出してきており、セキュ... --- ### 【マイコン日記】78k0R で PWM - Published: 2011-09-08 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/09/microcontroller-diary-78k0r-2/ - カテゴリー: t2sy-note - タグ: マイコン 今回はマイコンのタイマ / カウンタ機能を使ってPWMをやってみる。 スピーカからwav音源を鳴らしてみる(`・ω・)ゞ 用意するもの ・wav音源の用意 (マイコンROM容量を考慮すると, リサンプルした方が良い => バイナリ形式に変換 => データ先頭に0xを追加) ・100均で買ったボイスコイル型スピーカ（回路系非搭載） ・アンプ回路とローパス回路を作製 実験開始 流れとしては, 1. CubeSuiteのハードウェア定義でPWMの使用を宣言し、コード生成 (スピーカ出力はPWMのCN4... --- ### 【マイコン日記】78k0R でエルチカ! - Published: 2011-08-30 - Modified: 2023-06-25 - URL: https://fisproject.net/2011/08/microcontroller-diary-78k0r-1/ - カテゴリー: t2sy-note - タグ: マイコン マイコンを使って何かしよう！として始まった研究室のプロジェクト！ 何か作るにも初心者は基礎が大事ということで, デジタルデザインテクノロジNo8に付属している78kORマイコン基板（16bit）で遊んでみる。 No8付属基板には, 主に以下が搭載されている。 USB-シリアル変換ポート LED ユーザSW GPIO 開発環境はNECのIDE, CubeSuiteを使ってみた。 面倒なハードウェア定義はコード生成機能で楽々できるのだが, これはインストール時にカスタムインストールでチェックボックス... --- ### MacBookAir買ったのでHomebrewをインストールした - Published: 2011-08-22 - Modified: 2011-08-22 - URL: https://fisproject.net/2011/08/macbookair%e8%b2%b7%e3%81%a3%e3%81%9f%e3%81%ae%e3%81%a7homebrew%e3%82%92%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab%e3%81%97%e3%81%9f/ - カテゴリー: junの備忘録 先日，MacBookAir11インチ買いました． 軽いし起動早いし初期状態でアプリも揃っててでちょおまんぞくです． でも 今日日Emacs22なんてつかわねえよ! というわけでパッケージ管理ソフトウェアのHomebrewをインストールしました．目的はEmacsのHEADを入れること． パッケージ管理ソフトウェアといえばMacPortsが有名ですがあれは初回のビルド時間がくっそ長いので，イケてるマカーはHomebrewを使うものだと聞いております． $ /usr/bin/ruby -e "$(cu... ---