新卒1年目がゲームのギルドマスターとしてマネジメントと真面目に向き合った話

新卒1年目、わたしはとあるゲーム会社に就職した。 就職したゲーム会社の熱狂的なファンだったが、他社のゲームをほとんどプレイしたことがなかったため、勉強をするために様々なゲームをプレイしていた。 その中で、1つのゲームにドハマリした。自分の村を…

【2020・2021年】買ってよかったもの (安い順)

2021年も終わることだし、今年と去年の2年間で買ってよかったもの・お金を払ってよかったものを記録しておく。コロナ化で家での環境を快適にするものを多く買ったように思う。 値段が安い順に並べている。 お風呂の鏡のくもり止め まじで曇らないすごい。 ¥9…

CVATでアノテーションした部分の画像を切り抜く

CVAT というOpenなアノテーションツールをつかうと写真のセグメンテーションやラベル付けができます。 そのそのアノテーション情報から画像のアノテーションした部分を取り出す方法を残しておきます。 できること source annotation output ラベルごとに別の…

モバイル端末上でMLモデルの推論をするための技術

最近、効率よくスマホ上で推論したくてTensorFlowLiteとかMediaPipeとかとずっと戯れているんだけど、そのあたりの周辺技術をもう少し調べようとしてまとめたやつです。 どれもデモ動画を見ないと全然わからないと思うんだけど、公式のgifとかどこまで使って…

画像にmatplotlibでバウンディングボックスとラベルを追加する

物体検出のテストするときによく画像の上にbounding boxとラベルを表示したくなるんだけど、 毎回同じようなコード書いててめんどくさいのでスクリプトを残しておく。 matplotlibのAnnotations APIを使うと簡単にら別を追加できる。

TensorflowモデルをTFLiteにconvertする方法とconvertツールの比較

カスタムのTensorflowのモデルをTFLiteにconvertしようとしてすごく辛かったのではまりどころを記録していく。 サンプルにあるモデルをtfliteにconvertするのはそんなに難しくないんだが、ちょっと自分で手を加えたモデルをconvertしようとしたらTensorFlow…

ShellScriptのダブルクォートとシングルクォートの違い

Shell Script Advent Calendar 2015 3日目の記事をqiitaから移動したものです。 この記事では自分が最近はまったシェルスクリプトの初歩の初歩、シングルクォート(')とダブルクォート(")の違いを紹介できればと思います。 C言語とかを書いてたら、シングルク…

Pythonプロジェクトのdocstringの網羅率を計算するパッケージdoc-covをつくった

みんなのdocstring書くモチベーションをあげるために、docstringの網羅率を計算して Pull Requestごとにdocstringの網羅率(coverage)の変化を表示したいな〜と思って調べたんですが、 そういった網羅率を計算するライブラリが見つけられなかったので、自分で…

時間のかかる前処理をDaskで高速化

最近仕事で自然言語処理を使ったモデルを作成していたんですが、 前処理やモデルを作る際に数分〜数十分単位の処理待ちの空き時間が頻繁に発生してしまい、 その度集中力が切れる問題に悩まされていました。 モデルの学習に時間がかかってしまうのはまた別の…

転職してデータサイエンティストからデータエンジニアになりました

前回の転職(ゲームプログラマからデータサイエンティストに転職しました - ぴよぴよ.py)から約1年半、再び転職しました。 ゲームプログラマ (2年)→ データサイエンティスト(1年)→ データエンジニア(new) という感じのキャリアです。 前職の話 前職は職種的に…

最近追加されたPythonの便利機能とこれからのPython in #ll2018jp

Learn Languages 2018 というイベントで、最近のPythonについて発表してきました。 (一昨年まではLightweight LanguageでLLイベントだったのが、去年からLearn Languagesイベントになったらしい!) Python update in 2018 #ll2018jp from cocodrips www.slid…

好きな品詞の組み合わせのフレーズを抜き出すPythonパッケージ「negima」を作った

日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素…

古いバージョンのR(2系)の環境を作る

R

仕事の都合でRの2.15を使いたい状況になったのだが、 古いバージョンのRの環境を作るのが想像以上に大変だったので、環境構築の仕方を残しておく。 自分のMac上に環境を作ろうとしたのだが、Apple周りのエラーが大量に出現しだいぶ厳しそうだったので諦めた…

JupyterNotebookでの技術書執筆環境を作った

本や記事を書く際、markdownやreSTで書くなど色々な書き方があると思う。 実際に何度かちょっとした記事を書いてみて、プログラムのコードを使った説明が多いような文章だと markdownやreSTにコピペするのがめんどくさいなぁというのがあった。 なのでJupyte…

queryとbool型のSeries指定によるDataFrameのからのデータ抽出速度の差【pandas】

pandasで条件を指定して抽出を行うとき、df[df['Age'] < n]とdf.query('Age < @n') で同じことができるけれど、 どれくらい実行時間に差があるか気になったので調べた。 使用データ 使ったデータ: 2000行弱のデータ。 Colon function | R Documentation impo…

Jenkinsのpipelineのスクリプトの書き方まとめ

Jenkins2.0以降Pipelineが標準機能となり、 ビルド同士の関係もスクリプトで管理しやすくなった。 PipelineのスクリプトはGroovy(JavaVM上で動く動的プログラミング言語)で書く必要があり、 GroovyにもJavaにも明るくない人にとってはちょっとハードルが高い…

EC2(Amazon Linux AMI)へのPostgreSQLのインストールと設定

PostgreSQLの設定にだいぶ手間取ったので、 次からすぐに設定できるようにメモ。 インストール yumにはPostgresSQLが準備されてないので、rpmからとってくる。 今回インストールしたのはPostgresSQL-9.6. wget https://download.postgresql.org/pub/repos/yu…

Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ

今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで…

Pandasを使ったデータ操作の基本

データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ・ω・)ノ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデ…

1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ

前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました…

ゲームプログラマからデータサイエンティストに転職しました

新卒で入社して2年勤めたゲーム会社を4月末で退職し、 ゲームプログラマーからデータサイエンティストにジョブチェンジしました。 だいぶ違う業界への転職で不安もありますが、大学の研究はデータ解析寄りだったので、 どうにかなるといいな〜という気持ちで…

はてなブログのTeX記法で数式を書く時用のチートシートと注意点

はてなブログ(markdown記法)のTeX記法で数式を書こうとしたら 初歩的な数式を書く時点で躓いたので 解決方法を乗せるついでに基本的な数式の書き方をまとめておこうと思う(∩´∀`) はてなブログ(markdown記法)でTeXを書くときの注意点 先に結論を言うと、 は…

オンラインでSICP読書女子会をはじめて1年経ったので経過報告(o ・ω・)ノ

Lisp初心者のくーむです。 なんとなくLispアドベントカレンダーに登録してしまいました。 こちらLisp Advent Calendar 201621日目の記事になります。 今回は地道に1年続いているSICP読書会の様子についてちょっとだけご紹介しようと思います。 オンラインSIC…

ElasticSearch(2.3.5)とKibana4でユーザの統計データを表示してみる

久々に Python mini Hack-a-thonに参加させていただいたので、 なにやろうかな〜と考えた結果、ElasticSearchに触れてみることにした。 今回は簡単なデータをちょっと表示する所までしかできていない。 目的 とあるWebサービスにログインしているお客様の情…

女性のためのC++コミュニティ Ladies++を立ち上げました

12月に女性C++erのための、Ladies++というコミュニティを立ち上げました。 今回はLadies++や女性コミュニティについて紹介しようと思います。この記事は、 Geek Women Advent Calendar 2015 の23日目の記事です! 様々な女性コミュニティ 最近はたくさんの女…

C++のポインタ渡しと参照渡しの使い分け

社会人1年目、会社で部署に配属された初日に、 上司に「C++は全然わからないです!」って言ったら、 「お前がわかってないのはC++じゃなくてコンピュータの基礎だ」 と言われたくーむです。こんばんは。今日は 初心者 C++er Advent Calendar 2015の8日目(7日…

強くなるためのプログラミング -様々なプログラミングコンテストとそのはじめ方-

みなさんは何のためにプログラミングをしていますか? 仕事のため、何かをつくるため。それも良いけれど、「強くなる」ためにプログラミングしてみませんか。 様々なジャンルのプログラミングコンテストとまだ見ぬライバルたちがあなたを待っています。 今回…

ハードのことは全然わからないけど初めて自作PCつくった!

先月秋葉原の電気街を歩いていた時に、かわいいPCケースに出会った。ピンクで中が透けて見える。女子エンジニア心をくすぐられる。 以前からPC自作してみたいな〜、とは思っていたのだけど、 このケースに一目惚れして気づいたら買っていたので、ついに作る…

Windowsのパスがうまく指定\表示できない問題 in Python

Mac/Linuxしか触ってなかった人生から一転、毎日Windowsを使うお仕事に就きました。 最近はちょっとしたツールをよく作るのですが、Windowsで1番悩まされてるのは、Windowsのパスが"\"で連結されていることです。 コマンドプロンプトとcygwinでどちらも動か…

py2exeでPythonのスクリプトを実行ファイル(exe)にする【py2exe】

py2exeを使って、pythonのスクリプトをexeファイルにしましょう。 いくつかハマりポイントがあって大変だったのでまとめてみます。複数のハマリポイントではまった理由を追記しました(2017/03/13) Python バージョン: 2.7.10 pyexe バージョン: 0.6.9 python…