高瀬ヒサヲの Signal & Power !

2019年4月15日月曜日

pythonの環境管理

取り急ぎ、メモだけ。

$ pyenv versions
* system (set by /Users/hisawo/.pyenv/version)
$ pyenv install anaconda3-5.3.1
Installing Anaconda3-5.3.1-MacOSX-x86_64.sh...
Installed Anaconda3-5.3.1-MacOSX-x86_64.sh to /Users/hisawo/.pyenv/versions/anaconda3-5.3.1

$ pyenv versions
* system (set by /Users/hisawo/.pyenv/version)
  anaconda3-5.3.1
$

[続きを読む]

取り急ぎ、メモだけ。

$ pyenv versions
* system (set by /Users/hisawo/.pyenv/version)
$ pyenv install anaconda3-5.3.1
Installing Anaconda3-5.3.1-MacOSX-x86_64.sh...
Installed Anaconda3-5.3.1-MacOSX-x86_64.sh to /Users/hisawo/.pyenv/versions/anaconda3-5.3.1

$ pyenv versions
* system (set by /Users/hisawo/.pyenv/version)
  anaconda3-5.3.1
$

$ pyenv activate anaconda3-5.3.1
pyenv-virtualenv: prompt changing will be removed from future release. configure `export PYENV_VIRTUALENV_DISABLE_PROMPT=1' to simulate the behavior.
(anaconda3-5.3.1) $ export PYENV_VIRTUALENV_DISABLE_PROMPT=1
(anaconda3-5.3.1) $

(anaconda3-5.3.1) $ conda create -n pythonstan
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.5.11
  latest version: 4.6.11

Please update conda by running

    $ conda update -n base -c defaults conda



## Package Plan ##

  environment location: /Users/hisawo/.pyenv/versions/anaconda3-5.3.1/envs/pythonstan


Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate pythonstan
#
# To deactivate an active environment, use
#
#     $ conda deactivate

(anaconda3-5.3.1) $ conda info -e
# conda environments:
#
base                     /Users/hisawo/.pyenv/versions/anaconda3-5.3.1
pythonstan               /Users/hisawo/.pyenv/versions/anaconda3-5.3.1/envs/pythonstan

(anaconda3-5.3.1) $

(anaconda3-5.3.1) $ conda activate pythonstan
(pythonstan) (anaconda3-5.3.1) $ conda install -c conda-forge pystan
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.5.11
  latest version: 4.6.11

Please update conda by running

    $ conda update -n base -c defaults conda



## Package Plan ##

  environment location: /Users/hisawo/.pyenv/versions/anaconda3-5.3.1/envs/pythonstan

  added / updated specs:
    - pystan


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    llvm-lto-tapi-4.0.1        |       h6701bc3_0        11.7 MB  conda-forge
    xz-5.2.4                   |    h1de35cc_1001         268 KB  conda-forge
    wheel-0.33.1               |           py37_0          34 KB  conda-forge
    compiler-rt-4.0.1          |       h5487866_0         963 KB  conda-forge
    clangxx-4.0.1              |       hc9b4283_0          10 KB
    cython-0.29.6              |   py37h0a44026_0         2.0 MB  conda-forge
    python-3.7.3               |       h0d93f26_0        20.7 MB  conda-forge
    sqlite-3.26.0              |    h1765d9f_1001         2.4 MB  conda-forge
    pystan-2.17.1.0            |py37h1702cab_1003        14.2 MB  conda-forge
    setuptools-41.0.0          |           py37_0         620 KB  conda-forge
    libgfortran-3.0.1          |                0         495 KB  conda-forge
    cctools-895                |       h7512d6f_0         1.5 MB  conda-forge
    tk-8.6.9                   |    ha441bb4_1001         3.2 MB  conda-forge
    zlib-1.2.11                |    h1de35cc_1004         101 KB  conda-forge
    clangxx_osx-64-4.0.1       |      h22b1bf0_11           7 KB
    pip-19.0.3                 |           py37_0         1.8 MB  conda-forge
    cycler-0.10.0              |             py_1           8 KB  conda-forge
    libffi-3.2.1               |    h6de7cb9_1006          43 KB  conda-forge
    freetype-2.10.0            |       h24853df_0         881 KB  conda-forge
    tornado-6.0.2              |   py37h01d97ff_0         635 KB  conda-forge
    clang_osx-64-4.0.1         |      h1ce6c1d_11           7 KB
    python-dateutil-2.8.0      |             py_0         219 KB  conda-forge
    libpng-1.6.36              |    ha441bb4_1000         306 KB  conda-forge
    ncurses-6.1                |    h0a44026_1002         1.3 MB  conda-forge
    kiwisolver-1.0.1           |py37h04f5b5a_1002          56 KB  conda-forge
    six-1.12.0                 |        py37_1000          22 KB  conda-forge
    clang-4.0.1                |       h662ec87_0        73.7 MB  conda-forge
    llvm-4.0.1                 |       hc748206_0       136.7 MB  conda-forge
    bzip2-1.0.6                |    h1de35cc_1002         148 KB  conda-forge
    pyparsing-2.4.0            |             py_0          55 KB  conda-forge
    readline-7.0               |    hcfe32e1_1001         393 KB  conda-forge
    ld64-274.2                 |       h7c2db76_0         2.6 MB  conda-forge
    ------------------------------------------------------------
                                           Total:       276.8 MB

The following NEW packages will be INSTALLED:

    bzip2:           1.0.6-h1de35cc_1002        conda-forge
    ca-certificates: 2019.3.9-hecc5488_0        conda-forge
    cctools:         895-h7512d6f_0             conda-forge
    certifi:         2019.3.9-py37_0            conda-forge
    clang:           4.0.1-h662ec87_0           conda-forge
    clang_osx-64:    4.0.1-h1ce6c1d_11
    clangxx:         4.0.1-hc9b4283_0
    clangxx_osx-64:  4.0.1-h22b1bf0_11
    compiler-rt:     4.0.1-h5487866_0           conda-forge
    cycler:          0.10.0-py_1                conda-forge
    cython:          0.29.6-py37h0a44026_0      conda-forge
    freetype:        2.10.0-h24853df_0          conda-forge
    kiwisolver:      1.0.1-py37h04f5b5a_1002    conda-forge
    ld64:            274.2-h7c2db76_0           conda-forge
    libblas:         3.8.0-4_openblas           conda-forge
    libcblas:        3.8.0-4_openblas           conda-forge
    libcxx:          4.0.1-h579ed51_0
    libcxxabi:       4.0.1-hebd6815_0
    libffi:          3.2.1-h6de7cb9_1006        conda-forge
    libgfortran:     3.0.1-0                    conda-forge
    liblapack:       3.8.0-4_openblas           conda-forge
    libpng:          1.6.36-ha441bb4_1000       conda-forge
    llvm:            4.0.1-hc748206_0           conda-forge
    llvm-lto-tapi:   4.0.1-h6701bc3_0           conda-forge
    matplotlib:      3.0.3-py37_0               conda-forge
    matplotlib-base: 3.0.3-py37hf043ca5_0       conda-forge
    ncurses:         6.1-h0a44026_1002          conda-forge
    numpy:           1.16.2-py37hbb3c62a_1      conda-forge
    openblas:        0.3.5-h436c29b_1001        conda-forge
    openssl:         1.1.1b-h01d97ff_2          conda-forge
    pip:             19.0.3-py37_0              conda-forge
    pyparsing:       2.4.0-py_0                 conda-forge
    pystan:          2.17.1.0-py37h1702cab_1003 conda-forge
    python:          3.7.3-h0d93f26_0           conda-forge
    python-dateutil: 2.8.0-py_0                 conda-forge
    readline:        7.0-hcfe32e1_1001          conda-forge
    setuptools:      41.0.0-py37_0              conda-forge
    six:             1.12.0-py37_1000           conda-forge
    sqlite:          3.26.0-h1765d9f_1001       conda-forge
    tk:              8.6.9-ha441bb4_1001        conda-forge
    tornado:         6.0.2-py37h01d97ff_0       conda-forge
    wheel:           0.33.1-py37_0              conda-forge
    xz:              5.2.4-h1de35cc_1001        conda-forge
    zlib:            1.2.11-h1de35cc_1004       conda-forge

Proceed ([y]/n)? y


Downloading and Extracting Packages
llvm-lto-tapi-4.0.1  | 11.7 MB   | ##################################### | 100%
xz-5.2.4             | 268 KB    | ##################################### | 100%
wheel-0.33.1         | 34 KB     | ##################################### | 100%
compiler-rt-4.0.1    | 963 KB    | ##################################### | 100%
clangxx-4.0.1        | 10 KB     | ##################################### | 100%
cython-0.29.6        | 2.0 MB    | ##################################### | 100%
python-3.7.3         | 20.7 MB   | ##################################### | 100%
sqlite-3.26.0        | 2.4 MB    | ##################################### | 100%
pystan-2.17.1.0      | 14.2 MB   | ##################################### | 100%
setuptools-41.0.0    | 620 KB    | ##################################### | 100%
libgfortran-3.0.1    | 495 KB    | ##################################### | 100%
cctools-895          | 1.5 MB    | ##################################### | 100%
tk-8.6.9             | 3.2 MB    | ##################################### | 100%
zlib-1.2.11          | 101 KB    | ##################################### | 100%
clangxx_osx-64-4.0.1 | 7 KB      | ##################################### | 100%
pip-19.0.3           | 1.8 MB    | ##################################### | 100%
cycler-0.10.0        | 8 KB      | ##################################### | 100%
libffi-3.2.1         | 43 KB     | ##################################### | 100%
freetype-2.10.0      | 881 KB    | ##################################### | 100%
tornado-6.0.2        | 635 KB    | ##################################### | 100%
clang_osx-64-4.0.1   | 7 KB      | ##################################### | 100%
python-dateutil-2.8. | 219 KB    | ##################################### | 100%
libpng-1.6.36        | 306 KB    | ##################################### | 100%
ncurses-6.1          | 1.3 MB    | ##################################### | 100%
kiwisolver-1.0.1     | 56 KB     | ##################################### | 100%
six-1.12.0           | 22 KB     | ##################################### | 100%
clang-4.0.1          | 73.7 MB   | ##################################### | 100%
llvm-4.0.1           | 136.7 MB  | ##################################### | 100%
bzip2-1.0.6          | 148 KB    | ##################################### | 100%
pyparsing-2.4.0      | 55 KB     | ##################################### | 100%
readline-7.0         | 393 KB    | ##################################### | 100%
ld64-274.2           | 2.6 MB    | ##################################### | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(pythonstan) (anaconda3-5.3.1) $

2020-05-11追記:
home brew でインストールしておくパッケージ

python
python@2
python@3.8
pyenv
pyenv-virtualenv

2013年12月10日火曜日

2013年の #mercurialjp ツイートを解析する

このエントリは Mercurial Advent Calendar 2013 の10日目です。

Mercurialの素晴らしいところの一つは「困ったことがあってもハッシュタグ #mercurialjp をつけてツイートすればすぐに的確なアドバイスをいただける」というコミュニティの強力さだと思ってます。何かあってもすぐにフォローしてもらえる上、内容によっては対応してパッチを本家に投げてもらえるというのは本当に心強い限りです。

そこで『今年の #mercurialjp を振り返る』ということで (「Mercurial Advent CalendarのエントリなのにMercurial自体に触れないなんて、変化球を通り越して敬遠じゃないのか？」という一抹の不安を抱えつつ)、2013年のMercurialトピックを #mercurialjp ツイートを解析*1することで探ってみたいと思います。

まずは前処理から

まずは前処理、元となるデータの作成です。実はこれがデータ解析で一番のキモであり、かつ一番手間のかかるところなのですが、今回は件数もたかが知れているので TwitterのWebページでの検索結果をコピペでテキストファイルに落とし、Emacsの編集機能やキーボードマクロでCSVファイルに加工することにしました。そうやって出来たのがこのファイルです。ちなみに12月に入ってからはAdvent Calendarに関するツイートが多いこともあり、データは1月〜11月で作成しました。これを元に解析していきます。

早速データファイルを R に読み込んで、まずはヒストグラムを作成して月毎のツイート数の推移を見てみましょう。

> data <- read.csv("2013mercurialjp.csv")
> colnames(data)
[1] "name"  "month" "day"   "tweet"
> nrow(data)
[1] 804
> hist(data$month, xlim=c(1,12), breaks=c(0.5,1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5,10.5,11.5))

総計804ツイート、月によって流量の変化はあるものの、概ね "70ツイート/月" くらいでしょうか。これが今回の材料の全てです。さて、この804ツイートの中にどんなドラマが秘められているのか、探検を始めましょう。

[続きを読む]

単語の出現頻度を計測する

それではデータを単語に切り分けて*2、出現頻度を集計しましょう。使用するツールは R と、MeCab および RMeCabパッケージです。名詞、形容詞、動詞で意味を持ちそうな語を抽出し、上位20件を見てみます。

> library(RMeCab)
> mercurialjp <- RMeCabFreq("2013mercurialjp.csv")
file = 2013mercurialjp.csv 
length = 4309 
> 
> words <- mercurialjp[((mercurialjp$Info1 == "名詞" |
+                        mercurialjp$Info1 == "形容詞" |
+                        mercurialjp$Info1 == "動詞") &
+                       (mercurialjp$Info2 != "非自立" &
+                        mercurialjp$Info2 != "数")), ]
> freq = words[ rev(order(words$Freq)), ]
> freq[1:20, ]
            Term Info1    Info2 Freq
627          ","  名詞 サ変接続 1752
612            "  名詞 サ変接続 1465
708            /  名詞 サ変接続 1400
705            .  名詞 サ変接続 1394
283         する  動詞     自立  992
638            #  名詞 サ変接続  886
755             ‏@  名詞 サ変接続  798
2073 mercurialjp  名詞     一般  764
1828 flyingfoozy  名詞     一般  600
632         ","@  名詞 サ変接続  565
1351   Katsunori  名詞     一般  559
1288    FUJIWARA  名詞     一般  559
702            -  名詞 サ変接続  496
720          ://  名詞 サ変接続  444
746            _  名詞 サ変接続  404
2072   mercurial  名詞     一般  259
255         れる  動詞     接尾  249
1971          jp  名詞     一般  248
1886          hg  名詞     一般  231
1930        http  名詞     一般  200
>

おっと、記号やアクティブユーザのアカウントなどが入ってしまいました……。さてどうやって取り除くかですが、うまい方法が思いつかなないので地道に抽出条件に書き加えました。

> words <- mercurialjp[((mercurialjp$Info1 == "名詞" |
+                        mercurialjp$Info1 == "形容詞" |
+                        mercurialjp$Info1 == "動詞") &
+                       (mercurialjp$Info2 != "非自立" &
+                        mercurialjp$Info2 != "数") &
+                       (mercurialjp$Term != "\",\"" &
+                        mercurialjp$Term != "\"" &
+                        mercurialjp$Term != "/" &
+                        mercurialjp$Term != "." &
+                        mercurialjp$Term != "#" &
+                        mercurialjp$Term != "@" &
+                        mercurialjp$Term != "mercurialjp" &
   :
 (snip)
   :
+                        mercurialjp$Term != ")\"" &
+                        mercurialjp$Term != "?")), ]
> freq = words[ rev(order(words$Freq)), ]
> freq[1:100,]
                 Term  Info1          Info2 Freq
283              する   動詞           自立  992
755                  ‏@   名詞       サ変接続  798
2072        mercurial   名詞           一般  259
255              れる   動詞           接尾  249
1886               hg   名詞           一般  231
300              なる   動詞           自立  194
257              ある   動詞           自立  173
2718         ファイル   名詞           一般  154
1391        Mercurial   名詞           一般  132
3322             場合   名詞       副詞可能  120
1125             設定   名詞       サ変接続  105
294            できる   動詞           自立  105
2805       リビジョン   名詞           一般   94
988              指定   名詞       サ変接続   92
3795               的   名詞           接尾   84
2289          selenic   名詞           一般   83
2055           manual   名詞           一般   79
1105             表示   名詞       サ変接続   78
3643             可能   名詞   形容動詞語幹   74
1513       TortoiseHg   名詞           一般   74
3800               等   名詞           接尾   73
3126             環境   名詞           一般   73
1036             機能   名詞       サ変接続   70
2734         ブランチ   名詞           一般   69
2809       リポジトリ   名詞           一般   66
2577 エクステンション   名詞           一般   64
929              変更   名詞       サ変接続   64
2996             履歴   名詞           一般   63
855              作業   名詞       サ変接続   63
1198             問題   名詞 ナイ形容詞語幹   62
334              使う   動詞           自立   62
2777           マージ   名詞           一般   58
794          コミット   名詞       サ変接続   58
858              使用   名詞       サ変接続   57
4174             無い 形容詞           自立   56
3045             文字   名詞           一般   52
3729               上   名詞           接尾   51
3790               版   名詞           接尾   50
3745               化   名詞           接尾   50
2987             対象   名詞           一般   50
910              参照   名詞       サ変接続   50
3663             必要   名詞   形容動詞語幹   49
3774               時   名詞           接尾   47
2611         コマンド   名詞           一般   47
911              参考   名詞       サ変接続   47
3025             情報   名詞           一般   45
820          リリース   名詞       サ変接続   45
3739               側   名詞           接尾   44
2624           コード   名詞           一般   44
940              実施   名詞       サ変接続   44
419              思う   動詞           自立   44
3767               性   名詞           接尾   42
2896             内容   名詞           一般   42
1864           google   名詞           一般   42
3661             幸い   名詞   形容動詞語幹   41
3088               梱   名詞           一般   41
2233                r   名詞           一般   41
3741               先   名詞           接尾   40
2207             push   名詞           一般   40
2607           ケース   名詞           一般   39
1873           groups   名詞           一般   39
3748               名   名詞           接尾   38
1629        bitbucket   名詞           一般   38
893              利用   名詞       サ変接続   38
4145             ない 形容詞           自立   37
2240           rebase   名詞           一般   37
2102              msg   名詞           一般   37
258              いう   動詞           自立   37
3249             領域   名詞           一般   36
2483             wiki   名詞           一般   36
3398        Mercurial   名詞       固有名詞   35
1021             更新   名詞       サ変接続   35
867              修正   名詞       サ変接続   35
2712           パッチ   名詞           一般   34
1074             確認   名詞       サ変接続   34
1150             追加   名詞       サ変接続   33
3674             有効   名詞   形容動詞語幹   32
2753           ヘッド   名詞           一般   32
3058           日本語   名詞           一般   31
2583         エントリ   名詞           一般   31
1166             選択   名詞       サ変接続   30
1081             管理   名詞       サ変接続   30
3475               hg   名詞       固有名詞   29
3030               手   名詞           一般   29
1163             運用   名詞       サ変接続   29
3120             現状   名詞           一般   28
3116             状態   名詞           一般   28
3093             標準   名詞           一般   28
3040             挙動   名詞           一般   28
2422          twitter   名詞           一般   28
1040             注意   名詞       サ変接続   28
878              共有   名詞       サ変接続   28
3052             方法   名詞           一般   27
2444           update   名詞           一般   27
2381              thg   名詞           一般   27
1893             hgrc   名詞           一般   27
1564                a   名詞           一般   27
2253             repo   名詞           一般   26
3735             付き   名詞           接尾   25
3608               笑   名詞       固有名詞   25
>

上位100件を見みたところ、一般的な単語で占められて特徴的なものは見い出しにくいものの、やはりTortoiseHgが上位にあること (SourceTreeは見当たりませんね) と、あと目に留まるのは rebase あたりでしょうか。

単語の共起関係を調査する

さらなる解析を、と月毎の出現頻度や推移を調べたりなどいろいろやってみたものの、意味のありそうな結果が得られません。元々データの母数が少ない上、ツイッターという字数の少ないメディアなので省略も多いでしょうから、傾向を出すのは無理があるようです。

と、ここで「あれ、そういえば Git って単語が出てこないな」ということに気付きました。早速、出現頻度データフレームから Git という語だけを抜き出して、出現頻度を調べてみましょう。『敬遠と思って安心してたら危険球』になりかけてますが、大丈夫でしょうか？頭部への危険球は一発退場です。

> freqGit <- subset(freq, subset = (Term == "git" | Term == "Git"), select = c(Term, Info1, Info2, Freq))
> freqGit
     Term Info1    Info2 Freq
1302  Git  名詞     一般   13
3379  Git  名詞 固有名詞    8
1855  git  名詞     一般    5
3468  git  名詞 固有名詞    2
>

なるほど、トータルでは28回現れていたものの、大文字小文字の表記揺れと、おそらく出現の仕方による構文解析の揺れで、数値が分散して上位には上がって来なかったようです。

では、「#mercurialjp のハッシュタグ付きツイートでは、『Git』という単語はどのような文脈で現れたのか？」を調べてみましょう。

ある単語が別の単語と隣接して現れることを『共起』と言い、RMeCabパッケージでは collocate()関数で求めることができます。collocate()関数の引数はファイルなので、ツイートを一度 tweet.txt というテキストファイルに落としてから喰わせ、出現頻度(Span)順に並べ替えた上で、頻度2以上を見てみます。

> mercurialjp <- read.csv("2013mercurialjp.csv")
> write.table(mercurialjp$tweet, "tweet.txt", quote=F, col.names=F)
> Git <- collocate("tweet.txt", node="Git")
file = tweet.txt 
length = 4635 
> 
> GitOrderBySpan = Git[ rev(order(Git$Span)), ]
> GitOrderBySpan <- subset(GitOrderBySpan, subset = Span > 1,
+                          select = c(Term, Before, After, Span, Total))
> GitOrderBySpan
           Term Before After Span Total
54   [[TOKENS]]     84    63  147 44084
53 [[MORPHEMS]]     30    22   52  4635
6           Git     21     0   21    21
30           の      3     7   10  1482
37     ブランチ      1     6    7    69
25           と      0     7    7   394
17           『      4     3    7   244
10  mercurialjp      7     0    7   806
1             #      7     0    7   962
31           は      3     3    6   825
15           、      5     1    6  1075
49           的      0     5    5    84
24           で      2     3    5   694
22           だ      0     5    5   590
2             (      4     1    5   194
46         比較      1     2    3     6
21         する      1     2    3   968
7     Mercurial      0     3    3   167
38       ユーザ      1     1    2    22
35           を      0     2    2   646
16           。      2     0    2   497
3             )      1     1    2   188
>

どうやら2013年の #mercurial ツイートでは『Git』という単語は『ブランチ』という単語と一緒に語られたことが多かった*3ようです。検索してみるとこんな感じです。

個人的には、ここで先の「rebase」が出てくるのでは？と予測していたので、この結果は意外でした。

それでは出現回数37回を誇る「rebase」は、どんな文脈で現れたのか？調べてみましょう。

> rebase <- collocate("tweet.txt", node="rebase")
file = tweet.txt 
length = 4635 
> rebaseOrderBySpan = rebase[ rev(order(rebase$Span)), ]
> rebaseOrderBySpan <- subset(rebaseOrderBySpan, subset = Span > 1, 
+                             select = c(Term, Before, After, Span, Total))
> rebaseOrderBySpan
                Term Before After Span Total
123       [[TOKENS]]    188   141  329 44084
122     [[MORPHEMS]]     60    61  121  4635
35            rebase     47     0   47    47
61                で      5    11   16   694
79                を      1    10   11   646
46                、      9     1   10  1075
2                  #     10     0   10   962
7                 --      1     7    8    56
69                の      1     6    7  1482
44                …      1     6    7   474
33       mercurialjp      7     0    7   806
9                  /      5     2    7  1389
81  エクステンション      0     6    6    64
75                も      4     2    6   274
56              する      4     2    6   968
28              html      6     0    6   129
8                  .      6     0    6  1367
60                て      4     1    5   590
54                が      1     4    5   882
31              keep      2     3    5    12
71                は      3     1    4   825
58                た      3     1    4   449
117               等      0     3    3    76
107             有効      0     3    3    32
74              ます      2     1    3   544
59                だ      1     2    3   590
49                『      1     2    3   244
39             strip      1     2    3    21
29              http      0     3    3   359
24             graft      3     0    3    23
17                MQ      2     1    3    26
16                 @      0     3    3   682
15               ://      0     3    3   444
4                  (      3     0    3   194
121               ＆      0     2    2     9
113             無し      2     0    2     8
104             改変      1     1    2    13
101             完了      1     1    2     5
100             契機      1     1    2    16
99              場合      1     1    2   120
97                化      1     1    2    50
92              使用      0     2    2    57
76                や      0     2    2    53
70              ので      2     0    2   204
67              なり      1     1    2    10
65                と      1     1    2   394
62            できる      0     2    2   106
53              から      2     0    2   123
47                。      1     1    2   497
43            update      0     2    2    29
26          histedit      1     1    2    16
25                hg      2     0    2   260
20             abort      1     1    2     8
6                  )      1     1    2   188
1                  "      1     1    2   128
>

「rebase」は「エクステンション」と併せて語られています。そして「Git」という単語は見当たりません。ということで『Git には rebase があるけど、Mercurial には……』というのは、もう過ぎ去りし日というわけですね。グッバイ・フォーエバー。

結論: ハッシュタグ #mercurialjp ツイートから見る2013年の考察

以上の結果より、2013年の #mercurialjp ツイートからは以下の傾向が見られました。

やはり TortoiseHg はアクティブ (さすが西原さん*4！)。
Mercurial の機能では、rebase についての話題が多く見受けられた。
その場合、Git との比較ではなく、rebaseエクステンションについて語られている。
Git との比較では、むしろブランチについての話題が上がっていた。

どうなることかと思ったのですが、なんとかそれらしい結果が得られ、また危険球にもならなかったようで胸をなでおろしています。*5

落穂拾いと謝辞と年末のごあいさつ

と、綺麗にまとまったところを混ぜ返してしまいますが、実はこの結論には不備があります。

「#mercurialjp rebase エクステンション」で検索するとわかるのですが、実際には誰かの『mercurial に git の rebase に相当するものってあるのかなあ？』というツイートを拾って『rebase エクステンションが標準で同梱されてますよ』と #mercurialjp ハッシュタグをつけてメンションを投げているケースが少なからずあり、その前段を取りこぼしてるんですね (#mercurialjp ハッシュタグで収集したツイートのみを解析しているので)。冒頭で「前処理がデータ解析で一番のキモ、そして一番手間のかかるところ」と書いた、そのままです……。会話を全て拾って解析できればいいのですが、それは来年への課題*6とさせてください。

なお、今回のデータ解析の手法は Rによるテキストマイニング入門 (伊藤基広著) を全面的に参考にさせて頂きました。また解析に使用したRMeCabパッケージも同氏による開発です。ありがとうございます。

また、Mercurial日本語ユーザ会の皆様には、今年も大変お世話になりました。ありがとうございます。今年は勉強会(TokyoMercurial)に参加できなかったのが残念ですが、次回はぜひ参加させてください。

来年も、どうぞよろしくお願いします。

*1 このエントリは厳密な技術文書でなく、あくまで『データ解析をネタにしたMercurialに関する面白よみもの』であることを第一義にしていますので、必ずしも内容が正しくないことをご了承ください。意図的に簡略化した箇所につきましては脚注などでフォローを入れましたが、興味がなければ読み飛ばしていただいて結構です。また基本的な理解の誤りがありましたら、ご指摘いただければ幸いです。

*2 正しくは「単語」でなく「形態素」ですが、このエントリでは平易な「単語」という言葉を使用します。ちなみに出現頻度を求める RMeCabFreq()関数は、単純な単語のカウントではなく、活用形を原型に変換した上でカウントします。

*3 本来は「その出現が有意であるか (偶然でなく意味を持っていると見なせるか)」の検証 (統計的検定) が必要ですが、このエントリの趣旨により省略しています。

*4 TortoiseHgのコミッタとしてアクティブに活動されてるのは存じていましたが、まさかここまでとは……。

*5 実はデータ解析で一番大切なことは『その解析結果からPDCAサイクルを構築できるか？』ということです。と偉そうに言ってますが、つい数日前にJapan.R 2013で教わったことだったりします。というわけで2014年へのアクションプランですが……えーっと……えーっと……。

*6 来年もやる気か！？という冷静なツッコミはご遠慮ください ;-)

2013年9月23日月曜日

Ubuntu12.04LTSにR3.0.1をインストールする

LaunchPad PPA を使用して Mercurial を最新版にしたので、R も Ubuntu12.04LTS 標準の 2.14 系から最新の 3.0 系にアップデートしてみます。CRAN も APT ラインを提供していますが、今回はより多くのパッケージをサポート *1 している RutteR を使用します。

LaunchPad PPA リポジトリの追加とインストールの実行

RutteR のページで、登録する APT ラインを確認します。

[続きを読む]

今回は 12.04LTS なので、以下の2行です。

deb http://ppa.launchpad.net/marutter/rrutter/ubuntu precise main 
deb-src http://ppa.launchpad.net/marutter/rrutter/ubuntu precise main

以降、Mercurial のインストールと同様の手順で APT ラインの追加およびインストールを実行します。

synapticの「セクション」表示の「GNU R言語」には今回 LaunchPad PPA で追加したパッケージは表示されないようなので、「由来」表示で操作するのが良いでしょう。

これで R3.0.1 および種々のパッケージがインストール出来ました。

*1 例えば Python から R を使うためのライブラリ rpy2 などもサポートしています。ちなみに CRAN の APT ラインがサポートしているパッケージは README で確認できます。

2013年9月22日日曜日

Mercurial:Ubuntu12.04LTSに最新のリリース版をインストールする

生活環境を MacBook から Ubuntu@ThinkPad に切り替えて半年ほど経ちます。Mercurial は、MacOSX では homebrew で最新版を追えていたのですが、Ubuntu 12.04LTS の標準のリポジトリは 2.0 系です。普段の使用では差し迫っての必要はない *1 のですが、活発な開発の恩恵を受けられないのはもったいないので、最新版を追ってみることにしました。

LaunchPad PPAからのインストール

Ubuntu で Mercurial の最新版を追う場合、LaunchPad PPA からのインストールと pip を使用する方法の二通り *2 がありますが、今回は LaunchPad PPA を選びました。*3

apt-get でのインストールは、基本的には /etc/apt/sources.list にリポジトリを追記すればよいのですが、今回は GUI のインターフェースである synaptic を使用します。

[続きを読む]

イントール済みパッケージの削除

バージョンの確認を兼ねて、インストールされている標準パッケージを削除しておきます。

LaunchPad PPA リポジトリの追加

"Mercurial PPA Packagers" team のリリース版ページで、登録する APT ラインを確認します。

今回は12.04LTS なので、以下の2行です。

deb http://ppa.launchpad.net/mercurial-ppa/releases/ubuntu precise main 
deb-src http://ppa.launchpad.net/mercurial-ppa/releases/ubuntu precise main

synaptic の [設定] - [リポジトリ] でソフトウェアソースのウインドウを開き、「他のソフトウェア」タブを選択します。

追加ボタンをクリックし、APT ラインを登録します。

sources.list を確認すると、確かに追加されています。

$ grep "mercurial" /etc/apt/sources.list
deb http://ppa.launchpad.net/mercurial-ppa/releases/ubuntu precise main
deb-src http://ppa.launchpad.net/mercurial-ppa/releases/ubuntu precise main
$

拡張機能を使用する場合の注意

LaunchPad PPA から Mercurial をインストールした場合、拡張機能の apt-get インストールに失敗することがあります。これは標準パッケージとの依存関係を解決できないためです。下記は hgsubversion をインストールしようとした場合のエラーメッセージです。

今回は LaunchPad PPA からインストールしましたが、必要な拡張機能が pip で提供されている場合、Mercurial も含めて全て pip でのインストールを検討した方が良さそうです。

*1 藤原克則氏による「妥当」な Mercurial バージョンの情報によると、2.0.x は『現状でそこそこ妥当な Mercurial の版』であるようです。

*2 もちろん過去エントリのようにソースからの make install も可能です。本気で最新版を追うのであればパッケージ化を待つよりソースからの方が早いですね。

*3 後述のように、Mercurial を LaunchPad PPA からインストールした場合、拡張機能の apt-get インストールに失敗する場合があります。

*4 これを書いている 2013/09/22 時点で既に 2.7.1 がリリースされていますが、LaunchPad PPA には反映されていません。mercurial-ja によると「月例のバグ修正版」とのことなので反映して欲しいところですが、障害修正は2件のみなので必ずしも必要でないかもしれません。

2012年4月29日日曜日

emacs/mewのキーバインド覚え書き

普段emacsのキーバインドは意識せずに使用していますが、ふとわからなくなった時に思い出すのに苦労するので、よく使用するものをまとめました。

emacsでよく使用するキーバインド

キーボードマクロ

キーボードマクロの定義開始: C-x (
キーボードマクロの定義終了: C-x )
キーボードマクロの実行: C-x e
(n)回の繰り返し実行: C-u (n) C-x e

[続きを読む]

インデント

領域をインデント: 領域を指定し、C-M-\ *1

文字コードを指定してファイルを開く

文字コードを指定して開く: C-x RET c 文字コードを入力 RET C-x C-f
文字コードを指定して開き直す: C-x RET c 文字コードを入力 RET C-x C-v RET

分割ウィンドウの幅を変更

縦幅を拡げる: C-x ^
縦幅を縮める: M-x shrink-window [return]
横幅を拡げる: C-x }
横幅を縮める: C-x {
各ウィンドウを均等にする: C-x +

mewでよく使用するキーバインド

マルチパートの編集

編集領域と添付領域の移動: C-M-n
添付ファイルの削除: 該当のパートで d
マルチパートの破棄: マルチパート編集領域のパート番号で d

pgp公開鍵の送付／登録

メールにpgp公開鍵を添付する: マルチパートを作成し、挿入するパートにカーソルを合わせて p
メール添付で受け取った公開鍵の登録：自動認識された場合: C-c C-e → 登録後、gpgコマンドで署名する
メール添付で受け取った公開鍵の登録：自動認識されなかった場合: C-u C-c C-e で Application/Pgp-Keys

メールをpgpで暗号化する

メールに署名: C-c C-s (メールは +queue に移動します)
メールの暗号化: C-c C-e (メールは +queue に移動します)
メールに署名して暗号化: C-c C-s (メールは +queue に移動します)
パートに署名: 署名するパートにカーソルを合わせて S
パートの暗号化: 暗号化するパートにカーソルを合わせて E

サマリ操作

不要になったディレクトリの削除: ディレクトリを消して，Summary バッファで C-u Z
サマリのソート(6.x以降): M-x mew-summary-sort
サマリのパック(6.x以降): C-u O

その他

文字化けメールに文字セットを再解釈: C-c C-l 文字セット指定 RET
保存したドラフトの再編集: 再編集したいメールを選択して E

*1 通常 Meta は "Esc" キーに割り振られていますが、私は移動の少ない "C-[" を使用しています。その場合 "C-[ C-\" です。

登録: 投稿 (Atom)

高瀬ヒサヲの Signal & Power !

2019年4月15日月曜日

pythonの環境管理

2013年12月10日火曜日

2013年の #mercurialjp ツイートを解析する

まずは前処理から

単語の出現頻度を計測する

単語の共起関係を調査する

結論: ハッシュタグ #mercurialjp ツイートから見る2013年の考察

落穂拾いと謝辞と年末のごあいさつ

2013年9月23日月曜日

Ubuntu12.04LTSにR3.0.1をインストールする

LaunchPad PPA リポジトリの追加とインストールの実行

2013年9月22日日曜日

Mercurial:Ubuntu12.04LTSに最新のリリース版をインストールする

LaunchPad PPAからのインストール

イントール済みパッケージの削除

LaunchPad PPA リポジトリの追加

最新リリース版インストールの実行

拡張機能を使用する場合の注意

2012年4月29日日曜日

emacs/mewのキーバインド覚え書き

emacsでよく使用するキーバインド

キーボードマクロ

インデント

文字コードを指定してファイルを開く

分割ウィンドウの幅を変更

mewでよく使用するキーバインド

マルチパートの編集

pgp公開鍵の送付／登録

メールをpgpで暗号化する

サマリ操作

その他

アーカイブ

著者について

ラベル