potpourris.net

以下のアプリの最新版が(やっと？)出たらしい。 Isabelle/HOL 2014 Haskell Platform 2014

きっかけ 最近そこそこ資金的余裕が出てきたので、ArduinoやRapberry Pi、mbed...らを買おうかと思い立った。 これらは『開発ボード』だとか『シングルボードコンピュータ』だとか呼ばれているのだけれど、 既に挙げたもの以外にも この英語版Wikipediaのページ にあるように、似たようなものがある。 そこで、どのようなものがあるか、どう違うのか、そもそも開発ボードではどんなことをするものなのか、 できるのか、やりたいのか、を調べたり考えたりしたので、まとめる。 はじめに: マイコン vs フルスペックコンピュータ 調べ始めて知ったのだけれど、世にたくさんある、そして似たようにみえる開発ボードは、大きく分けて2つにわかれる。 マイコン フルスペックコンピュータ 前者はArduinoなんかが有名で、後者はRaspberry Piが有名だ。 でも、こいつらはどう違うんだろう？ 後者のほうが簡単だ: Linux。それだけ。 Rapberry Pi は、性能は低いがれっきとした「コンピュータ」だ。 こいつはそこそこリッチなCPUとそこそこリッチなメモリを積み、その上にLinux が動いている。 Linuxが動いてるから、「なんでも」できる。もちろんなんでもといっても性能上の制約はあるけど、ふつうのソフトウェア(たとえばC, C++ はもちろん、Python, Ruby, PHP, ...)がなんでも動く。 SSHでログインすることもできるし、ふつうのデバイスをつかうことだってできる。例えば、USB無線LANアダプタなど。 いっぽう、前者はちょっと厄介だ。 マイコンは、マイクロコントローラの略で、 こいつみたいな感じの 小さな制御用のチップだ。 単なる制御用コントローラでしかないから、いわゆる「ふつうのコンピュータ」に求めることができるわけじゃない。 Arduinoは、Atmel AVRのマイコンをのせている。 自分のコンピュータのうえで、付属の開発環境(Arduino SDK)でC"っぽい"言語でプログラムを書き、コンピュータからUSBを通じてArduinoにプログラムを書き込むと、そいつが動く。 確かに、色々なことができる。でも、OSが動いてるわけじゃない

NTFS-3G マウントオプションで涙がでるほど書き込み速度がかわる。 結論からいうと、 big_writes を使え。asyncはたしか付けなくても(デフォルトでつくので)良かったはず。noatimeも早くなる。（アクセス時間の記録がつなかくなる。） mount.ntfs /dev/sdXN /mount_point -o big_writes,async,noatime これで書き込み速度が20〜30MB/s → 50〜70MB/sになった。これは……… fdisk / parted パティションテーブルまわりを操作するには fdisk を使えと書いてあるところが多いが、 知っての通りパティションテーブルはDOS時代から用いられてきたMBR(Master Boot Record)と、 より現代的なGPT(GUID Partition Table)がある。 fdiskは後者に対応していないので、そういうときはpartedを使おう。 fdisk -l のかわりは parted -l ・ただしアラインメントは見てくれない。 アラインメントができているかを見たい場合、以下。 parted /dev/sdX align-check min 1 min は optでもよい。1はパティション番号。

記事が消えた 書きかけの記事が飛んだのであまりやる気が無い。 以下は、新たに復旧させた内容。 ESXi 自分用の計算・実験・データサーバを、仮想環境に移行することにした。 仮想環境には、 Type-1: マシン上で直接仮想化ソフトウェアを動かすやつ Type-2: マシン上でふつうのOS(Linux, Mac, Windows…)を動かし、その上で仮想化ソフトウェアを動かすやつ の2種類がある。 Type-1については、bare-metal virtualizationとか呼ばれてる。 今回導入したのは、Type-1 に該当する、VMware ESXi。 以下、メモ。 やっぱりユーザランドで動作するVirtual Boxよりずっと快適。 準仮想化対応。ディスク/NICまわりのioが快適な気がする。 デバイスのホストパススルーは、CPUとマザーボードがVT-dに対応していなければならない。 とても期待していたのだけれど、古いマザーボードなうえAMDだったのでパス。 そろそろ長いこと使ってるし買い替えかな……… ハードディスクのコピー サーバの以降に関連し、ハードディスクのコピー作業が発生したのでメモ。 ふつう、LinuxやMacなどでディスク(まるごと)をコピーするとしたら dd コマンドを使うものだけれど、 再開ができない 進行状況が出ない と不便。（本当、どちらもできるのだけれど、一手間要るので、めんどう。もっと簡単にやりたい。） 探したところ、 ddrescue  (GNU ddrescue) というコマンドが便利だった。 進行状況が出る 再開ができる 未確認だが、コピーするサイズ単位（ブロックサイズ）を適当に調節してくれるらしく、速い？ コピー時は、入力、出力、ログファイルを指定する。 sudo ddrescue /dev/sdb1 sdb1.img sdb1.log 進行状況は、こんな感じで出る。 GNU ddrescue 1.17 Press Ctrl-C to interrupt Initial status (read from logfile) rescued: 330498 kB, errsize:

ZFSというファイルシステムがある。 元々Sun時代にSolarisに載せるためのファイルシステムとして開発されていて、 柔軟にボリュームが切れる 固定サイズにも可変サイズにもできる ボリュームごとに好きなだけ簡単にスナップショットがとれる Copy-on-writeだから軽量 専用のスナップショット出力吐きコマンドがある たとえばSSH経由で（差分のみの）コピーも…！ 重複排除、暗号化が使える（後のバージョン） さらに、ボリュームマネージャも含んでいる ミラーリング、ストライピング、RAID(RAID-Z)などがコマンド一発で（！）できる 特殊なハードウェア不要 という、非常に先進的なファイルシステム（＋論理ボリュームマネージャ）。 多くの人がSolaris以外でも使いたい！と思ったようで、様々にポートがされているのだけれど、以前と大きく状況が変わっているようなのでまとめる。 そのまえに：ZFSのバージョン ZFS自体は今も活発に開発されており、機能追加がされている。そのため、ZFSにはバージョンがある(！)。 (他のファイルシステムはないよね。EXT2, EXT3, EXT4は別物のようなものだし。) 既に述べたとおり、ZFSは、論理ボリュームマネージャとファイルシステムの両方を含んでおり、 ZFS Pool (zpool) -- 論理ボリュームマネージャ ZFS Filesystem (zfs) -- ファイルシステム のそれぞれにバージョンがついている。 英語版ウィキペディアの記載 を見るとはやいのだけれど、 ZFS Pool のバージョンが重要で、 5 -- 圧縮に対応 21 -- 重複排除に対応 28 -- Multiple virtual device replacements (？） 30 -- 暗号化に対応 ここらへんが、外から見た機能面で重要なところか。 各OSへのポート状況 List of operating systems supporting ZFS ZFS-FUSE 一番昔からあるやつ。 ライセンス上の都合でLinuxのカーネルに取り込めなかったので、FUSEとして開発。 (FUSEなので)動作が遅い。あと、古いzpoo

新しい Eclipse (4.4) を導入しようとしたら、Apple版の Java (Java 6) では対応してない、最新版の Java 7 ないし(8)を入れろと言われたのだけれど、ハマったのでメモ。 下準備 Apple のアプリのインストーラで入れたパッケージは、 pkgutil --pkgs  で一覧できる。 ~ % pkgutil --pkgs | grep Java com.apple.pkg.JavaEssentials com.apple.pkg.JavaForMacOSX107 com.apple.pkg.JavaMDNS com.apple.pkg.JavaSecurity com.apple.pkg.JavaTools また、全てのインストール履歴は  /Library/Receipts/InstallHistory.plist  に残されている。 ~ % less /Library/Receipts/InstallHistory.plist みると、 com.apple.pkg.JavaTools com.apple.pkg.JavaEssentials はOS Xのインストール時に入れたものらしいので、消さないほうが良いっぽい。 いくつかのサイトをみてみると、 com.apple.pkg.JavaForMacOSX107 こいつだけ消せと言ってくる。 ここまでは下準備かな。 Apple版 Java おそらくではあるが、いくつかのアプリはApple版のJavaを前提にしているっぽく、 ダブルクリックするだけでも「Apple版のJavaをインストールしてください」とか言ってくるので、 Apple版Javaは入れといたほうがいいと思う。 これは、 http://support.apple.com/kb/DL1572 ここからダウンロードできる。 Oracle版 Java (公式) ねんのためいうと、Oracle (旧SUN) は Java の開発元です。 今までは、AppleでJavaを使うには、Appleによる改造版Javaを使うしかなかったけど、 現在ではOracleによる

昨日の投稿にもう少し追記をすると、 Moin Moin は、Pythonで書かれていて、自分でプラグインを使って拡張できる設計になっている。 おそらく最もよく使うであろうPluginの形式は、 action macro の二種類ある。 macro macro は、ページ内で(インラインで)実行されるもので、よく使っているものだと 強制改行 コードハイライト 引用ブロック Admotinion などがある。 インスタンスディレクトリ( data )を基準に、 moin/data/plugin/macro にそれぞれ放り込む。 APIは、マクロ名を MyTestMacro とすると、 MyTestMacro.py というファイルに、 def macro_MyTestMacro(macro, 自分の引数) という関数を用意する。 action action はページから(ページ外で)実行されるもので、よく使っているものだと ページの削除 ページ名の変更 スライドショー なんかがある。 そして、全ページから実行可能になる。 インスタンスディレクトリ( data )を基準に、 moin/data/plugin/action にそれぞれ放り込む。 APIは、アクション名を MyTestAction とすると、 MyTestAction.py というファイルに、 def execute(pagename, request) という関数を用意する。 YouTube の Live streaming の保存 知り合いがイベントを You Tube でライブ配信しているのだけれど、これを保存するにはどうすればいいかと調べてみたら、 フツーにVLCで保存できることを知った。 やりかたはとても簡単で、 メニューから『詳細設定でファイルを開く』 『ネットワーク』タブを開き、URLにYoutubeのストリーミングのURLを入力する(httpsはhttpに直す) 『ストリーミング/保存』にチェックをいれ、『設定』で保存ファイル名を指定。 『ストリーム出力の表示』にチェックをいれると、見ながら保存できる と、これだけ。

Apache on Mac userdir 今まで実験用のhttpdはLinuxサーバに設置していたが、開発環境としては不便だったので、 手元のMacに作ることにした。 まず、Apache(httpd)の自動起動を有効にする。 sudo launchctl load -w /System/Library/LaunchDaemons/org.apache.httpd.plist 安全のため、Apacheのlistenアドレスを変更し、ローカルからのアクセスのみを許可するようにする。 /etc/apache2/httpd.conf  を編集する。 Listen 127.0.0.1:80 Userdirを有効にする。 デフォルトで有効になっているが、アクセス権の設定が正しくなされていないので、設定する。 /etc/apache2/users/userdir.conf  を以下のとおり新規作成する。 <Directory "/Users/*/Sites/"> AllowOverride All Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec ExecCGI AddHandler cgi-script .cgi <Limit GET POST OPTIONS PROPFIND> Order allow,deny Allow from all </Limit> <LimitExcept GET POST OPTIONS PROPFIND> Order deny,allow Deny from all </LimitExcept> </Directory> Apacheの設定を適用するため、再起動する。(reloadでもよいのだが) sudo apachectl restart これで、 ~/Sites/  に設置したファイルは、 http://localhost/~USERNAME/  でアクセスできるようになる。 Moin htt

執筆計画 articles まだ執筆していないページは以下のとおり。 docs/Linux/Disks/ZFS docs/Linux/Disks/DiskEncryption docs/Python/Python on Linux docs/Python/Python on Windows docs/Python/IPython/notebook docs/Python/scikit-learn docs/Python/interact with web docs/Python/PyPy TeXの簡単なつかいかた (ページ名未定) docs/Writing/Vim docs/PGP/What is PGP  (図がなくてわかりにくいから、加筆修正) docs/PGP/PGP on Windows docs/Moin/disigning howtos Mac の便利なGUIアプリの紹介 codes codes/Skype log converter 汚いから書き直したい。 OpenCV for Mac やめるか続けるか決める。今は古いバージョンを放置してる。 執筆計画 (追記) 2014-07-16 追記。 Windows でのSSH/SCP環境 Windows でのX11環境 sshまわり (ssh_config, 公開鍵認証, RSA/ECDSA, X転送, ポート転送, ssh-agent, ssh-agent(mac(incl. 切り方))) VPN Softether OpenVPN Tunnelbrick miniaudicle Markdown Mou Mendeley TeXとの連携方法(bibtex) Wireshark 動画変換 ffmpeg IPython Notebook のバックエンドとして AA動画への変換 Isabelle/HOL Mac の便利なGUIアプリの紹介 AppCleaner InsomniaX Flux Remote Mouse Synergy App Language Chooser Mac Informer

Career-grade NAT(CGN)、クリーンな透過性とend-to-end原則を破壊する悪の技術だと思っている。 しかも最近、「NATはパケット交換ネットワークを回線交換ネットワーク的にするものた」という表現を知り、なるほどいい表現だと思うと同時に、ますます先の気持ちが深まった。 ただ、 Web Standards Killed the HTML Star – JeffCroft.com こういう話もある。 要約すると、「Webの標準化が進み、綺麗になったことで、Webのguru(スターなWeb技術者)は食い扶持を失った。」 「昔のWebは、ブラウザも規格もクソだったが、だからこそguruなの出る幕があった。」 「綺麗な技術になってしまうと、それを、扱える能力はコモディティになってしまう」 こんな話だったと思う。(割と前に読んだので忘れかけ) この話は重い。 IPv6は、少なくともエンドツーエンド原則は復活してくれそうだという点では美しい。(6/4まわりの移行技術など怪しいところもある気がするが) でも、美しい技術では、食えなくなってしまう。 逆に、計らずともThe Internetの飛躍的な発展により、IPv4はNATというクソの山のような技術を生み出してしまったのだけれど、 そのおかげで、(今やコンシューマでは食えないであろう)ベンダがCGNで毎年しのぎを削りつつ、食えている。 つらい話だ。 これだけクソと言っておいてなんだけど、 インターネットは「TCP(UDP)/IPのみでなりたち、 関連する通信にはコネクションを一本だけ張る(反例: FTP)」ものだと考えれば、 NATはエレガントな技術だとも言えると思う。 もっとも、このThe InternetをTCP/IPのみだと言うこともまた、大きな悪なのだけれど。 The InternetはIPであって、TCPまで含めてはいけない。

ウィキ IPv6 ウィキの設定を変えた。イースターエッグのつもりなので詳しくは書かないけど、IPv6経由でアクセスすると、ちょっといいことがあるかも。(ほぼ言ってる) Mac Mac の if名変更 Macのネットワークインターフェイスの追加・削除やプロファイル変更は、『システム環境設定』の『ネットワーク』から行える。 ところが、実は落とし穴があって、ここからネットワークインターフェイスを削除しても、 ifconfig で表示されるネットワークインタフェイスのリストからは消えない。 なぜかと思い調べてみてわかったのだが、どうやら Mac では、 デバイスがはじめて追加されると、適当なif名(e.g. en1)がアサインされる どのネットワークプロファイルにおいても、同じインタフェイスは同じif名が維持される 例: Air Macに  en0  が割り当てられれば、どのネットワークプロファイルに切り替えても en3 例: Thunderbolt ethernet に  en3  が割り当てられれば、どのネットワークプロファイルに切り替えても en3 システム環境設定からデバイスを削除しても、 実際は削除されない らしい。 マッピングは /Library/Preferences/SystemConfiguration/NetworkInterfaces.plist というファイルで管理されているらしく、これを編集するにはどうすればよいかと「Network Interfaces.plist」で検索してみたら、 OS X Lion：Mac App Store からワイヤレスで OS X Lion をダウンロードできない - 「お使いのデバイスまたはコンピュータを検証できませんでした」 「Network Interfaces.plist」ファイルをデスクトップにコピーします (念のためのバックアップの作成です)。 「Network Interfaces.plist」ファイルをSystem Configuration から削除します。 フツーに削除して良いらしい。 ということで、インターフェイスを全て消した上で、ファイルをsudoで削除し、再起動。 リセット

文章を書く このウィキを設置してからというもの、また以前のように長文を書くことが増えたと思う。 手でちまちまウェブサイトを記述するのが面倒で、外部ブログは不便で、ホスティングウィキは自由度が低いもの、手頃でないものしかなく、 かといってウィキを時前で設置するのは…と思っていたが、いやいや、インストールして本当によかった。 ウィキ ウィキのテーマ このウィキのテーマは、自分で作った。元々は学部時代に所属していた研究室のために、自分で作ったものだが、 その研究室はCMSを使うのをやめて、手動でHTMLを更新するようなやりかた（？）に移行してしまったようで（そのほうが確かに自由度は高い）、 潰してしまったので、いくらか改変を加えた上で、自分で使うことにした。 適当にブラッシュアップが公開したいと思う。 コンテンツの記述 テーマにもよるだろうが、このテーマでは、ページ名が上に大きく(一番大きい見出しと同じ大きさで)表示されるようになっている。 そこで、ページ名はそこにまかせて、headingを、各セクションに対応させるという運用をとっている。 こうすると、H1がセクションごとに生成されるので、HTMLレベルのセマンティクス的には良いのかがわからないが、 Table Of Contentsでも綺麗に表示されるのでいいかなと思っている。 ところで、ドキュメント類については、意外と記述してみるとセクション番号が入っていないと読みにくく、 どうしようかと悩んでいたが（=CSSで強制的に入れられなくはないが、全ページにはセクション番号は要らない。特に、トップページ。)、 以下の解決法を知った。 #pragma section-numbers on 便利。 ブログ けっきょく、編集性がよく、慣れているのもあって、ここでブログを書いている。 ただ、あくまでウィキなので、ブログを書くには向いていないのも事実だ。 実際、 週次・月次・年次の一覧機能 ブログらしいRSSの出力 など、かなりクリティカルな機能を、今のところ適当に済ませてしまっている。 RSSについては、適当にウィキのデータを参照して、ブログ部分だけRSSを吐いてくれるコードを書くべきだろう。

個人的には、Linux ディストリビューションネイティブの、(バイナリがある、網羅的である、活発である、などの)well-managedと言って良いパッケージマネージャならともかく、 若干そうではない(ある程度網羅的で活発ではあるが、バイナリが網羅的でない)Homebrewで重たいパッケージを入れたくはないという気持ちがあった。 そこで、今までは 公式パッケージ を用いていたのだけれど、  2.7.7 が出たかと思ったら、一ヶ月ぐらいでもう 2.7.8 が出たのにめんどくささを感じたのと、 OpenCV含め、他の「重たい」ライブラリとの組み合わせ管理を楽にしたいという思いから、HomebrewでPythonをインストールすることにした。 結論からいうと、良さそう。 OSノンネイティブのパッケージマネージャでheavyなソフトのインストールというと、Macports時代の印象からか、 OSにあるものと同じだがバージョンが違うライブラリのようなものをモリモリインストールされ、 さらにそれらが全てソースからコンパイルするから死ぬような目に遭う、みたな印象があったのだけれど、 $ brew deps python gdbm makedepend openssl pkg-config readline sqlite これだけしかないし、 brew info python python: stable 2.7.8 (bottled), HEAD http://www.python.org /usr/local/Cellar/python/2.7.8 (4654 files, 74M) * Poured from bottle バイナリからインストールできる(bottle)。 おまけに、pipまでまとめてインストールしてくれるから、とても気が利いている。 さらに、Homebrewには Python用のtap も用意されていて、 これを使うと、Apple Accelerate Framework (Intel MKLのApple版みたいなイメージ？)を使ってコンパイルできるらしい。 以下が、単純なスピードテストを実行した結果。 import timeit, numpy, scipy t = timeit.Timer("n

Wiki wikiのテーマ wikiのテーマを書き換えた。 見た目はほとんど変化がないが、内部的に、いくつかのUIエレメントについて、 footerで出力していたものをheaderに出力するように書き換えた。 こうすることで、ずっとコードの見通しが良くなった。 他にも、いくらかの不要な記述の削除などを行った。 wikiのバグ まさかのバグ踏み。 RSSの出力が壊れていたようで、なにかと思ったら http://moinmo.in/MoinMoinBugs/rss_rc_Python_2.7.5_compatibility http://hg.moinmo.in/moin/1.9/rev/aee4ff651134 こういうことらしい。 なので、指示に従ってマニュアル修正した。 Moin Moin 2.0では全体的に大きくコードが書き直されているとのことで、楽しみだ。 とはいえ、RSSの出力もあくまでWikiのそれだから、ブログについてはもっと考える必要があると思う。 さて。 VPN VPN 研究室でVPNを構築した。 目的は２つある。 一つ目は、(研究室)外部から内部のリソースや、内部からならアクセスできるリソース（大学が定額で契約している論文など）へアクセスさせること。 ２つ目は、(研究室)内部から外部のリソースを使うこと。 具体的には、リモートの研究設備にあるファイルサーバを、ローカルで見られるようにすること。 今まではracoon や openvpn, pptpと格闘するところだったが、softetherが設定が楽なだけではなく、 実装も高速らしいという話を聞いて（失念。といってもsoftetherの公式発表だった気がするから、鵜呑みにはできない。）、 実際に自宅でも導入し、思ったより手軽かつそこそこ高速なので、softetherを導入することにした。 VPNサーバ自体は、上目的外にも利用が拡大されることが考えられたので、L2, L3の両方の接続を受け付けるようにセットアップした。 とはいえ、はじめはL2は重いのではないのかと疑っていて、どちらの目的に対してもL3のVPNを利用をしていたのだけれど、 自動発見系の機能が動作しないことが不便だった（たと

TSUBAME で科学計算向けの python 環境を構築するプラクティスをまとめてみました． どこにインストールするか 人や文化圏によってさまざまなディレクトリ名が用いられていますが， ~/.local が良いでしょう．Pythonはデフォルトでこちらを用いるほか，Ubuntu向けのグラフィカルなソフトウェアがこちらを用いることもあり，新しい標準になっているようです． ネットワーク TSUBAMEのノード群からは外部の通信が禁止されていますが， Python ./configure --prefix=~/.local --enable-shared 性能の問題あり．PICだから遅い． --enable-thred はデフォルトで入ってるようだから入れなくてもいい make -j48 50秒ほどでコンパイルがおわりる ライブラリ python はインストールしたpythonにPATHが通ってると仮定 まずはsetuptools, pipをいれる. https://pypi.python.org/pypi/setuptools/1.1.6  tarball を展開したあと， python setup.py install --user --user で~/.local にインストールされます． そのあと easy_install pip pip 経由でインストールするとパッケージとして管理されるので良い． Python ライブラリなど Numpy, Scipy TSUBAMEにはIntel MKL(数値演算ライブラリ)が入っているので，これを使いましょう．これがあるとないで，性能が圧倒的に違います． 例えばscikit-learnなんかはテストが自動並列化される． wget, cd cd numpy-1.7.1 ここで cp site.cfg.example site.cfg 最終行に追加 [mkl] library_dirs = /usr/apps/isv/intel/2013.0.079/composer_xe_2013.0.079/mkl/lib/intel64 include_dirs = /usr/apps/isv/intel/2