読者です 読者をやめる 読者になる 読者になる

AzureSQLデータベースとSQLServer

2014ベースで似ているけど完全に同じではない。

  • サポートされない機能
    • SQLCLR
    • グローバル一時テーブル
    • Service Broker
    • 一部のシステムテーブルと動的管理ビュー
    • トレースフラグ
  • データベースの分離
    • データベースcontextをユーザデータベース間で切り替えできない
    • 分散クエリ使用不可
  • 運用タスク
    • データベース作成時:物理ストレージはすべて抽象化されストレージを個別指定などはできない。
    • セキュリティの構造:SQLServer認証とAD認証(2017/01より)のみWin認証は使えない
    • バックアップ:自動バックアップのみ。オンデマンドはできない。

Azureのストレージアカウントが見つからなくなったら。。。

Azureは絶賛進化中で全体のメニューも更新中です。
旧管理画面であるフルポータル(https://manage.windowsazure.com)から新ポータル(https://portal.azure.com)にどんどんと機能が移行していっておりほぼほぼ新ポータルで作業ができるようになっていますが、両者が混在しておりちょっとわかりにくい状態にあります。
VMも「Virtual Machines」と「仮想マシン(クラシック)」とわかれていたりしますが、一番混乱するのはストレージアカウントのところじゃないでしょうか。
このあたりはPowerShellのメソッドも変わっており、新ポータルで作られたストレージアカウントは旧PowerShellのコマンド「Get-AzureStorageAccoun」ではアクセスできません。1.7でついかされている「Get-AzureRMStorageAccount」をつかわないといけません。

1.4以前のAzurePowerShellを使っている場合は1.7以上に更新しましょう。
更新はWebPlatformInstallerでAzurePowerShellを追加するのが楽。

現在使っているAzurePowerShellのバージョンは「Get-Module」コマンドで確認できます。
ちなみにPowerShellのバージョンは「$PSVersionTable」コマンドで確認できます。

動かしてみるとこんな感じ

PS C:\Users\Administrator> Get-AzureStorageAccount | fl StorageAccountName
StorageAccountName : storagefromold

PS C:\Users\Administrator> Get-AzureRMStorageAccount | fl StorageAccountName
StorageAccountName : storagefromnew

どちらも対応したストレージアカウントしか拾えていませんね。これは嵌るポイントだなぁ。。。

ちなみにログインもコマンドが変わっています。

旧コマンド
 Add-AzureAccount
新コマンド
 Login-AzureRmAccount

いろんなメニューが新ポータルへ移行しており来年度中ぐらうにはフルポータルはすべて淘汰されるのかな、、
サービス変化の過渡期って感じですね。

Azureの負荷分散セットとAWSのELB

似たような機能でも思想が違うと色々違いが出るんだなと感じます。
何かを学ぶときにそれだけでを学ぶのではなく類似品をみることで特徴が掴めるのは何を学ぶにも大事ですね。

大きな考え方

AWSの考え方
ELBの下に仮想サーバを配置する。といったメニュー構成

₋Azureの考え方
仮想サーバに対して可用性セットを作って、さらにそのグループに負荷分散セットを作るといったメニューになっている。
可用性セットがあり、更新ドメイン、障害ドメイン、そして可用性セットがさらにそれを大きく包むという感じの構成になっているのだろう。
Bestプラクティスはあるけど好きに設定してくれというようなAWSの考えと、こうするべしというAzureの考えの差があるように感じる。

またTrafficManagerでリージョンマタギの負荷分散が可能。GCEにもあるけどこの機能は便利だなー。(TrafficManagerの実態がどこに存在するのかはわからなかった。)

ヘルスチェックURI

₋ELBの場合
ELBのヘルスチェックのコンフィギュレーションで「Ping Path」にヘルスチェックURIを設定

₋Azureの場合
画面からは設定も確認もできず、PowerShellで設定、確認する必要あり。

get-azurevm -ServiceName <リソースグループ名> -Name <VM名> | Get-AzureEndpoint 

と打って出てきた中の「ProbePath」がヘルスチェックURI。デフォルトは空白なのでおそらく「/」を見に来ている。

更新するときはSet-AzureEndpointコマンドで行う。以下Pageに詳細がある。
Add-AzureEndpoint
Windows Azure Virtual Machinesで、死活監視(ヘルスチェック)しながらロードバランシングする手順 - 蒼の王座

Azure研修1日目

cloudやるならマルチクラウドでしょということでAzureの研修にやってきました。
Azureは触るのもログインするのも初めて!わくわくです。

全体的な気づきとして、AWSに比べインフラやさん視点の設計になっている気がする。(AWSはアプリ開発者視点のものが多い気がする。)
すでにあるノウハウをCloudに移植していったのか、ネイティブなのかの違いなのかな。

面白かった点

  • 課金の考え方

Azure上のVMからシャットダウンしてもダメで管理コンソールからシャットダウンをしないと課金対象から外れない。
http://www.atmarkit.co.jp/ait/articles/1405/09/news093.html

Windows PowerShellとAzure PowerShellWindowsPowerShell ISEとかたくさんある。統一はよ!!
PowerShellのコマンド名わかりにくい。ドットネットのメソッド名っぽいのはわかるのだが、コマンド打つときにはなんか違和感。これはゲイツ様への信心がたらんのでしょう。

  • ActiveDirectory

Azure上のADはオンプレのADとはことなりSSOに特化したのも。オンプレのADのような機能でAzure上のマシンをコントロールできるとかではない。
なんだーーー。そうなのか。。

オープンソースのブロックチェーンHyperledger Fabricのv1.0をUbunts16.04にインストール

オープンソースのブロックチェーンHyperledger Fabricのv1.0αがリリースされていたのでインストールして触ってみる。
当初のリリーススケジュールどおりではありますが、3月にV1.0は無理じゃないかと思っていたら何とか出てきたので結構凄いですね。中の人たちお疲れ様です。

ちなみに以前のバージョン0.5以前の手順は以下
garapon.hatenablog.com

ちょっと前からですがVagrantが使われなくなったりと構築方法もだいぶ変わっていますね。
対象のマシンはProxy環境下にあるWindows上のVirtualBoxに構築されているまっさらなUbunts16.04でやってみます。

手順

Getting Setup — hyperledger-fabricdocs master documentation

本家サイトの上記手順に従ってやっていきます。

事前準備

Go - most recent version
Docker - v1.13 or higher
Docker Compose - v1.8 or higher
Node.js & npm - node v6.9.5 and npm v3.10.10
xcode - only required for OS X users
nvm

を入れなさいと書いてあるので順次入れていきましょう。
なにはともあれPorxyの設定

set http_proxy=http://proxy:port
set https_proxy=http://proxy:port

やれやれですね。

Golangのインストール

sudo apt-get -y install golang

DockerおよびDocker Composeのインストール

sudo apt-get -y install docker.io docker.compose
sudo usermod -aG docker gara

docker-composeの最新版

curl -L --proxy http://proxy:port "https://github.com/docker/compose/releases/download/1.8.1/docker-compose-$(uname -s)-$(uname -m)" > docker-compose
sudo mv docker-compose /usr/bin/
sudo chmod +x /usr/bin/docker-compose

なお、 curl は プロキシの設定が --proxy http://proxy:port なので気をつけましょう。

nvmのインストール(というかnodeを入れたいだけ)

途中でGitにプロキシを通すのを忘れずに

sudo apt-get -y install build-essential libssl-dev
git 
git config --global http.proxy  http://proxy:port
git config --global https.proxy  http://proxy:port
curl  -o- --proxy http://proxy:port https://raw.githubusercontent.com/creationix/nvm/v0.25.2/install.sh | bash

インストールが終わるとClose and reopen your terminal to start using nvmといわれるので再接続。
本来の手順的には

nvm install v6.9.5

でnodeをインストールするんだけど、うまくいかなかったのでnvmコマンドをつかうのはやめて、nコマンドを入れて

sudo n 6.9.5

でインストールしました。
nコマンドのインストールは以下参照
garapon.hatenablog.com

さて、これで事前準備が完了。
いつも思うけど、事前準備が一番めんどくさいよね。。。まあそんなもんか

作業ディレクトリの作成とサンプルのDL

mkdir hackfest
cd hackfest
curl -L https://raw.githubusercontent.com/hyperledger/fabric/master/examples/sfhackfest/sfhackfest.tar.gz -o sfhackfest.tar.gz 2> /dev/null;  tar -xvf sfhackfest.tar.gz

Dokcerの起動!!!

Dockerあげる前にこれまたproxy設定。
/etc/default/dockerに

export http_proxy="http://proxy.example.com:3128/"

的な感じでProxyを追加して

sudo service docker restart

これやってから

docker-compose -f docker-compose-gettingstarted.yml build
docker-compose -f docker-compose-gettingstarted.yml up -d

起動確認!

$ docker ps
CONTAINER ID        IMAGE                                                          COMMAND                  CREATED             STATUS              PORTS                                            NAMES
397d7b0a4376        sfhackfest22017/fabric-peer:x86_64-0.7.0-snapshot-c7b3fe0      "sh -c './channel_tes"   23 seconds ago      Up 22 seconds                                                        cli
8a3ed98c6d08        sfhackfest22017/fabric-peer:x86_64-0.7.0-snapshot-c7b3fe0      "peer node start --pe"   23 seconds ago      Up 22 seconds       0.0.0.0:8056->7051/tcp                           peer2
5f180d32588c        sfhackfest22017/fabric-peer:x86_64-0.7.0-snapshot-c7b3fe0      "peer node start --pe"   24 seconds ago      Up 23 seconds       0.0.0.0:8055->7051/tcp                           peer1
7b39214c0e7a        sfhackfest22017/fabric-peer:x86_64-0.7.0-snapshot-c7b3fe0      "peer node start --pe"   24 seconds ago      Up 23 seconds       0.0.0.0:8051->7051/tcp, 0.0.0.0:8053->7053/tcp   peer0
baeab3a755de        sfhackfest22017/fabric-orderer:x86_64-0.7.0-snapshot-c7b3fe0   "orderer"                28 seconds ago      Up 25 seconds       0.0.0.0:8050->7050/tcp                           orderer
2e7bf4172c7f        sfhackfest22017/fabric-ca:x86_64-0.7.0-snapshot-6294c57        "sh -c 'sleep 10; fab"   28 seconds ago      Up 26 seconds       0.0.0.0:8054->7054/tcp                           ca

6個動いてますね。

つないで確認して見る

$ docker exec -it cli bash
root@397d7b0a4376:/opt/gopath/src/github.com/hyperledger/fabric/peer# cat results.txt
SUCCESSFUL CHANNEL CREATION
SUCCESSFUL JOIN CHANNEL on PEER0
SUCCESSFUL JOIN CHANNEL on PEER1
SUCCESSFUL JOIN CHANNEL on PEER2

全部成功ですね。
ジェネシスBlockも出来ています。

これでインストールは終わり。
あとは本家手順に従ってサンプルを動かすも良し、以前のバージョンのChainCodeを動かすも良し。やり放題です。

おれおれ証明書でHTTPS

数年に1回思い出したくて思い出せないシリーズ

秘密鍵作成
cd /etc/httpd/conf
openssl genrsa -aes128 1024 > server.key

公開鍵作成
openssl req -new -key server.key > server.csr
CommonNameのところに証明したいアドレスを入力

証明書作成
openssl x509 -in server.csr -days 36500 -req -signkey server.key > server.crt

パスフレーズを消す
openssl rsa -in server.key > server.key

アパッチに設定
/etc/httpd/conf.d/ssl.conf
の
<VirtualHost _default_:443>
のなかに
  SSLCertificateFile /etc/httpd/conf/server.crt
  SSLCertificateKeyFile /etc/httpd/conf/server.key

非Pageプールのメモリリーク調査

いつでもリモート接続できるようにPCは24時間起動しているのですが、最近どうも非ページが増える。
日々仕事が終わるとログオフしているのですが、だんだんとメモリを圧迫するようになります。消費量を見ているとメモリリークしているような動き
圧迫するといってもメモリは16Gつんでいるので微々たる物なのですが、なんか気になるのでどのドライバが悪いか調べてみた。

環境構築

まず、非ページを調査するには通常のツールでは調査が出来ないので以下のWidowsKitをインストールしましょう。
https://developer.microsoft.com/en-us/windows/hardware/windows-driver-kit

そうすると「C:\Program Files (x86)\Windows Kits\8.1\Tools\x86」の下に「poolmon.exe」がインストールされます。
早速起動して「P」で非ページに切り替え、「B」をおしてバイトでソートして状態を見ます。
メモリリークの調査なので、スナップショットを取りながら時間経過に合わせて変化を見ていきます。

初期状態 (非ページ377K)

 Memory:16703856K Avail:10192424K  PageFlts: 45698   InRam Krnl:15512K P:1333648K
 Commit:7214488K Limit:33405852K Peak:7517640K            Pool N:386452K P:1340480K
 System pool information
 Tag  Type     Allocs            Frees            Diff   Bytes       Per Alloc

 Cont Nonp        299 (   0)         0 (   0)      299 119050528 (     0) 398162
 File Nonp   21722082 (2024)  21619437 (1973)   102645 34309552 ( 17136)    334
 Ntfx Nonp     159171 (  57)     58352 (   0)   100819 33510608 ( 20064)    332
 MmCa Nonp     311617 (  62)    217467 (  11)    94150 24031792 ( 13056)    255
 SASC Nonp     384095 (  65)    285364 (  21)    98731 22115744 (  9856)    224
 NDam Nonp   10178797 (  62)  10171261 (  62)     7536 21542208 (     0)   285
 FMsl Nonp     153875 (   0)     52316 (   0)   101559 19499328 (     0)    19
 SAds Nonp      93946 (   0)     23333 (   0)    70613 11298080 (     0)    16
 SAHC Nonp     573641 (   4)    513005 (   4)    60636 10671936 (     0)    17
 Pool Nonp         21 (   0)        15 (   0)        6 6481488 (     0) 108024
 MmSd Nonp      46292 (   0)      6783 (   0)    39509 5057152 (     0)    128
 IWA1 Nonp          2 (   0)         0 (   0)        2 4276224 (     0) 213811
 IPRT Nonp       9482 (   0)      6753 (   0)     2729 4230912 (     0)   1550
 FSro Nonp      63606 (   0)     14218 (   0)    49388 3951040 (     0)     80
 CcSc Nonp     414102 (   1)    407959 (   1)     6143 3243504 (     0)    528
 Even Nonp    3772437 (  23)   3747492 (  27)    24945 3203072 (  -512)    128

ある程度時間がたってから再度見る(非ページ 585K)

 Memory:16703856K Avail:11056936K  PageFlts: 16348   InRam Krnl:15276K P:1370544K
 Commit:5581508K Limit:33405852K Peak:7517640K            Pool N:599476K P:1386248K
 System pool information
 Tag  Type     Allocs            Frees            Diff   Bytes       Per Alloc

 NDam Nonp   36289071 (5044)  36197666 (5026)    91405 235410352 ( 54512)   2575
 File Nonp   98943505 ( 330)  98864305 ( 350)    79200 26339936 ( -6720)    332
 Ntfx Nonp     456363 (   3)    379195 (   0)    77168 25332768 (  1056)    328
 MmCa Nonp     972089 (   4)    900970 (   5)    71119 18144160 (  -256)    255
 SASC Nonp     946229 (   4)    870851 (   1)    75378 16884672 (   672)    224
 FMsl Nonp     455619 (   3)    378491 (   0)    77128 14808576 (   576)    192
 Pool Nonp         34 (   0)        28 (   0)        6 12772944 (     0) 2128824
 SAHC Nonp    2474859 (  36)   2438128 (  36)    36731 6464656 (     0)    176
 SAds Nonp     262415 (   3)    223364 (   0)    39051 6248160 (   480)    160
 NDCM Nonp   23741528 (  14)  23731739 (2186)     9789 4862656 (-340032)    496
 IWA1 Nonp          2 (   0)         0 (   0)        2 4276224 (     0) 2138112
 FSro Nonp     110027 (   0)     59384 (   0)    50643 4051440 (     0)     80
 ViMm Nonp    3437661 (   0)   3432804 (   0)     4857 2947104 (     0)    606
 MmCi Nonp       9156 (   0)      3507 (   0)     5649 2755296 (     0)    487
 Even Nonp   15897548 ( 163)  15876868 ( 156)    20680 2657088 (   896)    128
 CcSc Nonp    1687317 (   1)   1682468 (   6)     4849 2560272 ( -2640)    528
 Thre Nonp     225296 (   1)    223367 (   4)     1929 2494576 ( -3888)   1293
 Mm   Nonp     905203 (   0)    905193 (   0)       10 2021920 (     0) 202192
 VoSm Nonp       1530 (   0)      1498 (   0)       32 1908320 (     0)  59635
 IWBX Nonp          3 (   0)         0 (   0)        3 1852560 (     0) 617520

行見てみるとだんだんとNDamが増えており怪しい。

ドライバーの調査

タグがわかったらドライバを調査。
タグ名からドライバを探すには強引に「findstr」で文字列検索。力技でいきましょう。
ドライバがあるディレクトリに移動して

C:\>cd C:\Windows\System32\drivers
C:\Windows\System32\drivers>findstr /m /l NDam *.sys
ndis.sys

悪さしているっぽいドライバーが見つかったのでこいつについて調べてみる。
ndis.sysはNetwork Device Interface Specificationフィルタドライバのことで、つまりネットワーク関係のデバイスっぽい。

さらにドライバクエリで見てみる

driverquery /V
モジュール名 表示名                 説明                   ドライバーの  開始モード 状態       ステータス 停止の受理  一時停止の受 ページ プ  コード(バ  BSS(バ リンク日時             パス                                             Init(バイ
============ ====================== ====================== ============= ========== ========== ========== =========== ============ ========== ========== ====== ====================== ================================================ ==========
NDIS         NDIS System Driver     NDIS System Driver     Kernel        Boot       Running    OK         TRUE        FALSE        397,312    348,160    0      2015/10/13 12:30:31    C:\Windows\system32\drivers\ndis.sys             24,576

確かに起動時から読み込まれて今も動いている。

メーカーのHPからネットワーク系ドライバーを落として来てあててみても更新されないしな、、、、うむむむむ
まあ適宜再起動すればよいかな。