Continuity Camera AS

Xcode上でCocoa AppleScriptアプリケーションを作成し、macOS 10.14から搭載された「Continuity Camera」の機能を利用して、iOSデバイス上で撮影した写真をその場でMacに転送・保存してみました。

Continuity Cameraをサポートする部分のObjective-CのコードはThomas Zoechling氏のBlog上のものを利用させていただいております。

本当は通常のスクリプトでdisplay dialog的なダイアログを表示して、その上に作成したNSImageViewでContinuity Cameraを呼び出せるとよかったのですが、なかなかそこまで噛み砕いて解釈できなかったので、Xcode上のアプリそのままです。

Continuity CameraのプロジェクトをXcode上でビルド＆実行すると、なにもないっぽいWindowが表示されますが、下地にNSImageViewを敷いてあるような気がします。このウィンドウの真ん中の方でControl-クリックあるいはマウスの右ボタンをクリックすると、コンテクストメニューが表示され、そこでカメラから画像取り込みを行うデバイスを選択し、それらの周辺デバイスで撮影した写真をそのまま取り込めます。

Continuity Camera機能は、同じiCloud IDで関連づけたiOSデバイスのカメラを無線LANのネットワークごしにMacから利用するものと理解しています（Bluetoothもオンにする必要があるかもしれない）。

ウィンドウ上の「Save Image」ボタンをクリックすると、その内容をデスクトップにPNG画像で保存します。

AppleScriptアプリケーションでもContinuity Cameraを利用できることがわかったので、このプログラムにAppleScript用語辞書（sdef）をつけてScriptableなアプリケーションに仕立て上げれば、通常のAppleScriptからcapture cameraといったコマンドで取り込めてよいのではないでしょうか。

コンテクストメニューの先にある機能に直接アクセスするためには、もう少し調べる必要がありそうではあります。

AppleScript名：AppDelegate.applescript

—
— AppDelegate.applescript
— continityCameraAS
—
— Created by Takaaki Naganoya on 2019/10/21.
— Copyright © 2019 Takaaki Naganoya. All rights reserved.
—

script AppDelegate
　　property parent : class "NSObject"
　　
　　— IBOutlets
　　property theWindow : missing value
　　property theImageV : missing value
　　
　　on applicationWillFinishLaunching:aNotification
　　　　— Insert code here to initialize your application before any files are opened
　　end applicationWillFinishLaunching:
　　
　　
　　on applicationShouldTerminate:sender
　　　　— Insert code here to do any housekeeping before your application quits
　　　　return current application’s NSTerminateNow
　　end applicationShouldTerminate:
　　
　　
　　on clicked:aSender
　　　　set imgRes to theImageV’s image()
　　　　set dtPath to POSIX path of (path to desktop)
　　　　log {"dtPath", dtPath}
　　　　set fRes to retUUIDfilePath(dtPath, "png") of me
　　　　log {"fRes", fRes}
　　　　set sRes to saveNSImageAtPathAsPNG(imgRes, fRes) of me
　　end clicked:
　　
　　
　　–NSImageを指定パスにPNG形式で保存
　　on saveNSImageAtPathAsPNG(anImage, outPath)
　　　　set imageRep to anImage’s TIFFRepresentation()
　　　　set aRawimg to current application’s NSBitmapImageRep’s imageRepWithData:imageRep
　　　　set pathString to current application’s NSString’s stringWithString:outPath
　　　　set newPath to pathString’s stringByExpandingTildeInPath()
　　　　set myNewImageData to (aRawimg’s representationUsingType:(current application’s NSPNGFileType) |properties|:(missing value))
　　　　set aRes to (myNewImageData’s writeToFile:newPath atomically:true) as boolean
　　　　return aRes –true/false
　　end saveNSImageAtPathAsPNG
　　
　　
　　on retUUIDfilePath(aPath, aEXT)
　　　　set aUUIDstr to (current application’s NSUUID’s UUID()’s UUIDString()) as string
　　　　set aPath to ((current application’s NSString’s stringWithString:aPath)’s stringByAppendingPathComponent:aUUIDstr)’s stringByAppendingPathExtension:aEXT
　　　　return aPath
　　end retUUIDfilePath
　　
end script

★Click Here to Open This Script　

Double PDF v2.0完成に近づく

Posted on 11月 29 by Takaaki Naganoya

Mac App Storeで販売したはいいものの、途中（macOS 10.13）でド派手なバグをOS（PDFView）に作られ、AppleのDevelopper Supportに正式に連絡してもなしのつぶてでそのままMac App Storeに置かれている「Double PDF」。さすがに現状のままだとまずすぎるので、macOS 10.14/10.15上で動作するように改修作業を行なっている今日このごろ（macOS 10.13.xでは、動くことは動くんですがOS自体の未修正バグが多すぎて動作保証いたしかねます）。

＃　OSをアップデートすると機能が落ちるとは何事だろう？

PDFViewのド派手なバグ（currentPageを取得できない）を回避するために、自前でAppleScriptでいろいろ回避コードを走らせているので、ページめくりのスピードが落ちています（個人的にこれのために作ったので、テンションが落ちるところです）。

初版では画像処理にGPUImage.frameworkを同梱して利用していましたが、GPUImage1だとOpenGL経由でGPUの機能にアクセスしており、OpenGL自体が最新のmacOS 10.15では非推奨となっており、Mac App Storeでリジェクトされる危険性があります（より新しい代替APIであるMetalを使わないと因縁を付けられる気が、、、）。

そこで、GPUImageに依存しているコードをすべて書き換え、GPUImageを完全に取り外しました。これには、よくよく調べたら、PDFの各ページをグレースケール画像に変換する箇所でしか利用していなかったことが大きいです。これで、名実ともに「すべてAppleScriptで記述したアプリケーション」に。

GPUImageの除去は使い勝手には一切影響しません。若干の前向きな機能追加も行なっておきましょう。

これまでに意見として寄せられていないものの、どうもグレースケール画像で比較を行うことに不満を持っていたユーザーが一定数いるものとにらんでいたので、カラーのまま比較する機能を追加しました。

正直なところ、「カラー比較モード」は個人的には不要と思っている（文字主体の書籍の校正用に作った）のですが、念のためです。

Double PDFはデータ上のささいな違いを「見逃す」ように作ってあります。これは、Adobe AcrobatのPDF比較機能が、見た目には影響を及ぼさないデータ上の些細な違いばかりピックアップして実用性がまったくないことから思いついたものです。見た目に影響のない差異を見逃して、見た目や文字で差が発生している箇所を指摘するツールという味付けになっています。

画像サイズを小さくした上でグレースケール化して比較するのはそのための重要な機能です。ただ、間違って色が変わったことを検出したいような用途もあることでしょう。

あとは、PDFからテキスト抽出をしたときに、PDF書き出し時の環境（OSバージョン）によってはNo Width Spaceが検出されるものがあるため、No Width Spaceの削除機能を追加しました。

細かい箇所でまだ不具合点（右側のビューワーのノンブルが表示されないことがある）がありますが、とりあえず出してみてもよさそうな気配はしています。

地味なところで画像素材をDark Mode対応させました。Credits.rtfのダークモード対応など、地味に工数が増えるのは勘弁してほしいです。あとは、外部アプリケーション操作要求を行うためのInfo.plistのエントリ追加などもあります。これを追加しないと外部アプリケーションへの操作要求のダイアログ自体が出ない＝一切操作できないので要注意点です。

ほかにも、現行のXcodeでCocoa AppleScriptアプリケーションのプロジェクトを作ると、デフォルトではソースコード開示状態のビルドセッティングになってしまうので、これも要チェック点でしょう。まさかと思ってこの設定を再確認してみたら、execute onlyになっていませんでした。怖すぎ、、、

Appleがいまだに直さないPDFViewのバグを回避する

Posted on 4月 10 by Takaaki Naganoya

PDFViewからcurrentPage()が取れないという、最低最悪レベルのバグが放置されたOSがリリースされ続けて２年。Devlopper Supportに報告しても返事の１つもない今日このごろです。

この、macOS 10.13のBetaでは存在しなかったのにRelease版で作られた画期的なバグを回避するために、いろいろ工夫をしてみました。

テストしてみたところ、Objective-CやSwiftでは発生していないため、Scripting Bridgeのみで発生しているらしきバグのようです。こんな基本的な箇所でバグを作って直さない連中の気が知れません。

AppleのDevelopper Supportが役立たずで仕事をしないのは今日にはじまった話ではないので（Mailing Listが落ちた状態で、報告しても１か月放置した事件など）、仕方なく回避策を検討してみました。

（１）PDFViewまわりのWrapping ClassをObjective-Cで書いて使う
（２）Objective-Cでユーティリティを書いて、パラメータとして与えたPDFViewからObjective-CでcurrentPageを取得する
（３）今後もAppleがバグを作り続けることが予想されるため、サードパーティのPSPDFKitを導入する

といった対策を検討していたのですが、最も手短なものとして、

（４）表示中のページを自前で管理して、PDFViewに指定ページの内容を随時切り出して表示する

という対処を行ってみました。

PDFをオープンしてPDFViewで表示させ、左右の矢印キーでページをめくることができます。なお、macOS 10.14.5beta＋Xcode 10.2上でビルドと確認を行いましたが、内容的にはXcodeのバージョンは関係ありません。

–> Download Xcode Project Archive (pdfTestZ)

AppleScript名：AppDelegate.applescript

—
— AppDelegate.applescript
— pdfTestZ
—
— Created by Takaaki Naganoya on 2019/04/09.
— Copyright © 2019 Piyomaru Software. All rights reserved.
—

script AppDelegate
　　property parent : class "NSObject"
　　
　　— IBOutlets
　　property theWindow : missing value
　　property aView : missing value
　　property maxPageNum : 0
　　property curPageIndex : 0
　　property aPDFDoc : missing value
　　property pLabelField : missing value
　　
　　
　　on applicationWillFinishLaunching:aNotification
　　end applicationWillFinishLaunching:
　　
　　on applicationShouldTerminate:sender
　　　　return current application’s NSTerminateNow
　　end applicationShouldTerminate:
　　
　　
　　on clicked:aSender
　　　　set aTag to (tag of aSender) as integer
　　　　
　　　　if aTag = 100 then
　　　　　　set aPath to choose file of type {"com.adobe.pdf"}
　　　　　　
　　　　　　set pPath to POSIX path of aPath
　　　　　　set aURL to current application’s |NSURL|’s fileURLWithPath:pPath
　　　　　　set my aPDFDoc to current application’s PDFDocument’s alloc()’s initWithURL:aURL
　　　　　　
　　　　　　set myFileName to (current application’s NSString’s stringWithString:pPath)’s lastPathComponent()
　　　　　　theWindow’s setTitle:myFileName
　　　　　　
　　　　　　set maxPageNum to ((aPDFDoc’s pageCount()) as integer) – 1
　　　　　　set curPageIndex to 0
　　　　　　
　　　　　　log {"maxPageNum", maxPageNum}
　　　　　　
　　　　　　aView’s setAutoScales:true
　　　　　　aView’s setDisplaysPageBreaks:true
　　　　　　
　　　　　　my dispCurPageDoc()
　　　　　　set tmpStr to ((maxPageNum + 1) as string) & "/" & ((curPageIndex + 1) as string)
　　　　　　pLabelField’s setStringValue:tmpStr
　　　　　　
　　　　else if aTag = 200 then
　　　　　　
　　　　　　set tmpPage to my (aPDFDoc’s pageAtIndex:(curPageIndex))
　　　　　　set curPageLabel to tmpPage’s label()
　　　　　　
　　　　　　tell current application
　　　　　　　　display dialog (curPageLabel as string)
　　　　　　end tell
　　　　　　
　　　　else if aTag = 1000 then
　　　　　　my decPage()
　　　　　　my dispCurPageDoc()
　　　　　　
　　　　else if aTag = 1010 then
　　　　　　my incPage()
　　　　　　my dispCurPageDoc()
　　　　　　
　　　　end if
　　　　
　　end clicked:
　　
　　on dispCurPageDoc()
　　　　set tmpPage to my (aPDFDoc’s pageAtIndex:(curPageIndex))
　　　　set tmpDoc to (current application’s PDFDocument’s alloc()’s initWithData:(tmpPage’s dataRepresentation()))
　　　　aView’s setDocument:tmpDoc
　　　　
　　　　set tmpStr to ((maxPageNum + 1) as string) & "/" & ((curPageIndex + 1) as string)
　　　　pLabelField’s setStringValue:tmpStr
　　end dispCurPageDoc
　　
　　
　　on incPage()
　　　　if curPageIndex = maxPageNum then
　　　　　　–何もしない
　　　　else if curPageIndex < maxPageNum then
　　　　　　set curPageIndex to curPageIndex + 1
　　　　end if
　　end incPage
　　
　　on decPage()
　　　　if curPageIndex = 0 then
　　　　　　–何もしない
　　　　else if curPageIndex > 0 then
　　　　　　set curPageIndex to curPageIndex – 1
　　　　end if
　　end decPage
end script

★Click Here to Open This Script　

セキュリティダイアログに表示するメッセージをローカライズする

Posted on 1月 17 by Takaaki Naganoya

Xcode上で記述し、他のアプリケーションを操作するAppleScriptアプリケーションで、セキュリティダイアログに表示する内容（Info.plist内のエントリ）をローカライズする方法について紹介します。

セキュリティダイアログを表示させてユーザーの認証を得る

まず、macOS 10.14, Mojaveではセキュリティ機能が強化され、アプリケーションから他のアプリケーションをAppleEventで操作しようとすると、ユーザーに認証を求めます。この動作は、同一アプリケーションでは初回時のみ行われます。アプリケーションのバージョン・アップ時に再度問い合わされることはありません。

このセキュリティ認証をユーザーに求める動作は、Code Signしてあるアプリケーションであれば初回起動時の初回AppleEvents発行時のみ行われます。最新版のXcode上でアプリケーションを開発する場合にはCode Signできること（＝Apple Developper Account年間契約を行っていること）が前提条件となるため、Code Signしない場合については言及しません。

＃　セキュリティダイアログで「OK」しなかった場合でも、あとからシステム環境設定＞セキュリティとプライバシー＞プライバシー＞オートメーション　の項目でチェックを入れれば認証したのと同じことになります。この項目、１年使い続けると項目数がヤバいぐらい増加しそうですが、そのあたりの膨大な数になったときの使い勝手が一切考えられていないバカっぷりが素敵です（項目のしぼりこみぐらいできないとまずい）

そして、ただ漫然とXcode上でAppleScriptアプリケーションのプロジェクトを作成し、AppleScriptアプリケーションを記述しても、実行時にセキュリティダイアログは表示されないという話を昨日書きました。

セキュリティダイアログを表示してユーザーに認証を得るためには、

　（１）Info.plistに「Privacy – AppleEvents Sending Usage Description」（NSAppleEventsUsageDescription）のエントリを作成する必要がある

　（２）AppleScriptアプリケーション内にて、セキュリティダイアログの認証が必要な動作（新規ドキュメントを作成するなど）を、アプリケーション起動中あるいは起動直後のタイミングで行い、セキュリティダイアログでユーザーの認証を得ておく（ことが望ましい）

という状態です。

セキュリティダイアログのメッセージをローカライズする

昨日の段階では、このセキュリティダイアログに表示させる内容がローカライズできないと思っていました。

その後、冗談半分で「Info.plistの内容のローカライズ方法」などと検索エンジンで調べてみたら……さがしてみるもので、すぐに方法が見つかりました。

＃　冗談半分で探してみる、というのはけっこう強力なソリューションです

Info.plistの内容のローカライズを行う場合には、InfoPlist.stringsというファイルを作成して、そこに（おなじみの）ローカライズ文字ファイルを、

"key" = "value";

のように記述しておき、InfoPlist.stringsファイルをXcode上でローカライズするのだとか。

Info.plistのエントリのローカライズ

Info.plistに「Privacy – AppleEvents Sending Usage Description」のエントリを作ってある状態から話をすすめます。

このままでは、このエントリのキー名称がよくわからないので、Info.plistをテキスト形式でオープンし直します。

すると、このエントリのキー名称が「NSAppleEventsUsageDescription」だということがわかります。

そこで、Xcodeのプロジェクトに「空のファイル」としてInfoPlist.stringsファイルを追加し、ローカライズします。ここでは、デフォルトで用意されるEnglishのほかにJapaneseを追加しました。

この状態でXcode上でビルド＋実行（Command-R）を行うと、

のように、日本語環境にあわせてローカライズしておいたメッセージが表示されることが確認できました。

Xcode 10.1＋macOS MojaveでGUIアプリケーションを作成

Posted on 1月 16 by Takaaki Naganoya

Apple Developper Accountの契約を行い、Xcode上で（他のアプリケーションをコントロールする）AppleScriptアプリケーションを作れるようにしたときに、macOS 10.14＋Xcode最新版の10.1だと実際どうなのかをまとめてみました。

Xcode上でこれまでと同様にScriptアプリケーションを記述しただけではダメ

Sandbox対応させると制約事項が増えるため、Sandbox非対応のアプリケーションをビルドしてどこまで行けるかは興味深いところです。

ですが、とりあえず（安全のために）、Code Sign＋Sandboxの設定を行ってXcode上でAppleScriptアプリケーションを作成。Keynoteに新規ドキュメントを作成させる程度のお気軽なコードを書き、ビルドして実行。すると、

2019-01-15 99:99:99.999999+0900 1014test[13673:1813575] *** -[AppDelegate applicationWillFinishLaunching:]: Not authorized to send Apple events to Keynote. (error -1743)

などとエラーが出るだけで、Automationのセキュリティダイアログは表示されませんでした。

▲セキュリティダイアログはこんなやつ

Info.plistにエントリを追加するとSecurityダイアログが表示されるようになる

こういう場合には海外のサイトを調べてみるのが一番手っ取り早いところです。いろいろ調べてみたところ、Info.plistに対して、

Privacy - AppleEvents Sending Usage Description

というエントリを追加する必要があるとのこと。

このエントリ、例のMojaveから出るようになったSecurityダイアログにアプリケーション側から出力するカスタムメッセージを定義するエントリのようです。エントリさえ存在すれば、とくに何か気の利いたメッセージを入れる必要はないようです。

英語で書いても、日本語で書いてもそのままダイアログに出力されます。Info.plistの内容自体はローカライズできないので、本エントリの内容は広域に配布するものであれば英語で、特定の日本国内の顧客に向けて納品するものであれば日本語で書けばいいんじゃないでしょうか（一般的なメッセージ同様にローカライズできることが望ましい）。このあたり、ローカライズできないのは仕様的におかしいので、そのうち仕様が変わりそうです、、、、

Securityダイアログを表示させるためには、AppleScriptアプリケーション側から対象のアプリケーションに対して命令を発行する必要があるのですが、これが、activateさせるとかバージョン番号を調べるぐらいのコマンドではそのまま実行されてしまって、セキュリティダイアログは表示されません。

せめて新規ドキュメントを作成（make new document）して破棄（close without saving）するぐらいのことを行わないと、ダメなようです。このあたり、実際に試してみるしかないようです。

■セキュリティダイアログを表示させる程度の意味のない（ウォームアップのための）Scriptサンプル

tell application "Microsoft Excel"
　　set aDoc to (make new document)
　　close active workbook without saving
end tell

★Click Here to Open This Script　

tell application "Keynote"
　　set aDoc to (make new document)
　　close aDoc without saving
end tell

★Click Here to Open This Script　

tell application "Finder"
　　make new Finder window
　　close Finder window 1
end tell

★Click Here to Open This Script　

–Touch Barの有無の検出
on detectTouchBar()
　　tell application "System Events"
　　　　set frontApp to first application process whose frontmost is true
　　　　try
　　　　　　set touchBar to first UI element of frontApp whose role is "AXFunctionRowTopLevelElement"
　　　　on error errMsg number errNum
　　　　　　return false
　　　　end try
　　　　
　　　　set touchBarItems to value of attribute "AXChildren" of touchBar
　　　　return (touchBarItems is not equal to {})
　　end tell
end detectTouchBar

★Click Here to Open This Script　

対象アプリケーションに対してコマンドを実行し、Securityダイアログが表示され、ユーザーによってきちんと認証されれば、tccKitを用いて認証状況を確認して、すべてのアプリケーションの認証完了状態をAppleScriptから知ることができます。

AppleScriptアプリケーションの冒頭（applicationWillFinishLaunchingイベントハンドラなど）でtccKitによって認証状態をチェックし、未認証の状態であれば操作対象のアプリケーションに対して試験的にコマンドを実行するようにすればよいでしょう。

AppleScriptアプリケーションがCode Signされていれば、セキュリティ認証ダイアログでユーザー認証する必要があるのは初回のみです。現在、Xcode上でGUIアプリケーションをビルドするためにはApple Developper Accountが必須となっているため、この点は必然的にクリアされることになります。

なお、この認証フローにおいてアプリケーション自体がSandbox化されている必要はありません（確認ずみ）。

Xcode上のAppleScriptObjCでpragma markを使う

Posted on 4月 12, 2018 by Takaaki Naganoya

Xcode上でGUIアプリケーションをAppleScriptObjCで記述できますが、Xcodeの「pragma mark」の機能をAppleScriptで利用する方法についてまとめておきます。

pragma markはXcode上のテキストエディタで現在編集中のソーステキスト内の移動を行いやすくするもので、基本的には「ただのコメント文」です。

Xcodeに編集中のソースの各プロパティやハンドラの一覧を表示するポップアップ・メニューが存在しており、これがソースの長さによっては膨大な量になるため、ポップアップ・メニューに「セパレータ」や「目印（数種類のアイコン指定可能）」をpragma markによって表示させます。長くなるメニューを見やすくする、という役割があります。

pragma markはプログラムの実行には何も影響しません。

Xcode上で編集中のソースコードに「pragma mark」形式のコメントがあると、Xcodeがそれを読み取って、ポップアップ・メニュー上に指定内容を表示します。

ただし、外部エディタ（ASObjC Explorer 4やScript Debugger）を併用しないと、途中からXcodeがまともにpragma markを表示しなくなることは日常茶飯事であることを明記しておきます。

–> Download pragma_mark_test Xcode Project

→ PRAGMA MARKのコメント行の先頭にTABを入れないとまともに表示される模様。

AppleScriptの穴

Useful & Practical AppleScript archive. Click '★Click Here to Open This Script' Link to download each AppleScript

カテゴリー: AppleScript Application on Xcode

Continuity Camera AS

Double PDF v2.0完成に近づく

Appleがいまだに直さないPDFViewのバグを回避する

セキュリティダイアログに表示するメッセージをローカライズする

セキュリティダイアログを表示させてユーザーの認証を得る

セキュリティダイアログのメッセージをローカライズする

Info.plistのエントリのローカライズ

Xcode 10.1＋macOS MojaveでGUIアプリケーションを作成

Xcode上でこれまでと同様にScriptアプリケーションを記述しただけではダメ

Info.plistにエントリを追加するとSecurityダイアログが表示されるようになる

Xcode上のAppleScriptObjCでpragma markを使う