研究者は厚い一束のPDF学術論文に直面し、手動で数式や表を写し取るのに時間がかかり、ミスが起こりやすいです。NougatはFacebook Researchによって開発され、Neural Optical Understanding技術を用いて、学術文書を直接構造化されたMarkdownに変換し、面倒なOCRステップをスキップして即座に編集可能なコンテンツを提供します。このオープンソースツールは、特に学者、学生、データサイエンティストに適しており、arXivなどのプラットフォームの数学的に密な文書を処理するのに役立ちます。
PDFをアップロードして即時に構造化予測を生成
GitHubページでは、PDFファイルを直接ドラッグ＆ドロップすることができ、Nougatはページレイアウトを自動的に認識します。これにはテキスト、数式、表が含まれます。この「Get prediction for a PDF」機能が核心で、出力は純粋なMarkdown形式で、数式はLaTeXで表現され、Jupyter NotebookやOverleafにコピーするのが便利です。従来のOCRと比べて、Nougatは学術文書の複雑な構造、例えば多段組レイアウトやネストされた数式に特化しており、精度が明らかに向上しています。
自分でデータセットを作成してカスタムモデルを訓練
「Generate dataset」オプションを使用すると、PDFをバッチ変換してトレーニングデータにすることができ、出力はJSONL形式で、各行には画像と対応するMarkdownが含まれます。この設計は学術分野に特化しており、開発者が特定のジャーナルスタイルにファインチューニングするなど、モデルを簡単に拡張できるようにしています。一般的なOCRツールと比較して、Nougatのデータセット生成は数式や参考文献の正確なマークアップに重点を置いており、論文要約抽出などの下流タスクのトレーニングに適しています。
ページには、事前トレーニングモデルのダウンロードやDockerデプロイガイドなど、詳細なリソースリンクも提供されています。最新のコミットは、チームが継続的に最適化を行い、より多くのファイルタイプをサポートしていることを示しています。
オープンソースライセンスが学術コミュニティの貢献を支援
リポジトリはMITライセンスを採用しており、コミュニティがフォークして改善することを奨励しています。ドキュメントナビゲーションは、フォルダやファイルを明確にリストアップしており、例えばnougatのコアディレクトリにはモデルアーキテクチャや推論スクリプトが含まれています。行動規範は協力的な環境を確保し、Licenses foundスキャンはMITとApache 2.0に依存しており、著作権の衝突がないことを示しています。
履歴は2022年から積極的に更新されていることを示しており、最新バージョンは長い文書の処理を改善しています。研究者はsaved searchesを使用して、問題やPRを迅速にフィルタリングし、問題解決を加速できます。
日常のワークフローを統合して効率を向上
実際のアプリケーションでは、NougatはarXiv論文のバッチ処理に適しており、例えば数十のPDFをMarkdownに変換した後、GitHub Actionsを使用してNotionやObsidianに自動的にインポートできます。このツールは学術的なワークフローにおいて独自の特性を持ち、元の構造を保持し、表や数式を分解せず、後続の分析をスムーズにします。開発者はリポジトリファイルナビゲーションを通じてデモスクリプトに直接アクセスでき、数分でローカルバージョンを実行できます。
総じて、Nougatは学術文書のデジタル化の課題を解決し、そのオープンソース性が価値を高め、より多くの人々に利益をもたらします。
製品名：Nougat (Neural Optical Understanding for Academic Documents)
公式ウェブサイト：https://github.com/facebookresearch/nougat