Спосіб і система автоматичного керування сільськогосподарською машиною, збиральна машина і машина для обробітку ґрунту

Номер патенту: 80122

Опубліковано: 27.08.2007

Автори: Манфред Бонер, Юрген Хофер

Є ще 3 сторінки.

Дивитися все сторінки або завантажити PDF файл.

Формула / Реферат

1. Спосіб автоматичного керування сільськогосподарською машиною на полі (84) вздовж оброблюваної поверхні, що включає:

етап, на якому знімають ділянки поля (84), що знаходиться перед машиною, включаючи оброблювану поверхню, за допомогою знімальної камери (42);

створюють файл пікселів з сигналу зображення камери (42);

класифікують пікселі файла;

генерують керуючий сигнал на основі результатів класифікації;

здійснюють поворот керуючих засобів збиральної машини відповідно до керуючого сигналу, в результаті чого відбувається автоматичне ведення машини вздовж оброблюваної поверхні, який відрізняється тим, що додатково включає етап, на якому з даних файла пікселів одержують текстурну інформацію про посіви та поверхню поля, при цьому класифікацію пікселів файла здійснюють з урахуванням текстурної інформації для одержання двійкової інформації про те, чи варто віднести відповідний піксель до оброблюваної поверхні, чи ні.

2. Спосіб за п. 1, який відрізняється тим, що текстурну інформацію про посіви та поверхню поля одержують за допомогою незалежного чи залежного від напрямку зйомки текстурного аналізу, зокрема аналізу залежності значень сірого кольору та/або мультиспектрального аналізу.

3. Спосіб за п. 1 або 2, який відрізняється тим, що класифікацію того, чи слід віднести окремі пікселі файла до оброблюваної поверхні, чи ні, здійснюють за допомогою нейронної мережі (112).

4. Спосіб за одним з пп. 1-3, який відрізняється тим, що засоби для класифікації до початку роботи піддають процесу калібрування за допомогою подаваного до них зображення та інформації про ділянки (88) зображення, що показують оброблювану поверхню, і про ділянки (86), що не показують оброблювану поверхню.

5. Спосіб за одним з пп. 1-4, який відрізняється тим, що оброблювану поверхню зображують за допомогою рослинної маси, що підбирають, зокрема валка (48), чи за допомогою ґрунту, що оброблюють ґрунтооброблювальною машиною та/або сівалкою.

6. Автоматична система (60) керування сільськогосподарською збиральною машиною на полі (84) вздовж оброблюваної поверхні, що містить знімальну камеру (42) для зйомки ділянки поля (84), що знаходиться перед збиральною машиною, включаючи оброблювану поверхню, пристрій обробки, зокрема процесор (68), до якого подають створений із сигналу зображення камери (42) файл пікселів, при цьому пристрій обробки містить засіб для класифікації пікселів файла, засіб для одержання двійкової інформації про те, чи варто віднести відповідний піксель до оброблюваної поверхні, чи ні, і засіб для генерування керуючого сигналу на основі результатів класифікації, при цьому система містить засіб для передачі керуючого сигналу до засобів керування збиральною машиною, яка відрізняється тим, що додатково містить засіб для одержання з даних файла пікселів текстурної інформації про посіви та поверхню поля, відеоінтерфейс (66), двонаправлено зв'язаний з пристроєм обробки, для передачі в пристрій обробки текстурної інформації про текстуру простору, що оточує пікселі файла, при цьому засіб для класифікації пікселів файла виконаний з можливістю урахування текстурної інформації про посіви та поверхню поля.

7. Система за п. 6, яка відрізняється тим, що засіб для одержання текстурної інформації про посіви та поверхню поля являє собою засіб для незалежного або залежного від напрямку текстурного аналізу, зокрема аналізу залежності значень сірого кольору та/або мультиспектрального аналізу.

8. Система за п. 6 або 7, яка відрізняється тим, що для класифікації того, чи варто віднести окремі пікселі файла відповідно до рослинної маси, що підбирають, чи ні, передбачена нейронна мережа (112).

9. Система за одним з пп. 6-8, яка відрізняється тим, що пристрій обробки призначений для здійснення класифікації, до початку роботи підданий процесу калібрування за допомогою подаваного до нього зображення і інформації про ділянки (88) зображення, що показують оброблювану поверхню, і про ділянки (86), що не показують оброблювану поверхню.

10. Збиральна машина з засобами для підбирання рослинної маси з поля, зокрема з валка (48), і системою (60) керування за одним з пп. 6-9.

11. Машина для обробітку ґрунту та/або для сівби із системою (60) керування за одним з пп. 6-9.

Текст

1. Спосіб автоматичного керування сільськогосподарською машиною на полі (84) вздовж оброблюваної поверхні, що включає: етап, на якому знімають ділянки поля (84), що знаходиться перед машиною, включаючи оброблювану поверхню, за допомогою знімальної камери (42); створюють файл пікселів з сигналу зображення камери (42); класифікують пікселі файла; генерують керуючий сигнал на основі результатів класифікації; здійснюють поворот керуючих засобів збиральної машини відповідно до керуючого сигналу, в результаті чого відбувається автоматичне ведення машини вздовж оброблюваної поверхні, який відрізняється тим, що додатково включає етап, на якому з даних файла пікселів одержують текстурну інформацію про посіви та поверхню поля, при цьому класифікацію пікселів файла здійснюють з урахуванням текстурної інформації для одержання двійкової інформації про те, чи варто віднести відповідний піксель до оброблюваної поверхні, чи ні. 2. Спосіб за п. 1, який відрізняється тим, що текстурну інформацію про посіви та поверхню поля одержують за допомогою незалежного чи залежного від напрямку зйомки текстурного аналізу, зокрема аналізу залежності значень сірого кольору та/або мультиспектрального аналізу. 2 (19) 1 3 80122 4 лежного або залежного від напрямку текстурного аналізу, зокрема аналізу залежності значень сірого кольору та/або мультиспектрального аналізу. 8. Система за п. 6 або 7, яка відрізняється тим, що для класифікації того, чи варто віднести окремі пікселі файла відповідно до рослинної маси, що підбирають, чи ні, передбачена нейронна мережа (112). 9. Система за одним з пп. 6-8, яка відрізняється тим, що пристрій обробки призначений для здійснення класифікації, до початку роботи підданий процесу калібрування за допомогою подаваного до нього зображення і інформації про ділянки (88) зображення, що показують оброблювану поверхню, і про ділянки (86), що не показують оброблювану поверхню. 10. Збиральна машина з засобами для підбирання рослинної маси з поля, зокрема з валка (48), і системою (60) керування за одним з пп. 6-9. 11. Машина для обробітку ґрунту та/або для сівби із системою (60) керування за одним з пп. 6-9. Винахід відноситься до способу автоматичного керування сільськогосподарською машиною на полі уздовж оброблюваної поверхні, а також до відповідної системи автоматичного керування сільськогосподарською машиною і до збиральної машини. За минулі роки були автоматизовані багато функцій сільськогосподарських машин, керування якими раніше здійснювалося водієм вручну. Для полегшення роботи водія були запропоновані, наприклад, різні системи керування, що автоматично управляють машиною в полі. Вони можуть полегшити роботу водія і дозволити йому сконцентруватися на інших важливих аспектах його роботи, наприклад контролі завантаження робочих пристроїв машини. У майбутньому стане також можливим рух подібних машин по полю без водія. Були описані автоматичні системи керування, основані на різних принципах. Безконтактно працюючі системи можна розділити на системи, що основані на вимірі віддалення, які прагнуть визначити різницю по висоті між зрізаною і незрізаною рослинною масою, і на такі системи, що основані на зйомці, що прагнуть визначити відмінності в зовнішньому вигляді рослинної маси на зрізаній і незрізаній сторонах крайки або відмінності між рослинами і ґрунтом. Приклади систем, заснованих на вимірі віддалення, можна знайти в ЕР 0887660 А и ЕР 1271139 А. В ЕР 0887660 А направлений на ґрунт перед збиральною машиною лазерний далекомір повертають у визначеному кутовому діапазоні. На основі його орієнтації і положення визначають відповідне куту повороту положення точки, у якій був відбитий лазерний промінь. Таким чином, визначають висотний профіль ґрунту, що дозволяє знайти валок чи край рослинної маси на границі між скошеною частиною зернового поля і ще не скошеною частиною, та на основі цих даних згенерувати управляючий сигнал. В ЕР 1271139 А в подібного лазерного далекоміра додатково запропоновано за допомогою інтенсивності відбитого випромінювання визначати кількість рослинної маси, що підбирається. Недолік заснованих на вимірі віддалення систем полягає в тому, що для реєстрації часу проходження потрібен досить дорогий далекомір з лазером та електронікою. Приклади систем заснованих на зйомці, що працюють зі направленою на поле камерою та електронною обробкою зображення, можна знайти в DE 3507570 А, ЕР 0801885 A, WO 98/46065 A, WO 96/17279 A, JP 01319878 A, JP 03012713 А, US 6278918 В, US 6285930 В, US 6385515 В, та US 6490539 В. У DE 3507570 А розкрита автоматична система керування сільськогосподарською машиною, що повинна рухатися вздовж поля або по полю з обробленими рядами рослин. Система визначає орієнтацію рядів рослин по первісному зображенню. Потім зображення сканують уздовж ліній, що проходять паралельно визначеній орієнтації, і середні значення сірого кольору в кожнім рядку вводять у пам'ять. Під час руху по полю його сканують уздовж тих же ліній. Результати сканування кожної лінії порівнюють зі значеннями в пам'яті і за допомогою придатних управляючих сигналів підтримують опорні значення. В ЕР 0801885 А описана збиральна машина з камерою, сигнал зображення якої відцифровують і зображення піддають обробці. При цьому рядки досліджують на положення крокової функції, у якому східчасто змінюється значення сірого кольору. В окремих рядках положення пікселів з відповідною найбільшою імовірністю визначають для крокової функції. Ці положення залучають для генерування управляючого сигналу. У WO 98/46065 А, крім того, за допомогою інформації, що міститься в окремих рядках, визначають, чи містять вони границю рослинної маси. За допомогою інформації всіх рядків встановлюють, в якому рядку закінчується поле, на якому проводиться збирання. У WO 96/17279 А запропоноване провести обмеження (наприклад, паралелограм) за допомогою знятого камерою зображення й ідентифікувати лежачі в ньому об'єкти з яскравістю, що вище порогового значення. Об'єкти піддають регресійному аналізу, щоб визначити їхній зсув відносно попередньо ідентифікованого ряду, що служить для генерування управляючого сигналу. JP 01319878 А описує систему керування, у якої поверхні специфічного кольору зв'язують між собою в знятому камерою зображенні, для того щоб визначити пряму лінію. Ця лінія розглядається як ряд рослин і служить для генерування управляючого сигналу. 5 У JP 03012713 А запропонована автоматична система керування трактором, що визначає вікно знятого зображення. У цьому вікні визначають віртуальну лінію, на якій розташовані рослини. При цьому зображення порівнюють з віртуальним рядом рослин для генерування управляючого сигналу. В US 6278918 В запропоновано розділити зняте зображення на два чи чотири сектори. В них визначають місце і напрямок ряду рослин. Ряд рослин, що виявляється краще, використовують для генерування управляючого сигналу. Рішення про те, чи відображає певний піксель рослину чи ні, приймають за допомогою так званого методу Ксередніх, при якому одержують гістограму значень пікселів, на якій вісь C зображує рівень значень сірого кольору, а вісь U -число пікселів з відповідними значеннями сірого кольору. Тому пікселі, що більш правдоподібно відображають рослини, з'являються, з правої сторони гістограми. Алгоритм виконує ділення отриманої з зображення камери гістограми на задане число К класів, інтервали між який відповідно рівні. Дані піддають рекурсивній обробці, для того, щоб знайти середнє значення сірого кольору для класу. Границі між класами рекурсивно зміщують на основі заданої метрики або мінімізації функції вартості, поки центри класів не змістяться менш чим на заданий допуск. Потім встановлюють поріг для розрізнення між рослинами і ґрунтом на початок класу К або іншого класу. Класифікацію можна здійснювати також за допомогою інших алгоритмів кластерізації, таких як метод поділу, само-організовані карти та нейронна логіка, або нечітка -логіка. US 6285930 В, US 6385515 В та US 6490539 В також відносяться до цієї системи. В описаних системах, що основані на зйомці, за допомогою яскравості та/або кольору окремих пікселів визначають, чи є вони зображенням рослини. Ідентифіковані рослини в деяких з цих систем з'єднують віртуальною лінією, що служить для генерування управляючого сигналу. Однак, в деяких випадках, коли бажано автоматичне керування сільськогосподарською машиною, непросто або навіть майже неможливо розпізнати за допомогою кольору або яскравості, чи відноситься піксель до лінії, за якої необхідно стежити, чи ні. Типовим прикладом є валок скошеної трави, або солома, що лежить на прибраному зерновому полі. Валок складається з того ж матеріалу, що і стерня, що залишилася на поле, і тому в багатьох випадках має більш-менш такі самі яскравість і колір. В цьому випадку буде складно скористатись відомими системами, що основані на зйомці. Інші описані системи розпізнають рослини на полі і орієнтуються по описаним ними рядам, наприклад для розкидання хімікатів. При відсутності рослин ці системи використовуватися не можуть. У преамбулі до опису в ЕР 0801885 А (стор. З, 1-й абзац) згадають можливий спосіб, у якому локальний двомірний оператор перетворення Фур'є використовують як основу для сегментації, що базується на текстурі, для того, щоб встановити просторову смугу частот з істотною різницею між зрізаними рослинами і рослинами, що стоять. За 80122 6 значається, що цей спосіб при первісних тестах не дав ясної вказівки на подібну різницю. Тому цей метод було відкинуто. Метою, що лежить в основі даного винаходу, є створення способу автоматичного керування сільськогосподарською машиною і відповідної системи керування, що мала б надійно працювати і яку можна було б економічно реалізувати. Відповідно до винаходу, ця задача вирішується за допомогою відмітної частини п. 1 формули, причому в залежних пунктах приведені ознаки, що розвивають рішення та описують більш переважні рішення. Запропоновано спосіб і пристрій для автоматичного керування сільськогосподарською машиною уздовж оброблюваної поверхні на полі. Машину обладнують камерою, що направлена на зону перед машиною, включаючи оброблювану поверхню. Камера видає у визначені проміжки часу двомірні зображення оброблюваної поверхні та ділянок поля, що знаходяться поруч з нею. Із сигналу зображення камери створюють файл пікселів, що обробляють за допомогою електронного пристрою обробки зображення, для того, щоб виробити управляючий сигнал і автоматично вести машину уздовж оброблюваної поверхні. Перевага використання системи на основі зйомки у порівнянні з системою заснованою на вимірюванні віддалення полягає в менших витратах. За даним винаходом пропонується вивести з файлу пікселів інформацію про текстуру простору, що оточує окремі оброблені пікселі. Одержують інформацію, що містить інформацію про те, як виглядає структура зображення по сусідству з пікселем, тобто, наприклад, рівномірна вона чи нерівномірна, або в якому напрямку орієнтовані наявні там подробиці, наприклад стебла рослинної маси чи грудки землі. Якщо камера дивиться, наприклад, на скошене поле з валками, то поле показує, в основному, короткі, вертикальні стебла, а валок більш довгі стебла з різною орієнтацією. Аналогічним чином, оброблювана поверхня при обробітку грунту відрізняється від сусідніх ділянок поля, оскільки, наприклад, після оранки або культивації вона показує більш-менш великі грудки землі і більш нерівну поверхню, чим до цього. Ця текстурна інформація служить основою класифікації, яка полягає в тому, що визначається, чи має відповідний піксель бути віднесеним до оброблюваної поверхні чи ні (двоїчне рішення). Оскільки в основу методу покладена не тільки яскравість пікселя, що відомо з існуючих рішень, але до того ж інформація про класифікацію, він грунтується на відносно надійній основі. Отже, положення оброблюваної поверхні можна розпізнати без проблем. За допомогою відомого положення пікселів, що представляють оброблювану поверхню (або більше не оброблювану поверхню та/або ще не оброблену поверхню), генерують управляючий сигнал, що надходить до засобів керування машини. Текстурна інформація може бути отримана, зокрема, за рахунок незалежного текстурного аналізу або залежного від напрямку текстурного аналізу. При незалежному від напрямку текстурному аналізі враховують інформацію у відношенні сусі 7 дів пікселя у всіх напрямках. При залежному від напрямку текстурному аналізі оцінюють тільки сусідів у визначених напрямках. Залежний від напрямку текстурний аналіз особливо доцільний тоді, коли в зображенні виникають ознаки переважно у визначених напрямках. Залежний від напрямку текстурний аналіз або незалежний від напрямку текстурний аналіз можуть бути здійснені, наприклад, за допомогою аналізу залежності значень сірого кольору. В якості альтернативи, або додатково, текстуру можна досліджувати за допомогою мультиспектрального аналізу. При цьому використовують камеру, що може реєструвати, щонайменш, дві різні довжини світлових хвиль. При різних довжинах хвиль текстура по сусідству з пікселями також може відрізнятися, так що в основу рішення про те, чи представляють окремі пікселі відповідно оброблювану поверхню чи ні, може бути покладена додаткова інформація. У якості мультиспектрального аналізу може бути передбачений колірний аналіз, зокрема RGB-аналіз. Рішення про те, чи представляють окремі пікселі відповідно оброблювану поверхню чи ні, приймають за допомогою так званого класифікатора. Придатним класифікатором є нейронна мережа. Переважно, до початку роботи класифікатор піддають процесу калібрування за допомогою подавання до нього зображення або інформації про ділянки зображення, що не показують оброблювану поверхню, та інформації про ділянки, що показують оброблювану поверхню. Процес калібрування може відбуватися при виготовленні на заводі або перед початком роботи на полі. Пропонована система керування придатна, зокрема, для ведення збиральної машини вздовж покладеної у валок рослинної маси, оскільки вона забезпечує гарне розрізнення між стеблами у валку і на полі. Подібними збиральними машинами є, наприклад, польові подрібнювачі з підбирачем як пристрій для підбора рослинної маси, самохідні або причеплені до трактора пакові преси, або трактори з причепом, що самонавантажується. Валок розпізнають і збиральну машину ведуть вздовж нього. Описана система керування може бути використана, однак, і в збиральних машинах, що рухаються вздовж крайки рослин, таких як зернозбиральні комбайни, польові подрібнювачі з кукурудзозбиральними агрегатами або косарки, оскільки система керування здатна відрізняти довгі стоячі стебла з колоссями на верхній стороні від стерні на прибраному полі. Тут збиральну машину ведуть зовнішньою крайкою пристрою для підбора рослинної маси вздовж крайки рослин. Слід зазначити, що зняте камерою зображення містить також інформацію про кількість або частку рослинної маси, що підбирається. Ця інформація може бути отримана з контурів рослин та/або їхнього кольору. Отже, система керування може розрахувати очікувану частку і покласти її в основу автоматичного керування швидкістю руху. Іншою можливою областю застосування системи керування, відповідно до винаходу, є обробіток ґрунту, здійснюваний, наприклад, плугом, культиватором, бороною, ковзанкою і т.п., або сів 80122 8 ба. Як вже зазначалося, текстура ґрунту після обробітку відрізняється від попередньої текстури. Система керування розпізнає границю між вже обробленою і ще не обробленої частинами поля за допомогою різної текстури і веде сільськогосподарську машину повз неї на оптимальній відстані, так що зовнішня границя її робочого знаряддя направляється уздовж границі між обробленою і необробленою частинами поля. Два приклади виконання винаходу, що більш докладно описані нижче, зображені на доданих кресленнях, на яких: - на Фіг.1 схематично представлений вид збоку польового подрібнювача з автоматичною системою керування за винаходом; - на Фіг.2 схематично представлений вид збоку трактора з автоматичною системою керування за винаходом, і причепленим до нього паковим пресом; - на Фіг.3 представлена блок-схема системи керування; - на Фіг.4 представлений приклад знятого камерою зображення; - на Фіг.5 представлена блок-схема, за якою працює процесор системи керування; - на Фіг.6 представлена схема нейронної мережі, що використовується для прийняття рішення про те, відноситься піксель до поля чи до валка; - на Фіг.7 показана робота нейронної мережі з Фіг.6 на етапі калібрування; - на Фіг.8 показана робота нейронної мережі з Фіг.6 на етапі аналізу; - на Фіг.9 представлене зображення результату незалежного від напрямку аналізу значень сірого кольору, яке відноситься до зображення на Фіг.4; - на Фіг.10 представлене зображення результату залежного від напрямку аналізу значень сірого кольору, яке відноситься до зображення на Фіг.4; - на Фіг.11 представлене зображення, що випливає з рішення про те, відносяться пікселі до валка чи до поля, яке відноситься до зображення на Фіг.9; - на Фіг. 12 представлене зображення з Фіг. 11 після видалення всіх поверхонь, що залишають менше ніж 450 пікселів; - не Фіг.13 показана найбільша поверхня, що залишилася, із зображення на Фіг.12; - на Фіг.14 показаний остаточний результат обробки зображення на Фіг.13 з позначеними осями інерції. На Фіг.1 зображена збиральна машина на зразок самохідного польового подрібнювача 10. Польовий подрібнювач 10 встановлений на рамі 12, що спирається на передні приводні колеса 14 і керовані задні колеса 16. Керування польовим подрібнювачем 10 відбувається з кабіни 18, звідкіля видно пристрій 20 для підбору рослинної маси. Підібрану з землі пристроєм 20 рослинну масу, наприклад траву і т.п., подають по подавальним валкам (не показані), розташованим всередині подавального корпуса на передній стороні польового подрібнювача 10, до подрібнювального барабана 22, що подрібнює її на дрібні шматки і заван 9 тажує на транспортер 24. Маса залишає польовий подрібнювач 10 у напрямку причепа, що рухається поруч, через випускну шахту 26, встановлену з можливістю обертання навколо в цілому вертикальної осі і з можливістю регулювання нахилу. Між подрібнювальним барабаном 22 і транспортером 24 проходить додатковий подрібнювальний пристрій 28, по якому масу, що транспортується, подають до транспортера 24 по дотичній прямій. Пристрій 20 для підбора рослинної маси виконано в даному прикладі у виді так званого підбирача. Пристрій 20 встановлений на шасі 32 і спирається на землю через розміщені по обидва боки опорні колеса 38, кожне з який закріплене на шасі 32 за допомогою балки 46. Задача пристрою 20 полягає в тому, щоб підібрати покладену на поле у валок 48 рослинну масу і подавати її до польового подрібнювача 10 для подальшого обробітку. Для цього пристрій 20 під час збирання ведуть по полю на невеликій відстані від землі, в той час як для транспортування по дорозі його піднімають. До пристрою 20 відноситься транспортер 36 у вигляді транспортувального шнека, що транспортує підібрану з боків пристрою 20 масу до розвантажувального отвору (не показаний), що знаходиться посередині, і за яким знаходяться подавальні валки. Пристрій 20 містить також підбирач 34, який приводиться в обертання, як транспортер 36, і який розташований під транспортером 36. Підбирач 34 своїми транспортувальними зубами піднімає масу з землі і передає її на транспортер 36. Крім того, на шасі 32 закріплений притискач 40 у вигляді листа, що розташований над підбирачем 34. На своїй верхній стороні польовий подрібнювач 10 обладнаний камерою 42, що розміщена на кабіни 18, в її верхній передній частині. Об'єктив камери 42 направлений на валок 48 навскіс, вперед і вниз. Камера 42 знаходиться на подовжній середній осі польового подрібнювача 10. Разом з електронним блоком керування камера 42 утворює описану нижче автоматичну систему керування, що автоматично веде польовий подрібнювач 10 уздовж валка 48, щоб полегшити роботу водія в кабіні 18. Насамперед, за допомогою Фіг.2 варто описати іншу можливість застосування автоматичної системи керування. Тут камера 42 розміщена на кабіни 18 трактора 50, в її верхній передній частині. Вона знаходиться на подовжній середній осі трактора, а її об'єктив також направлений на валок 48 навскіс, вперед і вниз. Трактор 50 містить передні керовані колеса і задні приводні колеса 54. Він тягне за собою токовий прес 56, що підбирає з поля рослинну масу з валка 48 за допомогою підбирача 34 і формує з неї тюк 58. Замість зображеного рулонного преса, паковий прес 56 може також бути виконаний у вигляді прямокутно-пакового преса. Також, він може бути самохідним. Винахід може застосовуватися також на тракторі 50, коли він використовується для обробітку ґрунту. Польовий подрібнювач 10 і трактор 50 обладнані на своїх передніх сторонах освітлювальними пристроями, що дозволяють освітлювати валок 48, у випадку якщо наявного світла недостатньо. 80122 10 На Фіг.3 схематично зображена система 60 керування польового подрібнювача 10 з Фіг.1 або трактора 50 з Фіг.2. Камера 42 містить датчик 62 зображення, зокрема у вигляді пристрою із зарядовим зв'язком або компліментарного металооксидного напівпровідника, вихідний сигнал якого за допомогою аналого-цифрового перетворювача 64 відцифровують і подають до відеоінтерфейсу 66. Дані зображення, що надійшло до камери 42, можуть складатися тільки з даних яскравості (значення сірого кольору, яскравість) або містити також дані кольоровості (колір). Процесор 68 (як правило, мікропроцесор або мікроконтролер) двонаправлено зв'язаний з відеоінтерфейсом 66. Зображення, отримане об'єктивом 82 камери 42 на датчику 62, може бути показано водію в кабіні 18 на з'єднаному з процесором 68 дисплеї 70. Дисплей 70 може відображати також іншу інформацію, наприклад робочі дані системи 60 керування та/або польового подрібнювача 10 чи трактора 50. У розпорядженні водія є також клавіатура 72 або інший пристрій вводу (наприклад, миша, джойстик, мовне введення), за допомогою якого він може здійснювати введення в процесор 68. Процесор 68 керує електромагнітними клапанами 74, що з боку входу з'єднані з джерелом 76 гідравлічної рідини, що знаходиться під тиском, а з боку виходу - з управляючим циліндром 78. Управляючий циліндр 78 повертає задні колеса 16 польового подрібнювача 10, що зображений на Фіг.1, а в трактора 50, що зображений на Фіг.2, він повертає передні колеса 52. Датчик 80 колісного кута реєструє робочий кут повороту коліс 16 або 52 і подає цю інформацію процесору 68. Апаратна частина подібних систем 60 керування досить добре відома з рівня техніки, так що тут можна не приводити докладного опису і послатися на згаданий у преамбулі рівень техніки, розкритий зміст якого включається посиланням в дану заявку. Задача автоматичної системи 60 керування полягає в тому, щоб вести польовий подрібнювач 10 або трактор 50 з паковим пресом 56 уздовж валка 48 по полю без втручання водія в процес водіння. Процесор 68 обробляє для цього зображення камери 42 за допомогою електронного блоку обробки зображення і, на основі результату обробки, генерує відповідні управляючі сигнали для електромагнітних клапанів 74. Валок 48 складається, як правило, з висохлої стеблинної маси, що була зрізана косаркою, залишена на просушування на полі і зібрана у валки валкувачем або, при збиранні зернового поля, покладена у валки зернозбиральним комбайном. Типове зображення, зареєстроване камерою 42 при сінокосінні, показано на Фіг.4. Видно, що значення яскравості між валком 48 і ділянками поля 84 з боків поруч з валком 48 не надто сильно відрізняються друг від друга. Таким чином, було б проблематично або майже неможливо згенерувати управляючий сигнал, коли б окремі точки зображення (нижче «пікселі») сигналу зображення камери 42 відносили до валка 48 або до поля 84 винятково на основі їхньої яскравості. Зображення, що містить дані кольоровості, було б тоді більш придатне для розрізнення між валком 48 і полем 11 84 за допомогою кольорів, якщо стеблинна маса достатньо відрізняється по кольору від поля. Цього, однак, не відбувається, зокрема, тоді, коли стебла, що залишилися на полі, щонайменше, частково висохли, або тоді, коли валок треба підібрати відразу після скошування, як при збиранні зерна. На Фіг.4, однак, видно також, що на полі 84 залишилися, в основному, тільки стебла, що стоять вертикально (злакова стерня), тоді як валок 48, навпаки, має більш довгі стебла, що лежать з різною орієнтацією, і які проходять частково горизонтально. Тому, за даним винаходом, пропонується оцінити текстуру пікселів і залучити її для прийняття рішення про те, чи знаходиться певний піксель на полі 84 чи у валку 48. Під текстурою варто розуміти локальний розподіл і змінюваність значень сірого кольору (та/або значень кольоровості) на ділянці зображення. На полі текстура складається з коротких структур (стебел), що здебільшого проходять вертикально, тоді як у валку вона складається з більш довгих стебел, що проходять у різних напрямках. Таким чином, процесор 68 працює у відповідності з процедурою, що зображена на Фіг.5. Виходячи із знятого на кроці 100 камерою 42 зображення, на кроці 102 через відеоінтерфейс 66 процесор 68 отримує файл пікселів. З цього файлу пікселів, що на кроці 104 проходить подальшу обробку пікселів, виводять відповідну текстурну інформацію. На кроці 104 можуть бути оброблені всі пікселі, що надходять, або, щоб скоротити час розрахунку, тільки та частина цих пікселів, що містить ділянку зображення з валком 48. Виведення текстурної інформації на кроці 104 може відбуватися різними способами. Існує можливість проведення аналізу залежності значень сірого кольору, при якому обчислюють матрицю залежності. Матриця залежності для невеликих ділянок зображення містить інформацію, що включає комбінації сусідніх значень сірого кольору поруч з пікселями. Якщо значення сірого кольору поруч з пікселем однакові, то матриця залежності вказує, таким чином, на те, що наявні лише ідентичні значення сірого кольору. Якщо ж значення сірого кольору поруч з пікселем змінюються занадто сильно, то виникає інша матриця залежності. В одній переважній реалізації даного винаходу при аналізі значень сірого кольору розглядають тільки вісім пікселів - безпосередніх сусідів, а на краю обробленої ділянки зображення їх число зменшується до трьох (по кутах) або п'яти. Таким чином, отримують інформацію про те, чи рівномірна текстура по сусідству з пікселем чи ні. Виведення текстурної інформації на кроці 104 може також відбуватися за допомогою залежного від напрямку аналізу залежності значень сірого кольору. Як видно на Фіг.4 і як вже пояснювалося вище, поле 84 містить дуже багато вертикальних лінійних структур. У валку 48, навпаки, стебла лежать хаотично. Тому напрошується залишити поза увагою діагональних сусідів пікселя, що розглядається, і для складання матриці залежності залучити тільки пікселі, що знаходяться вище і нижче, а також ліворуч і праворуч від пікселя, що розглядається. Таким чином, виведена на кроці 104 тексту 80122 12 рна інформація містить інформацію про те, містить текстура поблизу пікселя вертикальні або горизонтальні структури. Об'єм інформації зменшується в порівнянні з незалежним від напрямку аналізом залежності значень сірого кольору, в той же, час корисний зміст інформації може і не зменшуватись. Далі текстурна інформація може бути отримана на кроці 104 також за допомогою колірного аналізу. При цьому дослідженні аналізують інформацію кольоровості валка 48. При використанні кольорової камери 42 кожен піксель отриманого кольорового зображення містить три колірні інформації відповідно для червоного, зеленого і блакитного кольорів. Отже, якщо валок 48 відрізняється по кольору від поля 84, то за допомогою колірної інформації їх можна легко розрізнити навіть при однаковій яскравості. Нарешті існує також можливість комбінації аналізу залежності значень сірого кольору або залежного від напрямку аналізу залежності значень сірого кольору з колірним аналізом. Отже, для кожного оброблюваного пікселя створюють незалежну або залежну від напрямку матрицю залежності для значень сірого кольору і колірну інформацію, які оброблюють разом. При зазначених аналізах застосовується, зокрема, так звана статистика другого порядку. Крім того, можлива послідовна комбінація, за якої спочатку здійснюють чисто RGB -аналіз, а потім результат RGBаналізу піддають текстурному аналізу. Після одержання на кроці 104 інформації про текстуру в оточенні пікселів здійснюють крок 106. Тут за допомогою отриманої на кроці 104 текстурної інформації здійснюють класифікацію, тобто для кожного оброблюваного пікселя чи групи пікселів вирішують, відноситься вона валка або до поля. Тут можна використовуватися будь-які придатні алгоритми. Особливо переважним виявилося використання нейронної мережі, оскільки завдяки можливості калібруватися вона також може пристосовуватися до умов зйомки зображення, що змінюються. Можливо також застосування нечіткої логіки або нейронної нечіткої-логіки. Це рішення приймається в два етапи. Спочатку для кожного пікселя або для кожної групи пікселів оцінюють значення імовірності, що виражає імовірність, з якою піксель або група пікселів відноситься до валка. Потім перевіряють, чи лежить дане значення імовірності вище порогового значення (як правило, 50%), чи ні. Можлива форма виконання подібної нейронної мережі 112 схематично зображена на Фіг.6. Мережа 112 складається, щонайменше, з двох нейронних шарів 114, 116. Перший нейронний шар 114 має вхід 118, на який текстурну інформацію, що була отримана на кроці 104, подають у виді матриці залежності. та, за потреби, колірній інформації. В нейронному шарі 114 відбувається зв'язок вхідних значень з досліджуваною інформацією, результат якої мається на виході 120 першого нейронного шару 114 і подається на вхід 122 другого нейронного шару 116. Як показано, перший нейронний шар 114 надає в розпорядження другого нейронного шару 116 кілька вихідних сигналів 13 паралельно. Другий нейронний шар 116 має єдиний вихід 124. Також у другому нейронному шарі 116 відбувається зв'язок наявних на його вході 122 сигналів з досліджуваною інформацією. На виході другого нейронного шару 116 нарешті отримують інформацію, що представлена в двоїчному виді, про те, відноситься досліджуваний піксель чи група пікселів до валка 48 або до поля 84. Мережа 112 може містити в собі також додаткові нейронні шари між обома зображеними нейронними шарами 114, 116. Може використовуватися також будьяка інша архітектура мережі, що відрізняється від зображеної архітектуру мережі, так званої мережі зі зворотним розширенням. Для кожного досліджуваного пікселя може бути створена власна нейрона мережа 112, або використовують єдину мережу 112, до якої послідовно подають вхідні дані для всіх пікселів. Як правило, нейронну мережу реалізують за допомогою програмних засобів процесором 68. Однак в інших варіантах реалізації вона може бути реалізована спеціальними апаратними засобами. Як було вже сказано, нейронна мережа 112 є такою, що має можливість калібрування. Таким чином, її спочатку калібрують у відношенні того, які частини знятого зображення відносяться до валка 48, а які - до поля 84. Цей процес схематично зображений на Фіг.7. До нейронної мережі (замість текстурної інформації, виведеної зі знятого камерою 42 зображення) подають отриману з калібрувального зображення текстурну інформацію, що може бути записана в пам'ять, наприклад, електронним шляхом, або польовий подрібнювач 10 чи трактор 50 розміщують на полі 84 перед валком 48 і валок 48 знімають камерою 42. Далі до нейронної мережі 112 подають інформацію про положення ділянок валка 48 і поля 84 у відповідному зображенні. Мова може йти про прямокутники 86, 88, що показані на фіг 4. Визначають, таким чином, маски, у внутрішньому просторі яких містяться кількості пікселів, що відносяться до поля 84 або до валка 48. Нейронна мережа 112 здатна вивчити, як виглядають валок 48 і поле 84, і розрізняти їх. Цей процес калібрування може відбуватися також тоді, коли водій вручну веде польовий подрібнювач 10 або трактор 50 вручну уздовж валка 48. Нейронна мережа 112 також калібрується при цьому, щоб розрізняти валок 48 і поле 84. Нейронна мережа 112 створює зображення результату, що служить для перевірки успіху. Він може бути відображений на дисплеї 70 і інформувати водія про те, чи достатньо наявних робочих умов для автоматичної системи 60 керування, або про те, що слід переключитися на ручне керування, наприклад, в темряві або в тумані. Фаза калібрування нейронної мережі 112 може бути повторена або продовжена за відповідною командою водія або відбуватися інакше, чим описано вище, однократно, вже при виготовленні системи 60 керування, або для робочих умов, що змінилися, можуть бути передбачені певні накопичені значення, що їх можна вибирати, або змінні карти пам'яті. По завершенні фази калібрування (Фіг.7) нейронна мережа 112 працює у відповідності зі схемою, що наведена на Фіг.8. До неї подають виве 80122 14 дену з зображень камери 42 текстурну інформацію, і вона видає піксельне зображення, в якому відбувається двоїчне розрізнення валка і поля. Подача до нейронної мережі 112 текстурної інформації полегшує розрізнення валка 48 і поля 84 і забезпечує це навіть у несприятливих умовах видимості. Варто звернутися знову до Фіг.5, де після кроку 106 наявний двоїчний файл пікселів. Окремі пікселі відносяться або до поля 84, або до валка 48. За допомогою цього файлу пікселів на наступному кроці 108 визначають подовжню вісь валка 48, тобто визначають її напрямок (кут до подовжньої середньої осі польового подрібнювача 10 чи трактора 50) і її видалення від подовжньої середньої осі польового подрібнювана 10 чи трактора 50. Потім, на кроці 110, за допомогою напрямку і віддалення виробляють управляючий сигнал, що подається до електромагнітних клапанів 74. І, таким чином, польовий подрібнювач 10 або трактор 50 автоматично рухається вздовж валка 48. Зображену на Фіг.5 процедуру регулярно повторюють, наприклад 25 разів у секунду. Також може застосовуватись більш висока чи більш низька частота повторення. Наприкінці валка водій вручну направляє збиральну машину до наступного валка, що буде підбиратися. В іншому варіанті реалізації за допомогою автоматичної системи 60 керування розпізнають також наступний валок і збиральна машина направляється туди автоматично. На Фіг.9-15 для ілюстрації показані зображення, що виникають під час показаної на Фіг.5 обробки зображення показаного на Фіг.4. На Фіг.9 показаний результат незалежного від напрямку аналізу залежності значень сірого кольору. На Фіг.10 показаний результат залежного від напрямку аналізу залежності значень сірого кольору. На обох фігурах обчислені нейронною мережею значення імовірності показують, що піксель відноситься до валка, до того як вони були бінарізовані. Порівняння Фіг.9 і 10, що показують результат кроку 106 на Фіг.5 перед класифікацією, показує позитивний вплив залежного від напрямку аналізу залежності значень сірого кольору. Тому для подальшої обробки використовують, тільки результати залежного від напрямку аналізу залежності значень сірого кольору. Фіг.11 показує результат рішення (крок 106 на Фіг.5) про те, чи відносяться пікселі до валка 48 (біле) чи до поля 84 (чорне), тобто бінарізацію за допомогою нейронної мережі 112. Нейронна мережа 112 була попередньо піддана фазі калібрування (Фіг.7), на якій їй було передане зображення з Фіг.4 як калібрувальне зображення і прямокутники 86, 88 в якості таких поверхонь, що відносяться, відповідно, до поля 84 та валку 48. Ця мережа навіть при інших зображеннях показала гарні результати. Фіг.12-14 відповідають кроку 108 на Фіг.5. На Фіг.12 обчислені всі взаємозалежні поверхні і вилучені всі поверхні, що менше порогового значення (тут 450 пікселів). На Фіг.13 залишена тільки найбільша поверхня з Фіг.12, з якої на Фіг.14 за рахунок використання розтягання й ерозії вилучені маленькі чорні поверхні, що заважають. На Фіг.14, 15 крім того, показані дві інерційні осі поверхні валка 48, яка залишилася. За допомогою інерційної осі, що проходить в подовжньому напрямку, можна визначити напрямок валка 48 і його відстань від подовжньої середньої площини польового подріб 80122 16 нювача 10 чи трактора 50. Ці величини залучають для генерування управляючого сигналу для електромагнітних клапанів 74, причому враховують робоче значення датчика 80 колісного кута. 17 80122 18 19 80122 20 21 Комп’ютерна верстка М. Мацело 80122 Підписне 22 Тираж 26 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601

Дивитися

Додаткова інформація

Назва патенту англійською

Method and a system of automatic control of a farm machine, a harvesting machine and a machine to cultivate soil

Назва патенту російською

Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы

Автори російською

Jurgen Hofer, Manfred Bohner

МПК / Мітки

МПК: A01B 69/00, A01D 41/127

Мітки: система, сільськогосподарською, ґрунту, автоматичного, збиральна, керування, машина, обробітку, спосіб, машиною

Код посилання

<a href="https://ua.patents.su/11-80122-sposib-i-sistema-avtomatichnogo-keruvannya-silskogospodarskoyu-mashinoyu-zbiralna-mashina-i-mashina-dlya-obrobitku-runtu.html" target="_blank" rel="follow" title="База патентів України">Спосіб і система автоматичного керування сільськогосподарською машиною, збиральна машина і машина для обробітку ґрунту</a>

Подібні патенти